RNN

Рекуррентная нейронная сеть (RNN) — это нейросеть для последовательных данных: текстов, речи, временных рядов. В отличие от обычных сетей, она хранит память о предыдущих элементах и использует её для анализа текущего. Обработка идёт пошагово: каждый элемент получает сигнал не только от себя, но и от предыдущего состояния.

Это важно, потому что мир состоит из последовательностей. Смысл фразы зависит от порядка слов, а прогноз погоды — от прошлых изменений. Без этого невозможно понять, о ком идёт речь в местоимениях или предсказать следующее слово. RNN первой позволила машинам учитывать контекст, что стало основой современных систем ИИ.

Как это работает? Представьте, что вы читаете книгу: новое слово вы понимаете благодаря уже прочитанному. RNN тоже имеет «скрытую память» — вектор чисел, который обновляется на каждом шаге. Новый вход смешивается с этой памятью, даёт ответ и создаёт новое состояние. Поэтому слово «ключ» в разных фразах воспринимается по-разному. Эта память ограничена, но для коротких фраз её достаточно.

Пример — предиктивный ввод на смартфоне. Когда вы пишете «на улице идёт», сеть по памяти о типичных фразах предлагает «дождь». Без рекуррентности телефон видел бы только последнее слово и не смог бы угадать. Тот же принцип работает в голосовых помощниках и машинном переводе.

У RNN есть недостатки: она плохо запоминает длинные последовательности и медленно учится. Сейчас её вытесняют трансформеры. Но идея учёта порядка, заложенная в RNN, остаётся фундаментом ИИ. Многие идеи RNN, например встраивание контекста, живут и в новых архитектурах.