Neural Turing Machine

Нейромашина Тьюринга (NTM) — гибридная архитектура, объединяющая обучаемость нейросетей с внешней памятью, как у компьютера. В отличие от рекуррентных сетей, хранящих информацию в скрытых состояниях, NTM имеет матрицу ячеек, куда можно явно записывать и читать данные. Это снимает главное ограничение стандартных сетей — неспособность к длительному хранению фактов и многошаговым логическим операциям, позволяя осваивать простые алгоритмы.

Интуитивно: нейросеть — человек, внешняя память — блокнот. Управляющий блок решает, что запомнить и прочитать, перемещая внимание. Вместо жёстких адресов RAM используется мягкое внимание: головки обращаются к нескольким ячейкам с разной силой. Это сохраняет дифференцируемость, и сеть обучается методом обратного распространения, самостоятельно находя стратегию работы с памятью.

Пример: копирование последовательностей длиннее обучающих. LSTM не справляется, а NTM обобщает правило: записать вход в память и воспроизвести. Также обучается сортировке чисел, используя память для сравнения и перестановок.

Главный вывод: NTM стала мостом между нейросетями и алгоритмическим мышлением, вдохновив создание более мощных архитектур, например дифференцируемого нейрокомпьютера. Она показала, что нейросети способны выполнять операции, подобные коду. Практическое применение ограничено сложностью обучения, но идеи продолжают питать исследования ИИ.