Контекстное окно

Контекстное окно — объём информации, который нейросеть «видит» одновременно, решая следующее слово. Это её оперативная память: за пределами окна модель забывает начало. От размера окна зависит глубина понимания. Маленькое окно — чат-бот теряет нить беседы, большую книгу обрабатывает кусками. Большое — можно дать целый роман и спросить о взаимосвязях. Слабые модели от мощных отличаются именно этим параметром: окно в 128 тыс. токенов (≈96 тыс. слов) обрабатывает исследования, а в 4096 токенов — только короткие заметки.

Как это работает? Вы читаете лекцию, помня лишь пять последних предложений. Каждый новый токен сдвигает самый старый за край окна. Если модель анализирует «Войну и мир», умещающуюся в три окна, она увидит лишь треть — и пропустит ключевые события. На практике программист пишет код для приложения. С окном 32 тыс. токенов модель прочитает весь файл (тысячу строк) и поймёт, почему функция начала вызывает баг в конце. С окном 2048 токенов код нужно дробить: модель заметит лишь локальную опечатку, не увидев конфликт переменных.

Итог: контекстное окно — «золотой запас» внимания нейросети. Чем оно больше, тем целостнее понимание. Будущее ИИ зависит от того, как инженеры смогут расширять этот «журнал» памяти.