Fill-in-the-middle

Fill-in-the-middle — задача восстановления пропущенного фрагмента текста на основе левого и правого контекста. В отличие от классического предсказания следующего слова, модель видит обе стороны пропуска, что позволяет точнее восстанавливать смысл. Этот подход широко используется в инструментах разработчика: автодополнение кода, умные подсказки, исправление опечаток. Когда программист редактирует середину выражения, модель должна учитывать и уже набранные символы, и последующий код; без этого подсказки ломают синтаксис.

На интуитивном уровне это похоже на кроссворд: известны буквы до и после пропуска, по ним угадывается слово. Модель обучается на больших массивах текстов, где случайно скрываются куски, и учится восстанавливать их, используя двусторонний контекст. Это особенно важно для языков со строгим порядком слов, например для кода.

Прикладной пример: в Python условие `if x >` и следующая строка `: return True`. Инструмент видит левую часть, правую и предлагает вероятное заполнение, например `5`. Так экономится время и не теряется фокус на логике. В итоге fill-in-the-middle приближает автодополнение к человеческому пониманию контекста с двух сторон, делая работу с кодом и текстом быстрее и естественнее.