In-context learning

In-context learning — это способность языковой модели выполнять новую задачу без дополнительного обучения, а лишь на основе инструкции и нескольких примеров, прямо вставленных в запрос. Вместо того чтобы переобучать нейросеть на тысячах специальных примеров, вы просто показываете ей два-три образца, и она по аналогии начинает решать то, что нужно. Термин стал ключевым после появления больших моделей вроде GPT, ведь он радикально изменил подход к работе с ИИ: раньше каждую задачу требовалось отдельно готовить, теперь достаточно грамотно составить подсказку.

Представьте, что вы показываете иностранцу три фотографии: «На этой картинке яблоко, а подпись — яблоко, на этой — груша, подпись — груша». Четвёртую картинку он, скорее всего, назовёт правильно, хотя никто не объяснял ему правила языка. Модель работает примерно так: она видит в вашем запросе повторяющийся шаблон «вопрос-ответ» и достраивает его для нового примера. На самом деле нейросеть не учится в момент ответа — она лишь находит закономерность в тексте и использует свои огромные знания, чтобы «додумать» логику. Это похоже на решение теста по аналогии, где ответ лежит в контексте, а не в памяти.

Практический пример: вам нужно быстро классифицировать отзывы как позитивные или негативные. Вы пишете в чат: «Отзыв: „Супер, доставили быстро!" — позитив. Отзыв: „Опоздали на неделю" — негатив. Отзыв: „Товар неплохой, но упаковка мятая" — ?» Модель мгновенно отвечает «негатив», хотя вы не дали ей ни строчки формальных правил. В маркетинге, юриспруденции или медицине такой подход экономит недели на подготовку данных и позволяет менять классификацию прямо «на лету», просто меняя примеры в тексте.

Итак, in-context learning — это не магия, а эффективный способ «разбудить» уже заложенные в модели способности. Он важен потому, что превращает ИИ из инструмента, требующего программистов, в инструмент, с которым может работать любой человек: просто покажите пример, и модель поймёт вас.