Few-shot exemplar selection

Несколько примеров в запросе к модели называют демонстрациями. Few-shot exemplar selection — это выбор самых полезных из них, чтобы модель дала точный ответ. Вместо того чтобы скармливать всё подряд, отбирают образцы, которые реально помогают решить задачу. От этого часто зависит, поймёт ли модель, чего от неё хотят.

Модели учатся на огромных данных, но в момент запроса видят лишь несколько подсказок. Если примеры случайные или неудачные, модель может запутаться в стиле, уловить ложную закономерность или решить, что от неё ждут другое. Правильный отбор повышает точность без дополнительного обучения — это дёшево и быстро, поэтому важно и для исследователей, и для инженеров.

Похоже на выбор наставника для стажёра. Если нужно научить составлять краткие резюме, вы не дадите длинный отчёт или беседу с шутками. Вы покажете два-три лаконичных образца. То же с моделью: хорошие примеры должны быть похожи на запрос по смыслу, тону и структуре, но не повторять друг друга. Обычно ищут в базе примеры, ближайшие к новому запросу по текстовому сходству, затем проверяют, чтобы они покрывали разные варианты.

Практический пример: сервис классифицирует отзывы как позитивные или негативные. Есть тысяча размеченных отзывов, но в запрос можно вставить лишь пять. Вместо случайных выбирают семантически близкие к новому отзыву: если он жалуется на доставку, в примеры попадают жалобы на сроки и курьеров, а не хвалебные отзывы о вкусе. Модель сразу понимает контекст и реже ошибается.

Вывод: грамотный выбор нескольких образцов часто даёт больший эффект, чем усложнение самой модели. Это искусство малых деталей, где качество важнее количества.