Exemplar ordering
Модели, особенно большие языковые, учатся на контексте. Они связывают примеры между собой, замечают паттерны и запоминают крайние элементы последовательности лучше центральных (эффект края). Если порядок не продуман, модель может решить, что ответ зависит от позиции, а не от содержания, и даже идеальные примеры дадут случайный результат.
Аналогия с человеком: при подготовке к экзамену хаотичное заучивание хуже системного, от простого к сложному. ИИ тоже вычисляет вероятности, и порядок задаёт неявную подсказку, что считать важным. Например, если сначала показать сложные случаи, модель может принять лёгкие за исключения и переусложнить ответы.
Конкретный пример — тональность отзывов. Дано пять образцов: позитив, негатив, нейтрально, негатив, позитив. При хаотичном порядке модель может вывести ложное правило «позитив после негатива». Если же сгруппировать по классам (позитив, негатив, нейтрально), границы классов становятся чёткими, ошибок меньше. Эксперименты показывают рост точности на несколько процентов без изменения самой модели.
Вывод: порядок примеров — рычаг управления вниманием ИИ. Осознанный выбор последовательности помогает выделить нужную закономерность и избежать ложных корреляций. Это дешёвый способ улучшить результат: не требует переобучения или сложных алгоритмов, только внимательности к расположению образцов в запросе.
Поделиться