Top-p

Top-p (nucleus sampling) — метод, которым нейросеть выбирает следующее слово в тексте. Сначала модель оценивает все возможные продолжения, у каждого из которых есть вероятность. Top-p оставляет только самые вероятные варианты, чья суммарная доля достигает порога p — например, 0,9. Остальное отбрасывается, и выбор идёт среди отобранного.

Зачем это важно? Без такого фильтра модель либо всегда брала бы самое вероятное слово — текст стал бы плоским и скучным, — либо выбирала бы из всех слов подряд, включая бессмыслицу. Top-p находит баланс: сохраняет естественное разнообразие, но отсекает маловероятный мусор. Если p слишком маленький, модель становится предсказуемой до скукоты; если слишком большой — начинает заговариваться. Поэтому подбор порога — это всегда компромисс.

Как это работает? Представьте, что вы угадываете слово в фразе «на небе ярко светит...». «Солнце» — 60%, «луна» — 20%, «звезда» — 10%, остальное — по чуть-чуть. При p = 0,9 модель сложит вероятности разумных вариантов: 60 + 20 + 10 = 90%. Они и попадут в шорт-лист, а «холодильник» останется за бортом. Если p снизить до 0,7, останутся только «солнце» и «луна» — ответ станет надёжнее, но менее живым. Больше p — больше случайности и творчества.

Пример: банковский чат-бот ставит p = 0,3, чтобы не рисковать, а сервис создания слоганов — p = 0,95, чтобы удивлять.

Итог: Top-p — регулятор креативности модели. Один параметр задаёт баланс между точностью и оригинальностью, и для каждой задачи он свой.