Сэмплирование

Сэмплирование — это выбор случайных точек из вероятностного распределения. В ИИ так называют превращение модели своего знания о вариантах в один конкретный результат. Термин важен, потому что без сэмплирования генеративные модели не могли бы создавать новые ответы, а выдавали бы лишь самое вероятное предсказание. Сэмплирование даёт модели свободу выбора, сохраняя при этом опору на обученные закономерности.

Интуитивно это похоже на шеф-повара, который из тысяч рецептов выбирает один для подачи гостю. Проверенные рецепты выбираются чаще, экзотические — реже. В нейросетях распределение устроено так, что осмысленных вариантов гораздо больше, чем бессмысленных, поэтому случайный выбор почти всегда даёт хороший результат. Модель вычисляет вероятности для всех возможных следующих слов или пикселей и делает случайный, взвешенный по вероятностям выбор. Меняя температуру, можно получать более консервативные или творческие результаты. Высокая температура делает выбор более хаотичным, низкая — более предсказуемым.

Пример — генерация картинки по тексту. Модель не хранит готовое изображение, а представляет распределение всех картинок, соответствующих запросу «кот в шляпе». Сэмплирование выбирает один набор пикселей из этого множества. Поэтому один и тот же запрос даёт разных котов: каждый раз берётся новая проба. Без сэмплирования мы бы получили усреднённое размытое пятно, не похожее ни на одно конкретное животное.

Итак, сэмплирование — это мост между моделью и конкретным объектом. Оно привносит в ИИ управляемую случайность — основу творчества.