Typical sampling

Типове семплювання — це спосіб, яким штучний інтелект обирає наступне слово, трохи підкидаючи монетку. Замість того щоб завжди брати найімовірніший варіант, модель влаштовує лотерею: чим більша ймовірність слова, тим більше квитків воно отримує. Але іноді виграє й рідкісний варіант. Саме ця випадковість робить текст живим і природним, адже без неї мова перетворилася б на суху, передбачувану схему.

Працює це так. Спочатку модель оцінює всі можливі продовження та приписує кожному ймовірність. Потім у гру вступає параметр temperature — він стискає або розтягує розподіл. Якщо temperature низький, найімовірніше слово майже завжди перемагає, і текст стає шаблонним. Якщо високий — шанси всіх варіантів зрівнюються, і мова перетворюється на хаос. Додатково існує обмежувач top-p, який відсікає найекзотичніші варіанти, щоб випадковість не призводила до нісенітниці. Тож це завжди баланс між сміливістю та осмисленістю.

Уявіть чат-бота, який пише рецепт борщу. Слово «додати» має ймовірність 0.5, «всипати» — 0.3, «закинути» — 0.15, а «плюхнути» — 0.05. З типовим семплюванням бот інколи обере «закинути» чи навіть «плюхнути», що зробить текст жвавим. Якби він завжди брав лідера, кожен рецепт звучав би однаково. А якби вибір був рівномірним, могли б з'явитися безглузді фрази.

Отже, типове семплювання дає моделі свободу в межах розуму. Воно перетворює суху статистику на живе мовлення, дозволяючи бути непередбачуваною, але не безглуздою. Саме завдяки цьому механізму генеративні моделі звучать як люди, а не як калькулятори.