UNK token

UNK-токен — это специальный маркер, которым модель заменяет слово, отсутствующее в её словаре. Это плейсхолдер для неизвестных слов, вроде чёрного квадратика на месте непрочитанного иероглифа. Встретив незнакомый термин, имя или опечатку, модель не выбрасывает предложение, а ставит метку UNK и продолжает обработку.

Зачем это нужно? Модель обучается на конечном наборе текстов, поэтому в реальной жизни встречаются слова, которых не было в выборке: новые фамилии, сленг, сокращения. Без UNK модель бы «растерялась», ведь математический механизм работает только с известными токенами. UNK сохраняет структуру фразы и синтаксис, даже если конкретное слово неизвестно.

Представьте переводчика, знающего десять тысяч слов. Ему нужно перевести «позовите бармена из кафе "Кураж"». Он не знает «Кураж», но понимает контекст и мысленно указывает: «позовите бармена из кафе UNK». Собеседник догадается, что речь о заведении, хотя имя потеряно. Так и модель: заменяет неизвестное универсальным символом и использует соседние слова для смысла.

Прикладной пример: нейросеть анализирует отзывы. Предложение «Стейк был превосходен, но вино UNK» — за UNK может скрываться редкий сорт винограда или неудачный бренд. Модель поймёт негатив благодаря «но» и конструкции, а конкретное название пропустит. Это позволяет обрабатывать поток отзывов без ручного пополнения словаря.

Вывод: UNK-токен — вынужденный компромисс между охватом реального языка и ограниченной памятью модели. Он помогает ИИ не падать в ступор при неизвестных словах и работать по контексту. Частое использование UNK говорит о слабом словаре, но как страховочный механизм он незаменим в любой NLP-системе.