CLS token

CLS token (от англ. classification) — это специальный служебный токен, который добавляется в начало текстовой последовательности перед обработкой моделями типа BERT. Его задача — накопить в себе смысл всего предложения: в финальном слое вектор, соответствующий этому токену, становится компактным представлением всего входа, которое можно подать в классификатор или другую «голову» модели.

Зачем это нужно? Многие задачи ИИ требуют не предсказать следующее слово, а принять решение обо всём тексте: определить тональность, тему, ответить на вопрос. Без CLS пришлось бы усреднять скрытые состояния всех слов, а это теряет важные связи. CLS даёт модели единое «место», куда она может сложить обобщённую информацию.

Интуитивно это работает так: представьте, что в начале абзаца стоит невидимый редактор, который следит за чтением каждого слова, делает пометки и в конце выдаёт итоговую справку. В архитектуре BERT все токены взаимодействуют между собой через механизм внимания, поэтому CLS получает доступ к каждому слову и синтезирует ответ.

Прикладной пример — сервис сортировки отзывов. Текст «Отличный товар, но долгая доставка» превращается в вектор: в начало вставляется [CLS], модель прогоняет предложение, а по вектору CLS классификатор определяет негативную тональность из‑за «долгой доставки». Всё происходит за миллисекунды.

Вывод: CLS token — простой и элегантный механизм, позволяющий нейросети видеть текст как единое целое. Он лежит в основе современных NLP‑систем, от поиска до модерации контента.