BOS token

Модель видит текст как поток чисел. Без чёткой точки старта она не может понять, где заканчивается предыдущий фрагмент и начинается новый. BOS играет роль якоря: от него отсчитываются все остальные токены. Он задаёт границы, как заголовок перед главой в книге — сам по себе бессмысленный, но без него повествование превращается в кашу.

Работает это так. Модель получает строку вроде «[BOS] Как дела?», превращает каждый элемент в вектор. BOS тоже получает свой вектор, но стоит первым, поэтому у него нет «предшественников». Это подсказывает алгоритму, что вся последующая информация — один цельный фрагмент. При генерации ответа модель опирается на предыдущие токены, и знание о BOS помогает ей правильно начать: она понимает, что мы начали с вопроса, и ответ нужно строить с первого слова, а не «с середины мысли».

Например, в машинном переводе BOS перед каждым предложением говорит модели: здесь начинается новая мысль, связывай её с предыдущим контекстом. Без такого токена она могла бы склеить конец одного предложения с началом другого, и результат стал бы абсурдным.

Короче, BOS — маленький, но критически важный винтик. Он незаметен пользователю, но именно он задаёт порядок, без которого невозможно ни понимание текста, ни его генерация. Внутри нейросети этот маркер — фундамент, на котором строится всё остальное.