Код решает, LLM помогает: AI-тренер для бегунов перепутал субботу с четвергом

Разработчик, который несколько месяцев создаёт AI-тренера для бегунов в Telegram, рассказал о неожиданном сбое в логике своего чат-бота. Цифровому наставнику по имени Клод де Пейс разрешили корректировать план тренировок по свободному сообщению в чате. Во время первого реального теста пользователь попросил «поменяй мне лёгкую в субботу», имея в виду перенести лёгкую тренировку на субботу. Система внесла изменение, но поставила занятие в четверг, а не в субботу.

Как выяснилось, в четверг в расписании уже стояла лёгкая тренировка. Модель выделила в запросе два значимых признака — easy и Saturday — и с уверенностью 0,92 выбрала объект, который находился ближе к запросу, а не тот, который имел в виду человек. С точки зрения классификации решение выглядело безупречным, но пользователь получил совсем не то, о чём просил.

Этот случай заставил автора пересмотреть подход к построению системы. Он сформулировал принцип: модель не обязана знать, какие ограничения являются бизнес-инвариантами продукта, если разработчик сам не превратил их в явные правила. Код должен отвечать за эти ограничения, а языковая модель — лишь помогать с распознаванием намерений. Теперь вся архитектура проекта строится вокруг такого разделения ответственности.