TTFT

Зачем важен? Для интерактивных сервисов ощущение отзывчивости критично. Исследования показывают, что задержка более двух секунд воспринимается как «зависание». Пользователь раздражается и уходит, даже если сама модель генерирует отличный текст. Поэтому инженеры оптимизируют TTFT наравне с качеством ответов.

Как работает интуитивно? Модель обрабатывает запрос не мгновенно: сначала она должна прочитать все входные слова, взвесить их важность, подготовить внутреннее состояние, и только потом начать выдавать результат. Это похоже на приготовление сложного блюда: пока шеф-повар не прочитает рецепт и не разложит ингредиенты, он не начнёт резать овощи. Первый кусочек на тарелке появляется не сразу, но именно он подсказывает, что процесс идёт.

Прикладной пример: представьте службу поддержки банка с ИИ-ассистентом. Клиент спрашивает о блокировке карты. Если TTFT составляет три секунды, человек начинает нервничать, повторяет вопрос, злится. А если модель отвечает через 400 миллисекунд — даже простым «Секунду, проверяю», — клиент чувствует заботу и спокойно ждёт. Хороший TTFT превращает техническую паузу в элемент сервиса.

Вывод: TTFT — это «дверь» в диалог с искусственным интеллектом. Быстрая дверь не гарантирует хорошего разговора, но медленная разочаровывает до первой фразы. Следить за TTFT — значит уважать время пользователя.