OpenAI представила режим Ultrafast для GPT-5.6 Sol: до 750 токенов в секунду
За обеспечение сверхскоростного режима отвечает компания Cerebras. По словам разработчиков, раньше пользователям приходилось выбирать между скоростью и возможностями модели: для быстрого ответа обычно приходилось жертвовать качеством и переходить на более компактные или узкоспециализированные модели. Ultrafast должен снять это противоречие и сделать новым приоритетом «больше полезной работы в каждую секунду».
В OpenAI видят применение нового режима в сценариях, где отклик критически важен: реагирование на инциденты и анализ надёжности систем, финансовые исследования и анализ безопасности, клиентская поддержка и голосовые интерфейсы, а также обработка запросов о товарах и остатках в электронной коммерции. Кроме того, режим может пригодиться для исследований и экспериментов в реальном времени.
Сейчас Ultrafast доступен ограниченному кругу клиентов в рамках раннего тестирования. В компании отмечают, что пилотная программа поможет выяснить, на каком этапе прирост скорости даёт максимальный эффект и насколько быстро модель способна реагировать в реальном темпе работы пользователя.
Источник: www.ithome.com
Поделиться