Qwen 3.8 27B: компактная модель превосходит Opus 4.6

Компания Qwen представила новую мультимодальную модель Qwen3.8-27B, которая при относительно небольшом размере демонстрирует впечатляющую производительность. Модель способна обрабатывать изображения и видео, а по ряду бенчмарков обходит Opus 4.6. Это делает её особенно интересной для тех, кто ищет мощную ИИ-систему, способную работать на локальном оборудовании, не прибегая к облачным сервисам. Новинка уже доступна для скачивания на платформе Hugging Face как в оригинальном виде, так и в квантованных версиях.

Одной из ключевых особенностей является поддержка спекулятивного предсказания MTP, которое ускоряет генерацию текста. Благодаря компактности модель можно запускать на видеокартах с 24 ГБ видеопамяти, что открывает возможности для использования на достаточно доступном потребительском железе. Для интеграции с популярным инструментом llama.cpp доступны квантованные версии в формате GGUF, подготовленные сообществом. Это позволяет значительно снизить требования к ресурсам и повысить скорость инференса.

В ходе тестирования на видеокарте RTX 5090 с 32 ГБ памяти использовались кванты UD-Q6_K_XL и UD-Q5_K_XL. Первый вариант позволяет работать с контекстом до 48 тысяч токенов и выдаёт около 100 токенов в секунду, второй увеличивает контекст до 128 тысяч токенов, а скорость генерации достигает 120 токенов в секунду. Такие результаты говорят о том, что модель не только умна, но и достаточно быстра для интерактивных сценариев. Владельцы RTX 3090 или RTX 4090 с 24 ГБ памяти могут использовать кванты меньшего размера, которые также доступны в репозитории.

Для упрощения развёртывания пользователи могут использовать официальный образ llama.cpp в Docker, что позволяет запустить модель в контейнере без сложной ручной настройки. Это делает Qwen3.8-27B удобным решением как для экспериментов, так и для практического применения. По личным впечатлениям, качество модели значительно выросло: она стала заметно «умнее» и лучше справляется с задачами, требующими понимания контекста. Разработчики отмечают улучшение способности к рассуждениям и генерации кода.

В целом Qwen3.8-27B выглядит привлекательным выбором для локального запуска благодаря удачному сочетанию производительности, требований к ресурсам и функциональности. Учитывая, что по некоторым бенчмаркам модель обходит Opus 4.6, она может стать хорошей альтернативой более крупным и дорогим решениям.