Qwen3.8-27B на своей карте против 304B по API

Завершилось тестирование новой модели Qwen3.8-27B, которая привлекла внимание энтузиастов тем, что умещается на видеокарте, доступной для домашнего использования, а именно на RTX 5090. Покупать её за такие деньги кажется безумством, однако адаптер уже появился в магазинах, а значит, формально такую конфигурацию можно назвать «домашней». Автор сравнил работу модели локально, на собственной карте, с её же запуском через облачный API, а также с гораздо более крупной моделью.

Результаты оказались неожиданными. В бенчмарке Qwen3.8-27B на локальной карте набрала 0.789 из 1.0, а через API — 0.785. Практически идентичные показатели говорят о том, что локальный запуск не уступает облачному. Для сравнения, DeepSeek V4 Flash 0731 через API показала только 0.731, хотя именно её часто рекомендуют в сообществе. Ещё более примечательно, что модель на 304 миллиарда параметров, доступная через API, отстала от модели на 27 миллиардов, которая работает на одной видеокарте.

Этот результат демонстрирует, что размер модели — не единственный фактор производительности. Современные методы сжатия и архитектурные решения позволяют небольшим моделям конкурировать с гигантами, особенно в специализированных тестах. Для пользователей, которые не хотят зависеть от облака, это хорошая новость: мощный ИИ можно запускать локально, сохраняя конфиденциальность данных и не требуя постоянного интернет-соединения.

Покупка RTX 5090 остаётся дорогим удовольствием, но появление таких моделей делает локальный ИИ всё более доступным. Тесты продолжаются, и скоро могут появиться новые сравнения с другими моделями и на другом оборудовании.