Тест локальных MOE-моделей для кодинга: результаты и сравнение

Автор провел тестирование локальных MOE-моделей, предназначенных для написания кода. Хотя задачей были простые игры на HTML, CSS и JavaScript, такой подход позволяет быстро проверить результат без компиляции и оценить кроссплатформенность. В тесте приняли участие десять моделей, включая Qwen 3.6 (MTP), KAT Coder V2.5, Gemma 4, Aurora-Code-1, Frontis, GLM 4.7 Flash, Ornith 1.0, Salience 1.5 Pro, Agents A1 и GPT-oss 20b. Многие из них основаны на Qwen, и по бенчмаркам на Hugging Face они часто превосходят своего «учителя», поэтому было интересно проверить это на практике. Однако автор сразу настроился скептически, и итоговая таблица результатов подтвердила его опасения: несмотря на дообучение на кодинге, ни одна из моделей не смогла составить реальную конкуренцию оригиналу. Результаты подсчитывались с использованием Qwen3.8-Max в качестве эталона. Это показывает, что заявления о превосходстве доработанных версий не всегда подтверждаются в реальных задачах.