Тосок бессмысл: как я не смог заставить Gemma 4 писать хорошие стихи

Эксперимент, задуманный как чёткий план из четырёх пунктов, обернулся детективом с ложными следами. Автор решил обучить языковую модель Gemma 4 сочинять русские стихи размером амфибрахий на заданную тему. Для проверки он использовал собственную метрику, которую предварительно протестировал на Пушкине, разметил корпус из тринадцати тысяч пар и взял свежую статью с готовым рецептом файнтюна. Аренда GPU L40S на месяц влетела в копеечку, но результаты оказались обескураживающими.

Модель, прошедшая четыре цикла дообучения, стабильно проигрывала базовой версии, которую никто не трогал. Самое загадочное — оценщик присваивал сгенерированным стихам высший балл техничности, хотя те заканчивались несуществующим словом «тосок», а смысл разваливался на глазах. Автор признаётся: месяц он принимал решения, опираясь на шум, и не подозревал об этом. Свежая статья с рецептом оказалась ловушкой, а главный подозреваемый — качество данных или архитектура сети — выглядел очевидным до самого конца, пока виновным не объявили саму природу рифмы.

Вывод звучит жёстко: рифмовать модель в принципе не способна выучить, это можно только навязать ей через жёсткие ограничения на этапе генерации. В материале приведены реальные цифры потерь, честные графики и несколько образцов плохих стихов — чтобы любой желающий мог убедиться в провале собственными глазами. История получилась не столько о стихах, сколько о том, как легко перепутать корреляцию с причинностью, когда экспериментируешь с нейросетями вслепую.