Новый бенчмарк BlenderWorld превращает ИИ в 3D-художника

Главное отличие от привычных тестов вроде «сгенерируй картинку» в том, что здесь модель должна сдать не красивую рендер-картинку, а полноценный редактируемый файл проекта .blend. То есть ИИ обязан построить сцену, которую дизайнер сможет открыть и продолжить работу: с материалами, геометрией, освещением и камерами. По запросу система также может потребовать рендер, видео или экспортированную модель. Просто «нарисовать красиво» не получится — проверяется именно инженерная состоятельность результата.

Набор задач получился солидным: 223 задания и 2651 критерий оценки. Они охватывают девять крупных категорий и 22 подкатегории — от продуктов и архитектуры до природных сцен, персонажей, анимации и научной визуализации. Форматы входных данных разные: 78 задач дают только текстовое описание, 130 — изображение плюс текст, 15 — видео плюс текст. Ещё в 59 заданиях прилагаются файлы со спецификациями: габариты, материалы, параметры камеры.

Судят участников тоже строго. Система рендерит поданный проект с восьми адаптивных ракурсов, затем проверяет сцену по 2651 бинарному критерию, привязанному к конкретным задачам, и добавляет восемь оценок общего визуального качества. Итоговый балл складывается поровну: 50 процентов за соответствие правилам и 50 процентов за визуал. Такой подход не даёт модели выехать на одной лишь эффектной картинке в ущерб корректной структуре сцены.

Для разработчиков подготовлен полный цикл: установка, генерация, упаковка и оценка. Подключить к тестированию можно любой фреймворк генерации. В репозитории указано, что используется Blender 4.2.10, а для работы нужны Linux и Python 3.10 или новее. На этапе оценки также потребуется настроить сервис модели с поддержкой зрения — без него проверка рендеров не заработает.

По сути, BlenderWorld смещает фокус с «ИИ как художник-иллюстратор» на «ИИ как полноценный 3D-специалист», который умеет собирать сцену по техническому заданию. И если раньше подобные бенчмарки чаще мерили качество отдельных изображений, то теперь проверяется готовность агента встроиться в реальный пайплайн разработки — с файлами, материалами, камерами и правками, которые вносят живые люди. Для русскоязычных студий и разработчиков это ещё и повод посмотреть, насколько открытые модели справляются с задачами, которые обычно закрывают профильные 3D-художники.