Как генерировать реалистичных людей по десяткам признаков

Генерация фотореалистичного портрета по одному текстовому описанию давно перестала быть проблемой. Сложность возникает, когда нужно управлять десятками характеристик одновременно: возрастом, полом, причёской, формой лица, наличием бороды, очков и другими деталями. Именно такая задача встала перед разработчиками биометрического приложения. Заказчику требовалось создавать наборы изображений людей, которые выглядели бы как настоящие фотографии, а не как рисованные аватары.

Первые эксперименты с уже существующими моделями показали, что результаты выглядят искусственно: кожа напоминала пластик, черты лица искажались, а редактирование одного параметра тянуло за собой непредсказуемые изменения остальных. Нужен был подход, который позволял бы раздельно и точно настраивать каждый атрибут, сохраняя при этом полную реалистичность. В итоге команда остановилась на архитектуре генеративно-состязательной сети с расширенным пространством скрытых признаков.

Особенность решения в том, что сеть учится не просто генерировать лицо целиком, а формирует отдельные векторы для каждой ключевой черты. Изменяя эти векторы, можно независимо регулировать возраст, пол, форму носа, цвет волос и другие параметры. Благодаря этому удалось добиться того, что сгенерированные изображения практически неотличимы от фотографий, а каждое изменение выглядит естественно. Разработчики отмечают, что такая технология открывает новые возможности не только для биометрии, но и для дизайна, игровой индустрии и создания цифровых аватаров.