Style transfer
В основе работы лежит разделение изображения на два компонента: содержание (что изображено) и стиль (как изображено). Нейросеть, обученная на больших наборах данных, выделяет эти характеристики на разных уровнях абстракции: содержание — по высокоуровневым признакам, таким как формы и объекты, а стиль — по низкоуровневым, таким как цветовые пятна и текстуры. Затем алгоритм оптимизирует синтез нового изображения, минимизируя разницу между его содержанием и содержанием исходной фотографии, а между стилем и стилем образца. Интуитивно это похоже на то, как художник рисует портрет, используя технику другого мастера: предмет узнаваем, а мазки и колорит — копируются.
Классический пример — превращение обычного фото в картину в духе Винсента Ван Гога. Вы загружаете снимок, выбираете эталонное полотно, например «Звёздную ночь», и через несколько секунд получаете изображение, где улицы и дома сохраняют свою форму, но покрыты характерными вихревыми мазками и насыщенными сине-жёлтыми тонами. Это применяется в приложениях для смартфонов, киноиндустрии и при создании контента для соцсетей.
Таким образом, перенос стиля — это мост между искусством и алгоритмами, который позволяет каждому стать немного художником, а машинам — понять природу красоты.
Поделиться