Sony PS5 Pro: улучшенный PSSR - меньше работы ИИ, лучше картинка

В оригинальном PSSR почти весь процесс реконструкции был отдан цветовой предсказывающей сети (CPN): модель напрямую выдавала итоговые цвета пикселей. Инженеры Sony и AMD выяснили, что такой подход порождает проблемы - от ошибок в HDR до нестабильной временной реконструкции и плохого качества при сильном масштабировании. В новой версии цветовую сеть заменили ядерной предсказывающей сетью (KPN), которая вычисляет не конечный цвет, а веса для смешивания. Само смешивание выполняет традиционный фильтр. Модель перестала скрыто заниматься HDR-коррекцией, поэтому её ресурсы используются эффективнее. Также переработали доступ к историческим данным: улучшился градиентный поток, и нейросеть обучается на более длинных временных последовательностях.

Инженеры добавили эллиптический гауссов фильтр в пространстве входных данных. Это сохранило точность при высоких коэффициентах масштабирования и решило проблемы исходной модели при реконструкции изображений в 2,5 и 3 раза. По словам Крейга, новая модель даёт лучшую чёткость и временную стабильность при низком входном разрешении, тратит меньше времени на GPU и памяти.

Показательна динамика параметров. У старой цветовой сети лишь около 30% параметров работали на минимальном разрешении 540p. В новой ядерной сети более 90% параметров сосредоточены на уровне 540p и ниже, а на 4K вычисления почти не ведутся. Время обучения сократилось с четырёх GPU-месяцев до менее чем одной GPU-недели. Так что новый подход PSSR неожиданный: для лучшей картинки ИИ нужно меньше работать, а не больше.