Pixar подключила лидары Hesai к рендерингу 3D-сцен

Компания Pixar, основанная Стивом Джобсом после его ухода из Apple в 1985 году, выпустила обновлённое руководство по 3D-рендерингу. В нём создателям объясняют, как обрабатывать данные трёхмерного гауссова сплаттинга (3D Gaussian Splatting, 3DGS) из реального мира с помощью официального инструмента RenderMan. В описании Pixar отдельно поблагодарила китайскую компанию за решение для сканирования трёхмерных сцен Kosmo. И это компания, которую в автомобильной отрасли знают как одного из ключевых игроков на рынке лидаров для умных машин, — Hesai Technology, производитель автомобильных лидаров, активно продвигающий их внедрение в качестве своеобразного «ремня безопасности» для интеллектуальных автомобилей.

Столь неожиданный поворот вызывает как минимум удивление: с одной стороны — традиционные, тяжёлые и громоздкие автомобильные корпорации, с другой — лёгкая, яркая и шумная индустрия голливудских развлечений. Как вообще лидарная компания смогла пробраться в Голливуд?

RenderMan — это ключевая технология рендеринга Pixar, чья алгоритмическая история старше самой студии. Стив Джобс в своё время разглядел потенциал компьютерной графики как формы искусства и сделал на неё крупную ставку. Сегодня архитектура XPU с ускорением на GPU уже реализована, а в RenderMan добавлена поддержка нового формата трёхмерных данных 3DGS. И именно Kosmo от Hesai помогает RenderMan «захватывать» реальный мир. Pixar описывает ценность Kosmo так: визуальные эффекты требуют редактирования на уровне пикселей, и чем богаче данные и информация, тем тоньше можно настроить результат. Kosmo позволяет художнику по моделированию попасть в любое место и запечатлеть каждый пространственный элемент, точную геометрическую структуру и реальное освещение. Например, знаменитую настольную лампу и мяч перед зданием Steve Jobs в штаб-квартире Pixar с помощью Kosmo можно отснять всего за 10–20 минут, а полученные качественные данные 3DGS через формат USD сразу попадают в рабочую среду. Дальше инженеры Pixar могут двигать, масштабировать, менять прозрачность и стилизовать модель прямо в выгруженном пространстве, превращая всю площадку в картину с текучими мазками. По данным Hesai, на помещение площадью около 100 квадратных метров при съёмке ручным устройством Kosmo уходит примерно 15–20 минут. Для кино и индустрии развлечений первая ценность Kosmo в том, что оно быстро извлекает информацию об окружении реальных объектов и на сто процентов точно её воспроизводит. Кстати, создатели нашумевшей китайской AAA-игры Black Myth: Wukong из студии Game Science как раз использовали лидары Hesai для оцифровки моделей старинных зданий — это стало одной из причин появления Kosmo.

Быстрое моделирование — лишь часть истории. Kosmo ценят за способность напрямую выдавать формат 3DGS: собранные данные не нужно подвергать сложной обработке, их можно сразу редактировать и отлаживать любыми ИИ-инструментами и вручную. По сути Kosmo — это движок данных реального трёхмерного мира, где несколько разных сенсоров глубоко интегрированы и откалиброваны, а устройство готово к работе из коробки. Оно сразу выдаёт трёхмерную цифровую модель, пригодную для обучения моделей, управляемую и редактируемую, без искажений пространственных связей, цвета и формы. Так что выход в голливудскую киноиндустрию — по сути лишь одно из «яиц», снесённых по пути к вершине физического ИИ. Более «первичный» сценарий применения Kosmo — стать важнейшим каналом доступа к данным для базовых моделей воплощённого интеллекта и физического ИИ. Материалы, грани объектов и цвета реального пространства воспроизводятся на кинематографическом уровне, вплоть до картин на стенах — цветовые блоки, текст и взаимное расположение передаются без искажений. Помимо ручного устройства, облачная модель за Kosmo умеет напрямую делать трёхмерную семантическую сегментацию, разбивая сцену на отдельные элементы. Зачем это нужно? Ответ прост: готовые данные Kosmo можно сразу использовать для построения тренировочных задач для роботов — фактически это то, к чему стремится концепция «мировой модели», с той разницей, что данные Kosmo берутся из реального мира, где физические законы и причинно-следственные связи точнее, а поведение модели легче объяснить и атрибутировать. Помимо целевых объектов и материалов, Kosmo даёт ещё один ключевой элемент — пространственные отношения. Для робота на пути от восприятия к осознанию, самостоятельному планированию маршрута и стратегии пространственные связи необходимы как для принятия решений, так и для обучения модели. Такого канала данных «предустановленного» и «предынтегрированного» типа в сфере воплощённого интеллекта и физического ИИ раньше просто не существовало. Игрокам рынка воплощённого интеллекта и другим командам, которым нужны измерения и сбор данных, это критически необходимо, причём нужно далеко не только лидарные данные. Долгое время все покупали отдельные сенсорные компоненты и вручную собирали собственные устройства для сбора данных — нестандартные, ненадёжные, дорогие и не поддающиеся итерациям. Но все эти боли — как раз зона комфорта Hesai как лидера рынка лидаров: прецизионная оптоэлектроника, автомобильные стандарты, промышленное производство. Поэтому Kosmo, конечно, включает лидар, но это не просто продолжение автомобильного лидарного бизнеса и не демонстрация технологий ради продажи большего числа лидаров — компания уже выпускает миллионы устройств в год, и её признание давно состоялось. Речь о решении проблемы «изобретения велосипеда», которая мучает всех в сфере воплощённого интеллекта и физического ИИ: создан первый в отрасли специализированный терминал данных, работающий по принципу «включил — сканируешь, отсканировал — используешь».

Устройство Kosmo состоит из двух частей: Kosmo One в руках пользователя — это терминал сбора, а облачный Kosmo World — терминал реконструкции. Внутри Kosmo One четыре типа сенсоров: заказной лидар, сверхчёткая видеосистема с разрешением до 8K, дюймовая матрица CMOS и высокоточный IMU. Сигналы этих сенсоров по своей природе различны: облако точек — это разреженные трёхмерные координаты, изображение — двумерный массив пикселей, IMU — высокочастотные временные ряды. Так называемая предынтеграция означает, что сигналы выравниваются на аппаратном уровне ещё до попадания в любой алгоритм реконструкции. Это происходит в двух измерениях: по времени Kosmo обеспечивает синхронный сбор с микросекундной точностью, все четыре сенсора используют единый источник тактирования и механизм запуска, и каждый кадр жёстко привязан к временной метке; по пространству внешняя калибровка между лидаром и камерой определяет, сможет ли каждая трёхмерная точка облака точно спроецироваться на соответствующий пиксель изображения. Kosmo One объединяет всё в одном устройстве, внешние параметры откалиброваны на заводе и поддерживаются IMU в процессе работы. Глубина, измеренная лидаром, напрямую сопоставляется с пикселями изображения, без необходимости угадывать взаимное положение сенсоров через сопоставление признаков в программном обеспечении. Выход предынтеграции — набор пространственно-временно выровненных мультимодальных кадров, где облако точек лидара, RGB-пиксели изображения и траектория позы IMU привязаны к одной временной метке и совместно описывают полное наблюдение пространства устройством в этот момент. Аппаратная предынтеграция перекликается с пиксельной предынтеграцией, которую Hesai реализовала на чипе SPAD-SoC: над SPAD-пикселем интегрируется RGB-фильтр, и один пиксель одновременно выполняет подсчёт фотонов и измерение времени пролёта, сразу выдавая пространственно-временно выровненное цветное облако точек. Kosmo One распространяет похожий подход с чипа на мультисенсорную систему. Затем мультимодальные кадры загружаются в облако и попадают в Kosmo Spatial Core (KSC), где преобразуются в представление 3DGS. 3DGS — метод трёхмерного представления сцены, предложенный на SIGGRAPH в 2023 году: сцена строится из множества трёхмерных гауссовых распределений, каждое из которых имеет своё положение, форму, прозрачность и цвет, зависящий от угла обзора. При обучении, отталкиваясь от разреженного облака точек, полученного при калибровке камеры, эти гауссианы корректируются по разнице между отрендеренным и реальным изображением, и в итоге получается набор трёхмерных точек, способный в реальном времени выдавать фотореалистичную картинку. Но у исходного 3DGS есть слабое место: он опирается только на изображения, а монокулярное изображение не позволяет определить реальный масштаб сцены, белые стены и стекло без текстуры легко обсчитываются неверно, а пространственное распределение гауссианов лишено физических ограничений. Последние два года научное сообщество сосредоточенно решает эту проблему, добавляя абсолютную глубину от лидара в инициализацию и оптимизацию 3DGS. В случае Kosmo весь процесс выглядит так: Kosmo One выполняет синхронный сбор с микросекундной точностью, ISP обеспечивает согласованность цвета между ракурсами, данные загружаются в KSC. KSC инициализирует положения гауссианов по облаку точек лидара, использует глубину как геометрическое ограничение в оптимизации, а RGB-информация через фотометрические потери при дифференцируемой растеризации вносится в параметры цвета гауссианов. Три потока сигналов работают согласованно в рамках одной оптимизационной структуры, и на выходе получается представление 3DGS с одновременно сошедшимися положением, формой и цветом. Кроме того, KSC синхронно экспортирует два однородных типа данных — mesh и depth — с единой системой пространственных координат, без необходимости межформатной регистрации. Одна реконструкция сразу выдаёт три формы данных, пригодных для обучения роботов: 3DGS, mesh и depth. Наконец, KSC оснащён возможностями AIGC-дополнения: он автоматически заполняет непросканированные слепые зоны и распознаёт материалы, а через ИИ-семантическую сегментацию независимо выявляет и размечает объекты в сцене, превращая статичную трёхмерную модель в структурированные данные, готовые к обучению ИИ.

Характеристики Kosmo фактически выходят далеко за пределы умных автомобилей и даже сценариев воплощённого интеллекта. Кино, игры, геодезия, робототехника и даже недвижимость нуждаются в возможностях Kosmo — например, для VR-просмотра квартир. Если данные — это «нефть», то Kosmo — это интегрированная инфраструктура добычи и переработки, позволяющая «автовладельцам» — моделям ИИ, прикладному уровню и потребителям данных — заправиться и уехать, готово к использованию из коробки. Это широта применения, а в «глубине» Hesai вложила в Kosmo более глубокие размышления. От автопилота до воплощённого интеллекта споры о противостоянии симуляции и реального сбора данных не утихали, а с популяризацией концепции мировых моделей в этом году кажется, что этой «модной дискуссии» приходит конец: раз есть мировая модель, зачем тратить силы на реальный сбор данных? С этой логики Kosmo выглядит «против течения ИИ». Но сравнение GPT-6 Astra и данных восстановленных сцен Kosmo уже всё объясняет: по крайней мере нынешние «мировые модели» не способны ответить на один вопрос. Чем сильнее ИИ, тем больше задач могут решать мировая модель и робот, тем больше сценариев открывает терминал физического ИИ, но одновременно тем выше требования к обобщению. А значит, тем нужнее свежие данные реального мира как основа. Продукты сбора пространственных данных вроде Kosmo, вероятно, будут существовать долго. Иными словами, Kosmo не будет заменён по мере усиления ИИ — наоборот, чем сильнее ИИ, тем полезнее Kosmo, он «заодно с ИИ». Возвращаясь к сомнениям: сам Kosmo — это kick start для мировой модели. Что касается сути спора о мировых моделях — «угадывает» ли ИИ мир или по-настоящему его понимает, — академики и индустрия спорят до сих пор, но Hesai через Kosmo вскрыла более фундаментальный вопрос, который традиционные игроки больших моделей обходили и игнорировали: если источник данных, особенно на этапе обучения, выровнен с реальным физическим миром, не решатся ли многие проблемы сами собой и не окажутся ли многие споры ненужными? По крайней мере, только определив источники способностей модели и цепочку объяснения и атрибуции, можно обсуждать суть мировых моделей не как «цветы в зеркале и луну в воде». Поставщика лидаров Hesai, вышедшего из автомобильной отрасли, действительно пора переоценить. Во-первых, наработки в прецизионном производстве оборудования, проектировании чипов и промышленном выпуске, отточенные на рынке умных автомобилей, стали фундаментом эпохи физического ИИ — помимо Kosmo, есть собственные модули привода для роботов: компактные, мощные и надёжные. Роль Hesai тоже меняется: из простого поставщика лидаров для автопроизводителей она превращается в поставщика инфраструктуры физического ИИ. Например, основной выручкой Kosmo может стать не продажа железа, а продажа токенов, которые тратит «мозг» Kosmo на производство данных как активов. Во-вторых, у основателей Hesai теперь есть не только эта «инфраструктурная» компания, но и полностековая робототехническая Sharpa. Sharpa находит проблемы в реальных сценариях и транслирует потребности, Hesai постоянно итерирует и предлагает всё лучшие решения всей отрасли воплощённого интеллекта, а заодно получает прямую выручку от Sharpa — свой малый замкнутый цикл двигает большой цикл отрасли. Наконец, Hesai давно вышла за рамки чисто аппаратной компании. Kosmo сам по себе — комплексное решение из железа и моделей, но за моделями стоит реже замечаемая вещь: платформа данных как активов, где можно открывать данные, отсканированные пользователями, и собственные тестовые данные Hesai. Генеральный директор Ли Ифань как бы невзначай «раскрыл» амбиции: Hesai намеренно сделала Kosmo с «яблочным» ощущением — передовое проектирование, разработка и производство железа в поддержку платформенной экосистемы, охватывающей всю отрасль. Чем дальше идёт физический ИИ, тем больше будет спрос на свежие данные реального мира. Hesai, вырвавшись из автомобильной отрасли, уже заняла позицию входа в данные для физического ИИ. Дальше ей предстоит доказать, насколько широкий и глубокий бизнес-ландшафт способен выстроить этот путь от сенсоров к данным как активам. Одно можно сказать точно: финал топовых игроков рынка умных автомобилей не остановится на умных автомобилях.