Роботы учатся понимать физику: ставка на носимые сенсоры вместо гонки моделей

Китайский стартап Phanes AI, который возглавляет самый молодой в стране профессор в области искусственного интеллекта, пошёл нестандартным путём: вместо того чтобы догонять конкурентов в гонке параметров моделей, команда сначала взялась за сбор данных. На этой неделе компания вместе с производителем электроники Tinno Mobile представила систему захвата движений SeePhys Hub — носимое снаряжение, которое записывает не только то, что человек видит, но и то, как двигается его тело и что чувствуют его руки.

Повод для беспокойства вполне конкретный. Роботы уже учатся на десятках тысяч часов человеческих действий, однако львиная доля таких записей сделана с камеры на голове — так называемые Ego-данные. Мы видим, что человек сделал, но почти не видим, как при этом работало его тело. Когда нужно поднять коробку, человек сначала подходит, наклоняется, протягивает руку, хватает и лишь потом выпрямляется, перенося вес. Камера от первого лица фиксирует кисти, но не положение локтей, бёдер и стоп. А если тело или предмет заслоняют обзор, восстановить позу по видео становится совсем ненадёжно. Для робота, которому предстоит шагать, наклоняться и орудовать двумя руками сразу, этих данных катастрофически не хватает.

SeePhys Hub пытается закрыть пробел минимальными средствами. В комплект входят очки с четырьмя камерами, два браслета на запястья, три трекера движения на пояснице и голенях и тактильная перчатка. Разреженная схема узлов позволяет алгоритму восстановить положение всего тела, опираясь на инерциальные датчики и радиодальномеры, которые измеряют расстояния между узлами с точностью до долей миллисекунды. Камеры в очках дают круговой обзор на 360 градусов, браслеты дополняют картину крупным планом, а перчатка фиксирует давление при контакте с предметами. Разработчики приводят простой пример: человек достал бутылку из холодильника и, поворачиваясь, закрыл дверцу — камера за головой всё равно поймает это движение, хотя в кадр оно не попадает.

Отдельная история — так называемое чувство руки. Беря виноградину, человек на ходу решает, дожать или ослабить хватку, и постоянно корректирует движение по фактическому контакту. Перчатка добавляет к видеоряду физический сигнал давления, и модель получает шанс уловить связь между движением тела, касанием и поведением предмета. Правда, инженеры честно признают: датчиков не должно быть слишком много. Перчатка сделана опциональной, потому что операторы сбора данных первым делом попросили не заставлять людей работать в ней — при мытье посуды она мешает точным движениям и накапливает шум. В тестах после нескольких взятых стаканов перчатка продолжала показывать давление на пустой руке.

Вес тоже под контролем: очки — до 220 граммов, браслет — до 75. Ставка сделана на лёгкость, цену и свободу движений в реальных сценах. По словам основателя и гендиректора Phanes AI Ян Шо, компания выстраивает трёхуровневую пирамиду данных: снизу — массовые интернет-видео, сверху — дорогая высокоточная моторика и записи с реальных роботов, а SeePhys Hub метит в середину, где нужно совместить масштаб и полноту картины. Партнёрство с Tinno Mobile закрывает себестоимость, поставки и контроль качества, а клиенты смогут выбирать между покупкой одного железа, готовым решением с алгоритмами и локальным развёртыванием либо облачной обработкой.

Сам Ян Шо — фигура примечательная: он родился в 1998 году и в 26 лет стал штатным профессором и научным руководителем в Харбинском технологическом институте в Шэньчжэне. Более 90 процентов ключевых сотрудников компании — выпускники ведущих университетов Китая. Команда уже выпустила набор EgoTouch с синхронной записью видео, поз рук и реального давления, исследование TouchAnything по оценке контакта по видео и модель TouchWorld, которая предсказывает визуальные и тактильные цели, а затем корректирует действия по обратной связи — её проверяли на задачах вроде вставки вилки в розетку и протирания сковороды. SeePhys Hub расширяет всё это с кистей на всё тело. Полноценную мультимодальную модель мира компания обещает в 2027 году, начиная с промышленности и общепита, а собственного робота пока строить не собирается: слишком рано фиксировать железо, пока сценарии и алгоритмы продолжают меняться.