Новый датасет HiPHI научит гуманоидов захвату движений и работе с предметами

Разработчики представили HiPHI — масштабный бенчмарк, посвящённый высокоточному захвату движений человека и его взаимодействия с объектами. Поводом для создания датасета стала вполне конкретная инженерная проблема: обучение человекоподобных роботов упирается в нехватку качественных данных, и обычные видео из интернета вместе с существующими наборами записей движений эту дыру закрыть не могут. Именно поэтому авторы белой книги адресуют её исследователям и инженерам в области робототехники, которым нужен понятный обзор нового инструмента и доказательство, что натренированные на нём алгоритмы действительно работают на реальном железе.

Ключевая идея проекта в том, что данные для обучения гуманоидов нужно собирать не хаотично, а системно. Для этого авторы опираются на FrameNet — лингвистический фреймворк, описывающий человеческие действия через смысловые рамки. Такой подход позволяет спланировать сбор записей движений так, чтобы покрыть широкий спектр движений всего тела, а не случайный набор эффектных трюков. Иными словами, язык описания действий превращается в карту того, какие движения нужно зафиксировать в первую очередь, чтобы робот получил полноценный двигательный опыт.

Отдельный акцент сделан на взаимодействии с предметами. В датасете синхронизированы траектории объектов и их трёхмерные сетки-меши, и именно это делает данные пригодными для обучения роботов реальным бытовым задачам — переноске, толканию и подтягиванию предметов. Без точной геометрии объекта и его согласованного движения относительно тела человека такой навык не сформировать: роботу мало повторить позу, ему нужно понимать, где находится предмет и как он смещается в процессе действия.

Авторы также показывают, как на собранных данных обучаются политики методом обучения с подкреплением и как качество этих политик растёт вместе с масштабом датасета. Это важный аргумент в пользу самой идеи: чем больше разнообразных и точных записей, тем устойчивее поведение модели. Финальная часть белой книги посвящена переносу из симуляции в реальность — sim-to-real. Именно этот этап обычно становится самым болезненным, когда отполированный в виртуальной среде агент сталкивается с шумом, трением и неидеальными приводами настоящего робота. По словам авторов, натренированные на HiPHI политики успешно переносятся на физического человекоподобного робота, что и подтверждает практическую ценность набора.

Контекст здесь шире одной публикации. Обучение гуманоидов считается центральной задачей воплощённого и «физического» искусственного интеллекта, где интеллект неотделим от тела и его взаимодействия со средой. И пока одни компании соревнуются в эффектных демонстрациях, другие закрывают менее заметную, но принципиальную проблему — дефицит размеченных, синхронизированных и разнообразных данных о движении. HiPHI претендует именно на эту нишу: не очередная модель, а инфраструктура, на которой такие модели можно строить. Белая книга распространяется бесплатно, и её авторы явно рассчитывают на то, что датасет станет рабочим инструментом для лабораторий, а не просто красивым слайдом на конференции.