Как Generalist использует демонстрационные данные человека для обучения роботов

Стартап Generalist, оцениваемый в 2 миллиарда долларов, построил свою технологию на исследовании Universal Manipulation Interface (UMI). Ученые из Toyota Research Institute, Колумбийского и Стэнфордского университетов создали платформу, где люди управляют кукольными манипуляторами, а GoPro снимает реальные действия — от мытья посуды до подъема предметов. Демонстрации становятся данными для обучения роботов, позволяя им быстро осваивать новые задачи.

На июньской выставке Automate Generalist показала, как модели создают политики для разных роботов: руки Universal Robots складывали картонные коробки, а Flexiv ремонтировали роботы-пылесосы. Главное, по словам компании, — способность роботов мгновенно восстанавливаться при сбоях, что меняет представление об автоматизации.

Позже компания опубликовала манифест «К машинам с тысячью рук». Инженер-основатель Саманта Кастелланос объяснила: цель Generalist — лучшая в мире модель, и именно она станет их преимуществом. Конкуренция огромна: сектор уже привлек более 4 миллиардов долларов, включая Skild AI, Physical Intelligence, Field AI и RLWRLD.

Отличительная черта стартапа — подход к данным. Схват робота имеет всего одну степень свободы, и простота здесь осознанный выбор. «Простые вещи часто оказываются самыми надежными», — говорит Кастелланос. Замена пальца занимает не более двух минут, что критично для производственных линий.

Generalist поражает скоростью перехода от демонстраций к работающему манипулятору. Для задачи «тысячи рук» данные собирали в офисах в Бостоне и Калифорнии: человеческие демонстрации заняли от двух до восьмидесяти часов на задачу, затем модель запускали на роботе и дообучали его собственными данными — от четырех до восьмидесяти минут. Так, для ленты понадобилось всего четыре минуты роботизированных данных, и модель справлялась с задачей десять раз подряд.

Generalist доказывает: эффективное обучение роботов не требует миллионов примеров — достаточно продуманной системы сбора и хорошей модели.