Роботосодержание равно нулю: самое сложное рободемо этого года

Главная особенность не в механике, а в данных. На этапе дообучения не использовали ни одной записи телеоперации реального робота. Вместо этого TwinDex тренировали на нескольких сотнях эпизодов, собранных человеком в носимом экзоскелете. Экзоскелет устроен так же, как конечный манипулятор: та же трехпалая кинематика и похожие сенсоры, поэтому движения переносятся почти без потерь — принцип «что собрал, то и получил». Сбор данных в 5,3 раза быстрее традиционной телеоперации, а итоговая точность сравнима с обучением на реальном роботе.

Конструкторы выбрали три пальца и девять степеней свободы сознательно: две губки параллельного схвата не умеют вращать предметы, а пятипалая рука намного сложнее и дороже. Третий палец добавляет стабильность при работе с инструментами и позволяет выполнять точные действия в ладони. Так, крышку робот откручивает боковым движением пальца, а не запястья.

Демо подтверждает: для качественного обучения не обязательно арендовать реального робота и водить его вручную. Связь между ценными данными и телеоперацией ослабевает, и, возможно, скоро ручное управление перестанет быть обязательным этапом при освоении новых задач — как и предсказывал в мае глава робототехники NVIDIA.