Роботы осваивают осязание: тактильные данные ускоряют обучение манипуляциям

За последние несколько лет модели класса «зрение — язык — действие» (vision-language-action, VLA) заметно улучшили способность роботов выполнять сложные задачи с объектами и в условиях, которых они раньше не встречали. Предварительно обученные на огромных массивах изображений, видео и текста, а затем дообученные на меньшем числе телеуправляемых демонстраций, такие модели проводят робота через все более широкий круг бытовых дел — от складывания белья и уборки гостиной до обращения с кухонной техникой, — используя лишь видеопоток и инструкции на естественном языке.

Но роботам по-прежнему трудно даются задачи, требующие тонкого контроля рук: работа с деформируемыми материалами или мелкими предметами, например подключить кабель USB или повернуть ключ в замке. Отчасти это происходит потому, что модели VLA игнорируют один из главных источников информации, на который опираются люди в таких ситуациях, — тактильную обратную связь.

«Большинство ловких манипуляций человек может выполнить с закрытыми глазами, — говорит Тревор Даррелл, профессор информатики Калифорнийского университета в Беркли. — Понимание силы, проскальзывания и точного захвата не достигается хорошо с помощью традиционных зрительных сенсоров». Однако эффективно использовать тактильные датчики непросто. Данные осязания по своим характеристикам сильно отличаются от изображений, на которых обычно обучают VLA, а тактильные наборы данных куда меньше по масштабу, чем интернет-масштаб многих наборов визуальных и текстовых данных.

Чтобы обойти это, команда Даррелла придумала сначала предобучить модель на существующих данных, а затем наделить ее чувством осязания, обучив специализированную подмодель на 100 часах специально собранных высококачественных тактильных данных. В них вошли демонстрации типичных действий — вытирания, захвата, скручивания, наливания — с использованием более чем 200 разных предметов быта.

Применить тактильные данные на практике оказалось не так просто. Цель состояла в том, чтобы робот мог использовать тактильный сигнал для коррекции захвата в реальном времени во время манипуляции. Но для этого нужна реакция быстрее, чем работает большинство моделей «зрение — язык». Это несоответствие — серьезная проблема, говорит Даррелл, поэтому команда задействовала отдельные подмодели, так называемых «экспертов»: один отвечает за действия высокого уровня, другой — за низкоуровневое тактильное управление, достаточно быстрое, чтобы обратная связь была полезной. Эксперт по действиям строит план движений, а тактильный эксперт, работающий в четыре раза быстрее, корректирует этот план в реальном времени на основе того, что робот ощущает по ходу дела. Затем модель дообучили примерно на 100 телеуправляемых демонстрациях относительно сложных задач — вкрутить лампочку, нанести зубную пасту на щетку, перенести яйцо между лотками. В среднем по 12 задачам она показала успешность 65 процентов, почти вдвое лучше лучшей модели VLA.

Одно из ограничений, признает Даррелл, в том, что его данные получены на единственном экземпляре роботизированного оборудования. Роботизированные руки бывают от полностью сочлененных пятипалых конструкций до простых клешней-захватов, а тактильные датчики могут опираться на принципиально разную физику — от измерения изменений сопротивления до записи изображений деформации мягкой гелевой подушечки. Из-за этого большинство исследований тактильного ИИ привязано к конкретному датчику, говорит Чэнбо Юань, магистрант Университета Цинхуа в Пекине, и это затрудняет обмен данными и перенос знаний между группами.

Юань недавно взялся решить эту проблему, объединив более 3000 часов тактильных данных роботов из общедоступных наборов, охватывающих 21 тип датчиков и различные конструкции роботов. По его словам, вдохновением послужили инициативы вроде коллаборации Open X-Embodiment, которая собрала данные со множества роботов и привела к появлению моделей, обобщающихся на оборудование, не участвовавшее в обучении. Затем команда Юаня разработала аппаратно-независимую модель, способную обучаться на этих разнородных данных: выход каждого датчика преобразуется в общий формат и отображается на размеченные позиции шаблона человеческой руки. Эта модель оказалась намного успешнее базовой, даже на оборудовании, которого она никогда не встречала. Юань объясняет это тем, что она приобрела «своего рода здравый смысл тактильного знания», обучаясь на столь разнообразных конфигурациях.

Несмотря на многообещающие результаты, Юань считает, что тактильных данных нужно больше, и его группа теперь ведет коллаборацию с 80 учреждениями, чтобы собрать более крупный набор телеуправляемых демонстраций на основе стандартизированного подхода к сбору и обработке тактильных данных. Тем временем Фуданьский университет в Шанхае и его спин-офф NeoteAI уже создали тактильный набор данных на порядок больше прежних усилий. Используя фирменный датчик, закрепленный на различных роботизированных манипуляторах, и ручной захват, управляемый человеком, они собрали более 30 000 часов демонстраций с синхронизированными визуальными и тактильными данными.

Исследователи обучили на этих данных модель, которая не просто реагирует на прикосновение, но и заранее предсказывает, что робот должен ощущать, помогая направлять и оценивать действия, что заметно улучшает результат. Шуньлинь Лу, постдок Фуданьского университета и технический директор NeoteAI, говорит, что результаты ясно свидетельствуют: доступ к крупномасштабным и разнообразным тактильным данным дает значительный прирост производительности. Еще один подход к масштабированию тактильных данных может состоять в том, чтобы опереться на огромные объемы уже собранных визуальных данных о роботах.