Что нужно роботу для разговора с комнатой, а не с человеком?

В течение недели участники прослушали лекции по кинематике, динамике, сенсорике, управлению и обучению роботов, а также посетили специализированные занятия по аэроробототехнике, хирургическим роботам, биоинспирированным сенсорным системам и персональным ассистивным устройствам. Особый интерес вызвали экскурсии в лаборатории колледжа, где исследователи показали проекты в области адаптивной и интеллектуальной робототехники, роботизированной хирургии, манипуляции и тактильного восприятия. Участники разбирали реальные задачи — от движения четвероногих роботов до применения машинного зрения в медицинских приложениях.

Главной практической задачей стала разработка системы, позволяющей роботу общаться с группой людей. Участники создавали алгоритмы для определения активного говорящего в реальном времени, отслеживания каждого участника по ходу беседы и генерации естественного взгляда и поворотов головы, чтобы робот выглядел внимательным ко всей аудитории. В процессе работы им удалось проследить полный конвейер от языка к движению: языковая модель переводит речевое намерение в структурированные команды, которые затем сопоставляются с функциями высокого уровня, после чего инверсная кинематика преобразует их в траектории суставов, а система управления приводит в действие актуаторы.

Как отметили участники, эта работа наглядно демонстрирует, насколько междисциплинарный характер носит современная робототехника и как много ещё предстоит сделать для естественного взаимодействия роботов с группами людей. Школа стала возможна благодаря поддержке программы UK RAS STEPS, профинансировавшей участие пяти исследователей.