Генеративный ИИ улучшил беспроводное зрение, видящее сквозь препятствия

Исследователи Массачусетского технологического института усовершенствовали систему беспроводного «зрения», которая позволяет роботам находить и распознавать объекты, скрытые за препятствиями. Они применили генеративные модели искусственного интеллекта, чтобы преодолеть давнее ограничение, снижавшее точность реконструкции формы. Миллиметровые волны, используемые в системе, отражаются от скрытых предметов и возвращаются к датчику, но из-за зеркального отражения значительная часть поверхности остаётся невидимой. Новый подход сначала восстанавливает по отражённым сигналам фрагментарную форму, а затем нейросеть достраивает недостающие элементы.

Разработанная система Wave-Former была протестирована на семидесяти бытовых предметах, включая банки, коробки, посуду и фрукты. Объекты помещали за картоном, деревом, гипсокартоном, пластиком и тканью. По результатам испытаний точность реконструкции выросла почти на двадцать процентов относительно лучших существующих методов. Для обучения модели не потребовалось собирать огромный набор данных: исследователи адаптировали имеющиеся изображения, имитируя свойства миллиметрового излучения и шумов, что позволило применить уже существующие базы.

Кроме того, команда создала расширенную систему, которая полностью восстанавливает внутреннее пространство помещения, включая мебель. Она использует отражения сигналов от движущихся людей. Эти так называемые «призрачные» копии сигнала меняют положение в зависимости от движения, и нейросеть научилась интерпретировать их для построения сцены. Такое решение не требует установки датчика на мобильного робота и, в отличие от камер, не нарушает приватность находящихся в помещении людей.

По словам руководителя проекта, это качественный скачок в возможностях технологий беспроводного зрения. Разработка может повысить эффективность складских роботов, позволяя проверять содержимое упаковок до отправки, а также улучшить взаимодействие человека с бытовыми роботами в умных домах. Научные доклады представят на конференции IEEE по компьютерному зрению и распознаванию образов.