В Doubao появился виртуальный рабочий стол для управления Windows

Чтобы воспользоваться возможностью, нужно в компьютерном клиенте Doubao выбрать режим задач и локальный компьютер, затем в панели навыков активировать пункт «Управление компьютером» и пройти авторизацию. После этого в виртуальном рабочем столе ассистент получает доступ к экрану и способен двигать курсор, кликать по кнопкам, вводить текст с клавиатуры и продолжать выполнение многошаговых задач уже в самой системе.

Отмечается, что виртуальный рабочий стол основан на более универсальной технологии взаимодействия с графическим интерфейсом. Это значит, что Doubao понимает элементы интерфейса и работает с ними без необходимости подключать сторонние инструменты вроде MCP, API, плагинов или CLI. Такой подход позволяет ассистенту действовать в обычном окружении Windows, не нарушая работу пользователя.

По заявлению разработчиков, Doubao может открывать приложения, заходить на веб-страницы и выполнять задачи, требующие участия нескольких программ, — и при этом не перехватывает управление мышью и клавиатурой, не мешает текущей работе и не отвлекает владельца компьютера. Все действия ассистента отображаются в виртуальном рабочем столе в реальном времени, поэтому пользователь может наблюдать за процессом, а при необходимости — поставить его на паузу или полностью взять управление на себя.