Raycast 0.71 теперь позволяет ИИ видеть содержимое экрана Mac

Raycast, один из самых популярных лаунчеров для macOS, выпустил версию 0.71. Главная особенность обновления — функция Screen Awareness, которая позволяет ИИ получать контекст активного приложения или окна. Раньше пользователю приходилось вручную копировать нужные фрагменты, делать скриншоты и объяснять ассистенту, с чем он работает. Теперь Raycast передаёт в нейросеть сведения о запущенном приложении, выделенный текст, данные о текущем элементе управления и снимок экрана. Это заметно ускоряет взаимодействие с AI: достаточно одной команды, чтобы алгоритм понял, что происходит на дисплее.

Активировать функцию можно тремя способами: выполнить команду Send Focused Window to AI, выбрать пункт Screen Awareness в меню «@» или ввести запрос вроде «summarise this». Raycast называют самым мощным инструментом продуктивности на Mac, а с января этого года он доступен и в бета-версии для Windows 10 и Windows 11.

В обновлении также появился ряд улучшений для AI и диктовки. AI-функции получили сжатие контекста и расширение Ask Screen Awareness AI Extension. Quick AI теперь отправляет сообщения по Command Return. В диктовке доступны импорт словаря и команда Add Word to Vocabulary. Для обратной связи добавлено расширение Ask Feedback AI Extension. Плюс Raycast научился распознавать горячие клавиши с обеих сторон клавиатуры, например левый и правый Command.