Google DeepMind выпустила модель перевода жестов: ИИ впервые добрался до потребителей

В мире около 70 миллионов глухих и слабослышащих людей используют более 200 жестовых языков. Новая функция даёт им удобную альтернативу голосовому набору. По данным тестирования, ввод на ASL быстрее, естественнее и приятнее, чем печать английского текста пальцами.

В DeepMind напоминают: жестовый язык — это самостоятельная естественная система со своей грамматикой и словарём, поэтому перевод не сводится к последовательной замене знаков словами. Здесь нужен настоящий машинный перевод. Модель должна одновременно «понимать» движения рук, корпуса, головы и мимику, а значит — опираться на мощное компьютерное зрение.

Модель SL2T обучалась на ста тысячах часов видео с более чем 50 жестовыми языками. Чтобы защитить приватность, она преобразует жест в координаты опорных точек тела и не отправляет исходный видеопоток на сервер. Разработчики также отказались от традиционных промежуточных аннотаций: нейросеть сразу читает пространственную информацию и превращает её в текст.