Разговорили гуманоида: русскоязычный голосовой стек для китайского робота

Можно ли управлять гуманоидом Walker Tienkung по-русски через собственную голосовую систему? Команда разработчиков решила проверить это на практике и быстро обнаружила, что штатные решения не готовы к такой задаче. Встроенная система распознавания понимает только китайский язык, а популярный Whisper сбивается на коротких командах: «беги» превращается в «begin», а «встань» — в «Таня». Дополнительная языковая модель добавляет задержку, а динамик робота обрезает начало фразы после паузы.

Чтобы обойти эти ограничения, инженеры собрали собственный модульный русскоязычный стек. Они разделили обработку коротких команд и полноценного диалога: для быстрых управляющих сигналов используется лёгкий конвейер, не требующий тяжёлой LLM, а для разговора задействуется более мощная модель. Такой подход позволил резко сократить время реакции и избавиться от артефактов распознавания.

Отдельно пришлось решать проблему синтеза речи. Динамик робота «съедал» первые звуки после паузы, поэтому авторы оптимизировали пайплайн синтеза и научились подмешивать предварительный триггер, чтобы фраза начиналась чётко. Задержка от команды до действия теперь измеряется долями секунды — этого достаточно, чтобы управлять 173-сантиметровым и 75-килограммовым гуманоидом без заметных подвисаний.

В статье также описаны проведённые тесты, схема архитектуры и оставшиеся нерешённые задачи. Разработчики честно признают: идеального универсального решения пока нет, но опыт показывает, что даже сложного промышленного робота можно «разговорить» на русском за месяц, если грамотно комбинировать открытые модели и собственные оптимизации. Полный технический гайд доступен всем желающим, так что каждый может попробовать повторить результат на своём железе.