Компания вундеркинда выпустила eGPU-док chestnut: ИИ в авто стал в 100 раз мощнее

Хотц, более известный под ником geohot, получил прозвище «вундеркинд» после того, как в 17 лет первым в мире взломал iPhone. Позже он взломал Sony PlayStation 3, а в 2016-м основал comma.ai. Компания ставила целью сделать полуавтономное вождение доступным массовому потребителю за счёт открытого ПО и недорогих устройств. В конце октября 2022 года Хотц покинул пост генерального директора и вышел из проекта OpenPilot, но его дело продолжает жить.

Основная задача Chestnut — добавить comma four дополнительные вычислительные мощности для работы нейросетей. Как поясняют в компании, openpilot потребляет около 10 ватт при выполнении моделей ИИ, и этого всё чаще не хватает по мере роста моделей. Подключение Chestnut поднимает допустимый предел энергопотребления до 100 ватт, что позволяет запускать по-настоящему тяжёлые сети. Утверждается, что в такой конфигурации производительность приближается к аппаратному обеспечению Tesla HW4.

Вместе с грядущим релизом openpilot 0.11.2 выйдет первая модель «уровня Chestnut». Она имеет один миллиард параметров и станет самой крупной моделью управления, когда-либо выпущенной comma.ai. По сравнению с возможностями самого comma four, новая модель получает в 30 раз больше параметров и примерно в 100 раз больше вычислительной мощности (количество операций с плавающей запятой).

Технически Chestnut построен на мосте PCIe Gen4 x4 через USB4. Прошивка контроллера написана на языке C и опубликована на GitHub организацией tinygrad. Кроме того, компания сообщила, что автопарк её автомобилей ежедневно записывает около миллиона минут данных о вождении, и 15 процентов этих данных используются для обучения моделей.