Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель

Многие компании оказываются перед непростым выбором: использовать облачные нейросети или строить собственные модели. Первый вариант часто неприемлем для банков, госкорпораций и медучреждений, потому что данные не должны покидать периметр. Обезличивание не дает технической гарантии безопасности: достаточно одного невычищенного поля или сочетания признаков, чтобы восстановить личность. Ответственность за такое решение лежит на конкретном человеке, и при высокой цене ошибки он предпочтет вариант, при котором данные вообще не уходят наружу.

Крупные игроки решают эту задачу по-разному. Сбер построил GigaChat, у Яндекса есть собственная линейка моделей, некоторые банки создают внутренние платформы. Другие компании разрешают облачные сервисы, но под контролем DLP и с фильтрацией персональных данных. Оба подхода работают, однако первый требует бюджета на сотни специалистов, а второй упирается в политику безопасности, которая не везде позволяет использовать облака.

Между этими крайностями есть широкая полоса: организации, которым не по карману собственная разработка, но и облачные сервисы служба безопасности не разрешает. Им обычно говорят, что ничего серьезного не выйдет, ведь открытая модель среднего размера проигрывает облачным гигантам по большинству бенчмарков. Максимум, на что можно рассчитывать, — умный автодополнитель.

Автор материала решил проверить это утверждение на практике. Он собрал не чат-бота, а полноценного корпоративного оркестратора: систему, которая понимает задачу, сама выбирает исполнителей, обращается к корпоративным системам, выполняет многошаговую работу и выдает результат в виде файла, письма или отчета. При этом запускается система не на кластере ускорителей, а на одной потребительской видеокарте.

Удалось ли достичь задуманного и на что действительно способна локальная модель, читайте в полной версии материала.