Gemma

Gemma — семейство компактных языковых моделей с открытым весом от Google, созданных на основе технологий Gemini. Веса доступны для скачивания, поэтому разработчики и исследователи могут дообучать их и запускать на своих серверах без огромных вычислительных ресурсов.

Открытость критична: в медицине, юриспруденции, образовании нельзя передавать чувствительные данные в облачные сервисы. Также она позволяет изучать внутреннее устройство модели, выявлять предвзятости и повышать безопасность ИИ.

Как и другие LLM, Gemma предсказывает следующее слово, формируя математические представления о связях между понятиями. Благодаря оптимизации архитектуры (например, разделение внимания по группам запросов) она при размере от 2 до 27 млрд параметров достигает качества, сопоставимого с моделями в десятки раз больше, экономя память и ускоряя вычисления.

Пример: небольшая клиника скачивает Gemma, дообучает на своих документах и разворачивает на собственном сервере. Так она отвечает на вопросы пациентов о приёме и анализах, полностью сохраняя конфиденциальность.

Gemma — мост между гигантскими нейросетями и реальным миром, где важны приватность, локальность и низкие затраты. Мощный ИИ может быть открытым инструментом для всех.