Как мы внедрили AIOps для контроля GPU-утилизации и повысили её на 60%

Команда ML-платформы компании RWB поделилась опытом внедрения AIOps-подхода для контроля эффективности использования графических ускорителей. Специалисты отвечают за разработку платформы машинного обучения и мониторинг инфраструктуры. Со временем стандартные методы алертов по утилизации ресурсов перестали справляться с задачами: росло число метрик, участились ложные срабатывания, а реагирование на инциденты требовало всё больше ручного труда.

Чтобы решить проблему, инженеры разработали автоматизированную систему на основе AIOps. Она анализирует поток данных о состоянии GPU, выявляет аномалии и помогает быстрее принимать решения о перераспределении нагрузок. Благодаря этому средняя месячная утилизация GPU на отдельных кластерах выросла более чем на 60%. Автоматизация позволила не только повысить производительность, но и снизить затраты на инфраструктуру, а также разгрузить команду, переведя рутинные операции в автоматический режим. В планах компании — масштабировать этот подход на другие компоненты платформы.