Unstructured pruning

Неструктурированная обрезка — это метод сжатия нейросетей, при котором удаляются отдельные веса (синапсы), оказавшиеся наименее важными. В отличие от структурированной обрезки, вырезающей целые каналы или слои, здесь матрица весов становится разреженной — большинство её элементов равно нулю. Это уменьшает размер модели и ускоряет вычисления, если фреймворк поддерживает разреженные операции.

Зачем это нужно? Современные модели содержат миллионы и миллиарды параметров, и они не помещаются в память смартфона или браузера. Неструктурированная обрезка позволяет убрать до 90% весов практически без потери точности, главное — после обрезки провести дообучение.

Как это работает интуитивно? После основного обучения каждый вес получает оценку важности, например по абсолютному значению. Малозначимые веса обнуляются, а оставшаяся сеть дообучается, чтобы компенсировать потери. В результате остаётся «скелет» нейросети, который выполняет почти ту же работу.

Практический пример: модель распознавания дорожных знаков для автомобиля сжимается в 8 раз — с 12 до 1,5 Мбайт. Сжатая модель без задержек работает на недорогом чипе, определяя знаки за миллисекунды.

Короткий итог: неструктурированная обрезка делает нейросети компактными и быстрыми. Её главный нюанс — необходимость специального ПО для работы с нулями, но именно этот метод лежит в основе многих современных техник сжатия ИИ.