Метод сжатия модели путём снижения точности представления её весов — уменьшает размер и ускоряет работу ценой небольшой потери качества.
Квантование — это метод сжатия модели, при котором числа, представляющие её веса (обычно хранимые с высокой точностью — 16 или 32 бита на параметр), округляются до представления с меньшей точностью — например, 8 или даже 4 бита. Это уменьшает объём памяти, необходимой для хранения и запуска модели, в несколько раз.
Компромисс квантования — небольшая потеря точности вычислений, которая при аккуратном подходе (современные методы квантования специально проектируются так, чтобы минимизировать потери) практически не сказывается на качестве ответов модели, зато позволяет запускать крупные модели на менее мощном и дорогом оборудовании, ускоряя инференс и снижая эксплуатационные расходы.
Квантование особенно важно для развёртывания моделей на устройствах с ограниченными ресурсами — от корпоративных серверов среднего класса до персональных компьютеров и смартфонов, где полноразмерная модель просто не поместилась бы в доступную память.
При грамотном применении современных методов потеря качества обычно минимальна и малозаметна в большинстве практических сценариев использования.
Технически да, но насколько успешно — зависит от архитектуры модели и конкретного метода квантования; некоторые модели переносят квантование лучше других.
Квантование актуально для компаний, которым важно запускать модель локально — по соображениям приватности данных, стоимости или требований регулирования вроде ФЗ-152.