Квантование — это метод сжатия модели, при котором числа, представляющие её веса (обычно хранимые с высокой точностью — 16 или 32 бита на параметр), округляются до представления с меньшей точностью — например, 8 или даже 4 бита. Это уменьшает объём памяти, необходимой для хранения и запуска модели, в несколько раз.
Компромисс квантования — небольшая потеря точности вычислений, которая при аккуратном подходе (современные методы квантования специально проектируются так, чтобы минимизировать потери) практически не сказывается на качестве ответов модели, зато позволяет запускать крупные модели на менее мощном и дорогом оборудовании, ускоряя инференс и снижая эксплуатационные расходы.
Квантование особенно важно для развёртывания моделей на устройствах с ограниченными ресурсами — от корпоративных серверов среднего класса до персональных компьютеров и смартфонов, где полноразмерная модель просто не поместилась бы в доступную память.