Квантование моделей: как ужать модель, чтобы она поместилась

Тот самый механизм, который реально позволяет 30-миллиардной модели поместиться в 16 ГБ VRAM твоего ноутбука, — без него практический расчёт из главы 10 выглядел бы совсем иначе.

Что такое квантование

Просто: вместо хранения каждого числа-параметра модели с максимальной точностью, его хранят с пониженной точностью — модель занимает меньше места и меньше памяти.
Профессионально: снижение битности представления весов модели с исходной точности обучения (обычно 16-битные или 32-битные числа с плавающей точкой) до более низкой битности (8-битной, 4-битной и ниже), обменивая часть числовой точности на сокращение объёма памяти и рост скорости вычислений.
Пример: одно и то же число, которое при полной точности заняло бы условно 4 байта памяти, при 4-битном квантовании занимает примерно в 8 раз меньше места.

Уровни квантования, которые встретишь в названиях моделей

Обозначение	Особенности
FP16	Исходная/полная точность обучения — самый большой размер файла
Q8	8-битное квантование — высокое качество, всё ещё довольно крупный размер
Q4_K_M	4-битное квантование, конкретный практический вариант — наиболее распространённая рекомендация по умолчанию, лучший баланс размера и качества для большинства практических задач
Q2	Очень агрессивное сжатие — заметная потеря качества, обычно оправдано только при действительно жёстких ограничениях по памяти

Компромисс: меньше битность — меньше размер, но и меньше точность

Практическое правило: Q4_K_M обычно считается оптимальным балансом размера и качества для большинства задач. Q8 стоит выбирать, если VRAM с запасом и важно максимальное качество. Опускаться ниже Q4 стоит, только если объём видеопамяти реально сильно ограничен, — потеря качества на таких уровнях уже заметна на практике.

Конкретный пример расчёта

Прямая связь с расчётами из главы 10

Именно квантование — механизм, реально позволяющий модели на 30+ миллиардов параметров поместиться в 16 ГБ VRAM, хотя при полной, неквантованной точности она заняла бы значительно больше доступного объёма памяти.

Как это выглядит на практике при выборе модели

При скачивании моделей через Ollama (следующая глава) уровень квантования обычно указан прямо в названии тега, например "qwen2.5:14b-instruct-q4_K_M" — умение читать это обозначение сразу подсказывает и примерный размер модели, и ожидаемый баланс качество/скорость ещё до скачивания.

Что дальше

Следующая глава — Ollama: самый простой практический способ начать запускать модели локально, с учётом всего разобранного в этом блоке.