Q4, Q5, Q8 — сжатие, которое превращает неподъёмную модель в работающую. Что теряется, сколько экономится и что брать.
Модель — это миллиарды чисел. В исходном виде каждое занимает 16 бит. Квантование записывает их короче — например четырьмя битами. Точность каждого числа падает, размер файла падает вчетверо, а качество ответов — заметно меньше, чем можно было бы ожидать.
Это как фотография в JPEG. Оригинал огромный и точный. Сжатие в разумных пределах уменьшает файл в разы, а глазом разницу почти не видно. Пережать слишком сильно — и появляются артефакты. С моделями ровно так же: Q4 — «разумное качество JPEG», Q2 — «пережато, видно».
| Обозначение | Бит на число | Размер от исходного | Качество | Брать? |
|---|---|---|---|---|
fp16 | 16 | 100% | Эталон | Только если памяти избыток |
q8_0 | 8 | около 53% | Практически неотличимо | Когда памяти с запасом |
q6_K | 6 | около 41% | Очень близко к эталону | Хороший компромисс |
q5_K_M | 5 | около 35% | Чуть лучше Q4 | Если влезает — берите |
q4_K_M | 4 | около 28% | Небольшая просадка, для работы незаметна | Выбор по умолчанию |
q3_K_M | 3 | около 22% | Просадка заметна | Только если иначе не влезает |
q2_K | 2 | около 16% | Сильная деградация | Практически не стоит |
Модель побольше в Q4 почти всегда лучше, чем модель поменьше в Q8. 14B в Q4 (около 9 ГБ) уверенно обходит 7B в Q8 (около 8 ГБ). Тратьте память на размер модели, а не на точность чисел.
Современные схемы сжимают разные части модели по-разному: важные слои — аккуратнее, остальные — сильнее. Отсюда буквы.
Практический вывод: _K_M — то, что нужно, если есть выбор.
Грубая формула для прикидки: размер файла ≈ параметры (млрд) × биты ÷ 8, плюс запас на контекст.
| Модель | Q4_K_M | Q5_K_M | Q8_0 |
|---|---|---|---|
| 3B | около 2 ГБ | около 2,3 ГБ | около 3,3 ГБ |
| 7–8B | около 4,7 ГБ | около 5,5 ГБ | около 8,5 ГБ |
| 14B | около 9 ГБ | около 10,5 ГБ | около 15,5 ГБ |
| 32B | около 20 ГБ | около 23 ГБ | около 35 ГБ |
| 70B | около 42 ГБ | около 50 ГБ | около 75 ГБ |
Это размер только весов. Во время работы дополнительно расходуется память под контекст — от полугигабайта до нескольких, в зависимости от того, сколько текста вы просили удерживать. Планируйте минимум 2 ГБ сверху, а для агентской работы с большим контекстом — больше.
# Сжатие по умолчанию (обычно Q4) ollama pull qwen2.5:14b # Явно указать ollama pull qwen2.5:14b-instruct-q4_K_M ollama pull qwen2.5:14b-instruct-q5_K_M ollama pull qwen2.5:14b-instruct-q8_0 # Посмотреть, что именно скачано ollama show qwen2.5:14b
Доступные варианты у каждой модели свои. Если указанный тег не найден — посмотрите список тегов этой модели в библиотеке на сайте Ollama. В LM Studio варианты видны прямо в списке при поиске.
Субъективно, но работает: задайте одной и той же модели в двух вариантах сжатия одну задачу посложнее — например написать скрипт с условиями и проверкой ошибок.
| Признак пережатия | Как проявляется |
|---|---|
| Путается в инструкциях | Делает не то, о чём просили, теряет часть условий |
| Ломает формат | Просили JSON — выдаёт почти JSON. Для агента это фатально |
| Зацикливается | Повторяет одну фразу или один и тот же шаг |
| Выдумывает синтаксис | Пишет команды и функции, которых не существует |
| Разваливается на длинном тексте | Первый абзац хороший, дальше бессвязно |
Пункт про формат — ключевой. Агент общается с моделью через строгие структуры. Пережатая модель выдаёт текст, который похож на правильный, но не разбирается программой, и агент падает с ошибкой либо крутится на месте. Если агент ведёт себя странно, а в обычном диалоге модель выглядит нормально — первым делом попробуйте менее сжатый вариант.
Конкретные рекомендации: какую модель под какую задачу, с учётом вашего потолка.
Бесплатная книга · tariel.ge · команды и версии проверяйте в официальной документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.