Размер модели упирается не в процессор, а в память. Как посчитать свой потолок за три минуты и не скачивать двадцать гигабайт впустую.
Модель должна целиком поместиться в быструю память. На Mac это единая память, которую делят процессор и видеоядро. На Windows-ПК — это видеопамять видеокарты. Поместилась — работает бодро. Не поместилась — часть уезжает в обычную память или на диск, и скорость падает в разы.
Ориентир для самого ходового сжатия (Q4, глава 10). Плюс запас на контекст — считайте, что к таблице нужно добавить ещё 1–3 ГБ.
| Размер модели | Занимает примерно | На что годится |
|---|---|---|
| 1–3B | 1–2 ГБ | Простой текст, автодополнение. Для агента слабовато |
| 7–8B | 4,5–5 ГБ | Разговор, простые скрипты. Агент — с переменным успехом |
| 14B | 9–10 ГБ | Первый по-настоящему рабочий размер для агента |
| 32B | 19–22 ГБ | Уверенная агентская работа, хороший код |
| 70B | 40–45 ГБ | Близко к платным сервисам. Нужна серьёзная машина |
У Apple Silicon (M1 и новее) память общая, и видеоядро может занять большую её часть, но не всю — системе тоже нужно. Практическое правило: считайте доступным примерно две трети от общего объёма.
| Память Mac | Комфортно | С натяжкой | Нет |
|---|---|---|---|
| 8 ГБ | 1–3B | 7–8B | 14B и выше |
| 16 ГБ | 7–8B | 14B | 32B |
| 24 ГБ | 14B | 32B | 70B |
| 32 ГБ | 14B, 32B | — | 70B |
| 48–64 ГБ | 32B | 70B | — |
| 96 ГБ и больше | 70B | — | — |
Узнать свой объём и чип:
# Чип и объём памяти system_profiler SPHardwareDataType | grep -E "Chip|Memory" # Свободное место на диске df -h /
Если у вас Mac на процессоре Intel, ускорения от видеоядра практически не будет: модель пойдёт на процессоре и медленно. Работать будет, но для агентских задач это мучительно. Реалистичный потолок — модели до 7–8B и терпение. Проверить: меню Apple → «Об этом Mac»; если написано Intel, а не Apple M-что-то — это ваш случай.
Здесь решает видеопамять, а не общая оперативная. Модель, влезшая в видеопамять NVIDIA, работает быстро. Всё, что не влезло, уходит в оперативную память и резко тормозит.
| Видеопамять | Комфортно | С натяжкой |
|---|---|---|
| 6 ГБ | 7–8B | — |
| 8 ГБ | 7–8B | 14B в сильном сжатии |
| 12 ГБ | 14B | — |
| 16 ГБ | 14B | 32B в сильном сжатии |
| 24 ГБ | 32B | — |
| Без видеокарты | 1–3B | 7–8B, очень медленно |
Узнать видеокарту и память:
# Видеокарта и объём видеопамяти
Get-CimInstance Win32_VideoController | Select-Object Name, @{n="VRAM_GB";e={[math]::Round($_.AdapterRAM/1GB,1)}}
# Оперативная память
Get-CimInstance Win32_ComputerSystem | Select-Object @{n="RAM_GB";e={[math]::Round($_.TotalPhysicalMemory/1GB,1)}}
# Свободное место на диске C:
Get-PSDrive C | Select-Object Used, Free
На некоторых системах команда выше показывает неправильное значение для карт с большим объёмом. Надёжнее посмотреть в «Диспетчере задач» → вкладка «Производительность» → графический процессор, строка «Выделенная память графического процессора». Либо в приложении производителя видеокарты.
Скорость меряют в токенах в секунду. Токен — примерно три четверти слова. Для комфортного чтения достаточно 10–15, для агента желательно больше, потому что он генерирует много служебного текста, которого вы не видите.
| Железо | Модель 8B | Ощущение |
|---|---|---|
| Mac M1/M2 (базовый) | примерно 15–25 ток/с | Читается комфортно |
| Mac M3/M4 Pro и выше | примерно 30–60 ток/с | Быстро |
| Современная игровая видеокарта | примерно 50–120 ток/с | Очень быстро |
| Только процессор | примерно 3–8 ток/с | Для агента практически непригодно |
Реальная скорость зависит от конкретной модели, степени сжатия, длины контекста, версии движка и даже от того, включён ли ноутбук в розетку. Относитесь к таблице как к порядку величин, а не к обещанию.
Работающая модель загружает железо на полную. Ноутбук греется, вентиляторы шумят, батарея садится в несколько раз быстрее обычного. Для длинных агентских сессий держите ноутбук в розетке. Вреда машине это не наносит, но «поработать в кафе два часа» с локальным агентом не выйдет.
Зная потолок, выберем конкретный маршрут: что ставить, в каком порядке и чего ожидать.
Бесплатная книга · tariel.ge · команды и версии проверяйте в официальной документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.