Четыре короткие проверки, после которых вы будете точно знать, что работает, а что нет. Пять минут сейчас экономят часы отладки потом.
Когда агент не работает, причин может быть пять: не запущен движок, не скачана модель, неверный адрес, неверное имя модели, или проблема в самом агенте. Проверив слои по отдельности, вы сразу знаете, где искать.
Эти четыре команды — ваш диагностический набор на всё время использования. Когда через месяц что-то сломается, возвращайтесь сюда, а не переустанавливайте всё подряд.
curl http://localhost:11434/api/tags
curl.exe http://localhost:11434/api/tags
Хороший ответ: текст, начинающийся с {"models":[ и содержащий названия ваших моделей.
| Что получили | Что значит | Что делать |
|---|---|---|
| Список моделей | Движок работает | Идти к проверке 2 |
{"models":[]} | Движок работает, моделей нет | ollama pull qwen2.5:7b |
| Connection refused | Движок не запущен | Mac: открыть приложение Ollama. Windows: проверить значок в трее |
| Ничего, команда висит | Что-то блокирует порт | Перезапустить Ollama, при необходимости компьютер |
Диалог в терминале и обращение по сети — разные вещи. Агент пользуется вторым, поэтому проверять надо именно его.
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5:7b",
"prompt": "Ответь одним словом: работает?",
"stream": false
}'
$body = '{"model":"qwen2.5:7b","prompt":"Ответь одним словом: работает?","stream":false}'
Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body $body
Должен прийти ответ модели. Если ответ есть — слои 1 и 2 работают полностью.
qwen2.5:7b и qwen2.5 — для движка разные строки. Возьмите имя
ровно так, как его печатает ollama list, вместе с частью после двоеточия.
Неточное имя — самая частая причина ошибки «model not found».
Агенты обращаются не по «родному» адресу движка, а по общепринятому формату. У Ollama он
отдельный — с /v1 на конце.
curl http://localhost:11434/v1/models
curl.exe http://localhost:11434/v1/models
Ответ будет похож на проверку 1, но в другом формате. Именно этот адрес вы будете вписывать в настройки агентов.
Они понадобятся в каждой главе про агентов:
Адрес: http://localhost:11434/v1 (для LM Studio — :1234/v1)
Ключ: любая непустая строка, например ollama
Модель: точное имя из ollama list
# Запустить модель ollama run qwen2.5:7b "Напиши пять предложений про море." # Сразу после — во втором окне ollama ps
100% GPU — модель целиком на видеокарте или видеоядре. Отлично 70%/30% GPU/CPU — часть не влезла, будет медленнее 100% CPU — на процессоре. Для агента почти непригодно
| Если не 100% GPU | Действие |
|---|---|
| Mac | Возьмите модель меньше. Закройте тяжёлые программы — память общая |
| Windows, NVIDIA | Обновите драйвер. Затем возьмите модель меньше |
| Windows, встроенная графика | Ускорения не будет. Ваш максимум — 3B, либо облако из главы 23 |
| Mac на Intel | То же самое. 3B либо облако |
Контекст — это сколько текста модель удерживает за раз. Для диалога хватает немного, а агенту нужно больше: он держит в контексте задачу, содержимое файлов, вывод команд и историю своих шагов. При маленьком контексте агент «забывает», что делал два шага назад, и начинает ходить по кругу.
# Посмотреть, что модель поддерживает ollama show qwen2.5:7b
Способ задать контекст зависит от версии движка: где-то это переменная окружения, где-то
параметр модели. Посмотрите актуальный способ в документации Ollama по слову
context. Ориентир: для агентской работы просите не меньше 8000 токенов,
лучше 16000, если память позволяет.
Увеличение контекста увеличивает расход памяти, иногда сильно. Если после увеличения
модель перестала влезать и уехала на процессор — верните обратно или возьмите модель
меньше. Проверять тем же ollama ps.
/v1 отвечаетollama ps показывает приемлемую долю GPUТехническая часть установки закончена. Дальше добавляется только агент — программа, которая будет обращаться к тому же адресу. Если на этом этапе что-то сломается, вы уже знаете, что движок и модель ни при чём.
Три главы про выбор модели — что означают цифры, что такое квантование и что ставить под конкретную задачу. Если модель уже выбрана и работает, можно прыгать сразу к главе 12.
Бесплатная книга · tariel.ge · команды и версии проверяйте в официальной документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.