Ollama — самый простой способ начать

Инструмент, скрывающий за собой всю техническую сложность блоков 0–1, — практическое знакомство перед реальной установкой в главе 14.

Что такое Ollama

Просто: бесплатная программа, позволяющая скачивать и запускать языковые модели на собственном компьютере простыми командами, беря на себя всю техническую сложность за кулисами.
Профессионально: open-source среда выполнения локальных LLM, упаковывающая веса модели, токенизатор и движок вывода (построенный на базе llama.cpp) за простым интерфейсом командной строки и локальным REST API, автоматически управляющая форматами квантования и распределением между видеокартой и процессором.
Пример: одна команда ollama run qwen2.5:14b скачивает модель на 14 миллиардов параметров и сразу открывает с ней чат.

Почему это хорошая отправная точка

• Обычно не требует ручной настройки драйверов видеокарты сверх стандартных драйверов Nvidia.
• Автоматически определяет и использует доступную видеопамять.
• Простой интерфейс командной строки без лишней сложности.
• Автоматически управляет файлами квантованных моделей (глава 11).
• Активное сообщество и большая, постоянно растущая библиотека готовых моделей.

Как это работает технически — коротко

Ollama работает как фоновая служба. Модель скачивается один раз и хранится локально — повторного скачивания при следующем запуске не требуется. Помимо простого текстового чата в терминале, Ollama открывает локальный API (на localhost) — этим адресом смогут пользоваться другие программы, подключающиеся к твоей локальной модели. Это важно заранее: именно через этот API впоследствии будут работать инструменты из блока 4 (агенты) и другие программы, желающие использовать твою локальную модель как "движок".

Основные команды — общее знакомство

Подробный пошаговый разбор установки и первого реального запуска — тема главы 14, эта глава даёт только общее концептуальное знакомство с инструментом.

Честное сравнение с альтернативой из следующей главы

Ollama в первую очередь ориентирована на командную строку (хотя существуют дополнительные визуальные оболочки поверх неё). LM Studio, разбираемая в следующей главе, изначально предлагает более визуальный, дружелюбный к новичку опыт "из коробки" — оба инструмента решают одну и ту же задачу, но рассчитаны на несколько разную аудиторию и стиль работы.

Что дальше

Следующая глава — LM Studio: альтернативный вариант с полноценным графическим интерфейсом, для сравнения с только что описанным подходом Ollama.