Практика: установка и первый запуск модели

Финал блока — момент, когда вся теория глав 09–13 наконец превращается в реально работающую модель на твоём экране.

Шаг 0: обнови драйверы Nvidia

Прежде чем начинать — убедись, что установлены актуальные драйверы видеокарты. Без актуальных драйверов Ollama и LM Studio способны не увидеть GPU вовсе и уйти в заметно более медленный режим работы только на процессоре.

Путь через Ollama

1. Скачай установщик с официального сайта ollama.com и установи как обычную программу.
2. Открой командную строку (терминал).
3. Скачай первую модель — разумный стартовый выбор с учётом расчётов из главы 10:
   ollama pull qwen2.5:14b-instruct-q4_K_M
4. Запусти чат с моделью:
   ollama run qwen2.5:14b-instruct-q4_K_M
5. Введи первый тестовый запрос прямо в открывшемся чате.

Путь через LM Studio

1. Скачай приложение с официального сайта lmstudio.ai и установи.
2. Открой встроенный поиск моделей внутри приложения.
3. Найди и скачай подходящую по размеру модель (ориентируйся на подсказки совместимости с железом, если приложение их показывает).
4. Загрузи скачанную модель кнопкой в интерфейсе.
5. Начни чат в привычном текстовом окне.

Проверка, что реально используется видеокарта, а не только процессор

Базовые советы по устранению проблем

• Модель работает подозрительно медленно — проверь, не ушла ли работа только на процессор (пункт выше), обнови драйверы при необходимости.
• Скачивание модели не завершается — проверь стабильность интернет-соединения и наличие достаточного свободного места на диске (модели весят от нескольких до десятков гигабайт).

Первый содержательный тестовый запрос

Вместо простого "привет" попробуй что-то реально приближенное к твоей практике — например, попроси объяснить разницу между придыхательным и эйективным согласным звуком (тема из учебника грузинского языка) или перевести короткую фразу с русского на английский. Такой тест сразу даёт представление о реальном практическом качестве ответов модели, а не просто подтверждает факт запуска.

Итог блока «Запуск ИИ локально на своём железе»

Шесть глав дали полную практическую картину: зачем это вообще нужно (глава 09), что может твоё железо (глава 10), как модель ужимается, чтобы поместиться (глава 11), два практических инструмента (главы 12–13), и, наконец, реальная установка и первый запуск. Следующий блок — как ориентироваться среди огромного количества доступных моделей и выбирать подходящую под конкретную задачу.