Набор цифр и обозначений, встречающихся рядом с каждой моделью, — после этой главы список моделей на Hugging Face или в Ollama перестанет выглядеть непонятным набором символов.
Максимальный объём текста (в токенах, глава 05), который модель способна "видеть" одновременно — включая и твой запрос, и уже сгенерированную часть ответа. Типичные значения варьируются от 8K до 128K токенов, у некоторых современных моделей — вплоть до миллионов. Практическое следствие: более длинный разговор или большой вставленный документ требует большего контекстного окна.
Более крупное контекстное окно потребляет больше видеопамяти даже не будучи заполненным целиком, а очень длинный реально используемый контекст способен заметно замедлить генерацию ответа. Не стоит бездумно выбирать модель с максимально возможным контекстным окном, если реальная задача этого не требует.
Обозначение вида Q4_K_M, Q8 и подобные, обычно прямо в названии файла или тега модели — подробно разбиралось в главе 11.
Стандартизированные тесты, измеряющие производительность модели на конкретных типах задач: MMLU — общая эрудиция и знания, HumanEval/SWE-Bench — программирование, GSM8K/AIME — математика. Полезный ориентир, но с важной оговоркой.
Результаты тестов иногда подвержены переобучению именно под сами тесты — модель, показывающая впечатляющий результат на публичном бенчмарке, не гарантированно окажется лучшей именно для твоих реальных, конкретных задач. Разумная практика — использовать результаты тестов как первичный ориентир для сужения выбора, но окончательное решение принимать после собственной практической проверки на своих реальных запросах.
Apache 2.0 и MIT — полностью разрешительные лицензии, практически без ограничений на использование, включая коммерческое. Другие лицензии иногда содержат дополнительные ограничения на способ использования. Стоит свериться с лицензией конкретной модели, если планируешь использовать результаты её работы в контексте своего бизнеса по ремонту техники, а не только для личных экспериментов.
Стандартная страница документации модели (обычно на Hugging Face) — там официально перечислены все перечисленные выше характеристики: длина контекста, доступные варианты квантования, результаты тестов, лицензия и детали обучения.
"Qwen2.5-14B-Instruct-Q4_K_M, 32K context, Apache 2.0" расшифровывается так: семейство Qwen2.5, 14 миллиардов параметров (глава 08), уже дообученная под инструкции версия (глава 07), сжата 4-битным квантованием по конкретной схеме (глава 11), поддерживает контекст до 32 000 токенов, полностью разрешительная лицензия без ограничений использования. После этой главы каждая часть этой строки читается осмысленно, а не как непонятный набор символов.
Финальная глава этого блока — практический разбор моделей по конкретной специализации: какие лучше для кода, какие для общения, какие для перевода, применительно к твоим реальным задачам.
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.