Финал блока — расшифровка числа, которое ты будешь видеть в названии буквально каждой модели, и прямая подготовка к практическому вопросу блока 2: что из этого реально поместится на твоё железо.
Параметры модели — это ровно те самые веса, о которых шла речь в главе 03, только теперь в масштабе миллиардов. "B" в названии модели означает "billion" — миллиард. 7B — модель с 7 миллиардами параметров, 70B — с 70 миллиардами.
Больше параметров обычно означает больше возможностей, знаний и нюансов в ответах — но одновременно требует больше памяти, вычислительной мощности и работает медленнее. Это прямой компромисс, прямо влияющий на то, какую модель реально можно запустить на конкретном железе — подробный практический разбор именно твоего оборудования — тема главы 10.
7B-модель обычно требует около 4–8 ГБ памяти видеокарты в зависимости от степени сжатия (квантования, тема главы 11). 70B-модель требует значительно больше — зачастую превышая объём памяти одной потребительской видеокарты целиком без квантования или использования нескольких видеокарт одновременно.
Хорошо обученная модель меньшего размера иногда превосходит хуже обученную более крупную модель на конкретных практических задачах. Более новые и лучше обученные небольшие модели нередко неожиданно конкурентоспособны по сравнению со старыми крупными моделями. Не стоит воспринимать "больше параметров — всегда лучше" как абсолютную истину — качество обучения имеет значение не меньше, чем сырой размер.
Некоторые современные модели (Qwen3, Mixtral, DeepSeek и другие) используют архитектуру "смесь экспертов" — модель содержит множество отдельных "экспертных" подсетей, но для обработки каждого конкретного токена активируется лишь небольшая часть из них. Это значит, что модель может иметь огромное общее число параметров, но реально использовать лишь долю из них при обработке каждого токена — что делает её быстрее и эффективнее по сравнению с плотной (dense) моделью такого же общего размера. Практически важно: при выборе моделей ты встретишь обозначения вида "30B-A3B" — 30 миллиардов параметров всего, но только 3 миллиарда активны одновременно.
Типичный шаблон имени — "название-размер-вариант", например "llama3.1-8b-instruct": название семейства модели, число параметров, и вариант (обычно "instruct" — уже готовая под инструкции версия, тема главы 07). Это поможет ориентироваться в списке моделей, доступных через Ollama, уже в следующем блоке.
Пять глав дали полную теоретическую картину: что такое LLM (глава 04), как она видит текст через токены (глава 05), как генерирует ответ (глава 06), откуда берутся её знания и поведение (глава 07), и, наконец, что означает размер модели (эта глава). Следующий блок — самое практическое: как реально запустить всё это на твоём собственном ноутбуке, бесплатно.
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.