Что такое LLM — большая языковая модель

Конкретная технология, лежащая в основе всего, что ты будешь запускать на своём ноутбуке, — и то самое, что подразумевает большинство людей, говоря сегодня об "ИИ".

Что такое LLM

Просто: очень большая нейронная сеть, обученная на огромном количестве текста, умеющая предсказывать и генерировать связный человеческий язык.
Профессионально: Large Language Model — модель глубокого обучения, обычно построенная на архитектуре трансформер, обученная моделировать вероятностное распределение над последовательностями токенов на основе огромного текстового корпуса.
Пример: ChatGPT, Claude, Llama, Qwen — все они LLM, различающиеся компанией-разработчиком, размером и деталями обучения, но построенные на одном и том же базовом принципе.

Архитектура трансформер — ключевой прорыв

Практически все современные LLM построены на архитектуре, называемой "трансформер", предложенной в 2017 году в статье с говорящим названием "Attention is All You Need" ("Внимание — это всё, что нужно"). Не будем погружаться в математику механизма внимания здесь — важно просто знать название и значимость этого архитектурного прорыва: именно он сделал возможным современный скачок качества языковых моделей.

Что делает модель "большой"

Слово "большая" в LLM относится сразу к двум вещам: огромному объёму текста, на котором модель обучалась, и огромному числу параметров (весов из главы 03) — счёт идёт на миллиарды. Подробный разбор того, что конкретно означают числа вроде "7B" или "70B", — тема главы 08.

В чём LLM реально хороши, а в чём слабы

Сильная сторона	Слабая сторона
Языковые паттерны, беглая генерация текста	Точная математика и строгая логика иногда даются нестабильно
Широкая эрудиция на основе обучающих данных	Способна уверенно ошибаться, не показывая неуверенности (тема главы 27)

Практическое различие: сама модель против готового приложения вокруг неё

Что дальше

Следующая глава — токены: то, как ИИ на самом деле "видит" текст, вовсе не так, как его видит человек, читающий буквы и слова.