Единственный, честно говоря, довольно простой механизм лежит в основе абсолютно всего, что выдаёт любая LLM, — от короткого ответа до многостраничного текста.
На каждом шаге модель смотрит на все токены, накопленные к этому моменту (исходный запрос плюс уже сгенерированная часть ответа), и вычисляет вероятность для каждого возможного следующего токена из своего словаря. Затем выбирается один токен, добавляется к последовательности, и весь процесс повторяется заново для следующего токена. Такой способ генерации называется авторегрессионным — каждый новый токен становится частью входных данных для предсказания следующего.
Для фразы "Кот сидит на ___" модель присваивает высокую вероятность словам вроде "окне", "диване", "стуле" — и очень низкую вероятность явно неподходящим по смыслу словам. Генерация — это, по сути, постоянный выбор следующего наиболее вероятного (или правдоподобного) продолжения, повторяемый снова и снова токен за токеном.
Если модель всегда выбирала бы строго самый вероятный токен, результат был бы скучным и однообразным. Параметр температуры управляет степенью случайности выбора: низкая температура делает вывод более предсказуемым и детерминированным (уместно для фактических, точных задач), высокая — более разнообразным и творческим (уместно для художественного письма). Это реальный практический параметр, который ты увидишь в настройках Ollama и LM Studio при локальном запуске (блок 2).
Top-p и top-k — дополнительные параметры, ограничивающие пул токенов-кандидатов, рассматриваемых на каждом шаге, схожие по духу с температурой в том, что оба управляют балансом между предсказуемостью и разнообразием вывода. Подробная математика за ними не обязательна для практического использования — достаточно знать об их существовании, встретив в настройках локальных инструментов.
Поскольку в основе лежит именно "наиболее вероятное продолжение", а не "проверенный достоверный факт", правдоподобно звучащее, но фактически неверное продолжение вполне способно получить высокую вероятность — если оно стилистически "звучит правильно", даже будучи неверным по существу. Это прямое объяснение природы явления, подробно разбираемого в главе 27 (галлюцинации ИИ) — не отдельная "поломка" модели, а прямое, ожидаемое следствие самого механизма её работы.
Этот единственный механизм — предсказать следующий токен, повторить — это буквально всё, что происходит при базовой генерации текста. Нет отдельного "модуля рассуждения" или "базы фактов", к которой модель обращается в реальном времени в базовом режиме — за исключением случаев использования инструментов (tool use), отдельно разбираемых в блоке 4, где модель действительно может обращаться к внешним источникам данных.
Следующая глава — как модель вообще получает свои знания и языковые способности: коротко об обучении, pretraining и fine-tuning.
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.