Токены: как ИИ на самом деле «читает» текст

Модель не видит текст так, как видишь его ты, — буквы, слова, предложения. У неё совершенно другая, более механическая единица восприятия — и это напрямую влияет на то, сколько текста реально поместится в разговор с моделью.

Что такое токен

Просто: небольшой кусочек текста, на которые весь текст разбивается перед тем, как модель начнёт с ним работать — не всегда целое слово, иногда часть слова, иногда отдельный знак препинания.
Профессионально: токенизация — процесс преобразования исходного текста в последовательность дискретных единиц (токенов) из заранее заданного словаря, обычно через алгоритмы разбиения на подслова (например, Byte Pair Encoding).
Пример: слово "непредсказуемость" в некоторых токенизаторах распадается примерно на несколько частей вроде "не" + "предсказ" + "уемость" — точное разбиение зависит от конкретной модели и её словаря токенов.

Почему это практически важно

• Скорость и стоимость — многие облачные сервисы берут плату именно за количество токенов, а не слов или символов; понимание этой единицы полезно даже без прямой оплаты, для общей грамотности в теме.
• Размер контекстного окна измеряется в токенах, а не словах или символах — прямая связь с темой длины контекста, подробно разбираемой в главе 08.

Приблизительное практическое соотношение

Грубое правило для английского языка: 1 токен ≈ 0,75 слова. Это соотношение заметно меняется для других языков.

Важная оговорка именно для грузинского и русского языков

Связь со следующей главой

Токен — не просто единица подсчёта текста, это буквально та единица, которую модель предсказывает одну за другой при генерации ответа, — именно этот механизм подробно разбирается в следующей главе.

Что дальше

Следующая глава — как модель на самом деле генерирует текст: предсказание следующего токена, шаг за шагом, лежащее в основе абсолютно всего, что выдаёт любая LLM.