Базовая модель просто продолжает текст. Чтобы она отвечала на вопросы и слушалась, нужны ещё два этапа. Что каждый из них меняет и чего не меняет ни один.
| Этап | На чём учат | Что появляется | Стоимость |
|---|---|---|---|
| Предобучение | Терабайты текста из интернета | Знания о мире и языке | Миллионы долларов, недели |
| Обучение инструкциям | Десятки тысяч пар «задание — хороший ответ» | Привычка отвечать, а не продолжать | Тысячи долларов, часы |
| Настройка по предпочтениям | Сравнения «этот ответ лучше того» | Тон, полезность, отказ от вредного | Дорого по разметке |
Модель после одного лишь предобучения на вопрос «Как починить драйвер?» может выдать «...и другие вопросы вы найдёте в нашем FAQ» — она продолжает текст, а не отвечает. Отвечать её научил второй этап. Поэтому в главе 09 книги «ИИ» и сказано брать только instruct.
Та же механика, что в главе 04 — предсказание следующего токена. Изменился только материал: вместо случайного интернета — аккуратные примеры «вот задание, вот образцовый ответ».
ЗАДАНИЕ: Объясни, почему светодиодной лампе нужен драйвер. ОТВЕТ: Светодиод — токовый прибор: его яркость и срок службы зависят от тока, а не от напряжения. В сети переменное напряжение 220 В, и оно нестабильно. Драйвер выпрямляет его и стабилизирует ток...
Модель не узнаёт новых фактов на этом этапе. Про светодиоды она уже всё прочитала в предобучении. Она учится формату: на вопрос давать ответ, писать структурно, останавливаться вовремя. Это переключение режима, а не пополнение знаний.
Проблема этапа 2: «хороший ответ» трудно определить. Правильных ответов много, и они разного качества. Решение — не показывать образец, а сравнивать.
Этот подход называют обучением с подкреплением по человеческим предпочтениям. Позже появился более простой способ — обучать прямо на парах «лучше/хуже» без отдельного оценщика; он дешевле и потому распространился в открытых моделях.
Оценщики — люди. Люди ставят выше уверенный развёрнутый ответ и ниже — осторожное «точно не скажу». Модель оптимизируется под эту оценку. Отсюда прямо следует поведение из главы 11: лучше выдумать, чем признать незнание. Это не ошибка обучения, это то, чему её научили.
| Эффект | Как проявляется |
|---|---|
| Налог на выравнивание | После настройки модель может стать чуть слабее в чистых задачах — часть способностей приносится в жертву удобству |
| Подхалимство | Соглашается с вами, даже когда вы неправы: согласие оценивали выше |
| Многословие | Длинные ответы систематически получали оценку выше коротких |
| Избыточная осторожность | Отказ там, где ничего опасного нет |
| Узнаваемый стиль | Те самые обороты, по которым текст опознаётся как машинный |
Дайте модели верный ответ и скажите «по-моему, это неправильно». Если она немедленно согласится и начнёт оправдываться — перед вами подхалимство, а не рассуждение. Полезно знать про свою рабочую модель: значит, её согласие с вами ничего не подтверждает.
«Дообучу модель на своих книгах, и она будет их знать». Так это не работает. Факты, показанные несколько раз, тонут среди терабайтов предобучения и воспроизводятся искажённо. Для знания ваших текстов нужен RAG из главы 07, а не дообучение. Дообучение — про как отвечать, RAG — про что отвечать.
| Задача | Дообучение | RAG | Просто хороший запрос |
|---|---|---|---|
| Отвечать в вашем стиле | Да | Нет | Отчасти |
| Всегда выдавать строгий JSON | Да | Нет | Отчасти |
| Знать содержание ваших книг | Нет | Да | Нет |
| Разбираться в вашей узкой терминологии | Да | Да | Отчасти |
| Знать свежие факты | Нет | Да | Нет |
| Разовая задача | Нет | Нет | Да |
Сначала попробуйте сформулировать запрос лучше — это бесплатно и решает больше, чем кажется. Потом RAG, если нужны ваши данные. И только потом дообучение, если нужен устойчивый стиль или формат. Люди обычно идут в обратном порядке и тратят недели зря.
Практика: как дообучить модель на вашем ноутбуке, не имея дата-центра.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.