Не баг и не «недоученность». Прямое следствие устройства из предыдущих глав. Разберём механизм — и станет ясно, что можно сделать, а что нет.
Оно намекает на сбой: обычно модель говорит правду, а иногда ломается. На деле механизм всегда один и тот же. Модель порождает правдоподобное продолжение. Иногда правдоподобное совпадает с истиной, иногда нет. Внутри разницы не существует.
В модели нет отдельного механизма для правды. Есть один механизм — для правдоподобия. Поэтому «выключить галлюцинации» нельзя: это значит выключить саму модель.
Вопрос: «Какой ключ у ollama показывает температуру видеокарты?» Что происходит внутри: • похожие тексты в обучении: «ollama --help», «ollama ps», «--verbose» • шаблон «команда + ключ + понятное слово» встречался тысячи раз • слово «температура» тянет за собой «--temp», «--temperature» Результат: «ollama ps --temperature» Такого ключа нет. Но текст выглядит ровно так, как выглядел бы правильный ответ.
Обратите внимание: модель не «решила соврать». Она построила самое вероятное продолжение. Отсутствие такого ключа в реальности — информация, которой у неё просто нет.
| Источник | Механизм | Пример |
|---|---|---|
| Пробел в знаниях | Данных не было, но шаблон ответа известен | Выдуманный ключ команды, несуществующий артикул |
| Смешение похожего | Два близких факта склеились в один | Свойство одной микросхемы приписано другой из той же серии |
| Давление формата | Просили список из пяти — модель допишет пятый, даже если знает три | «Назови 5 причин» → две последние выдуманы |
| Подхват вашей ошибки | Вопрос содержит неверную посылку, модель её принимает | «Почему в этой лампе стоит трансформатор?» — а его там нет |
Оба провоцируются вами. Просьба «дай ровно пять пунктов» и вопрос с ложной посылкой почти гарантируют вымысел. Это единственные два источника, которые полностью в вашей власти: не задавайте жёсткое количество и не встраивайте в вопрос непроверенные утверждения.
Неприятный поворот. Модели дообучают быть полезными: отвечать, а не уклоняться. Люди при оценке ставят высокие баллы уверенным развёрнутым ответам и низкие — осторожным «не знаю».
В итоге обучение прямо поощряет уверенность, включая ту, что не подкреплена знанием. Отсюда типичное поведение: модель предпочтёт выдумать, чем признать незнание. Подробнее про этот механизм — глава 12.
| Тип вопроса | Риск | Почему |
|---|---|---|
| Объяснить принцип работы | Низкий | Принципы описаны в тысячах текстов одинаково |
| Переформулировать ваш текст | Очень низкий | Исходник перед глазами |
| Написать типовой код | Средний | Синтаксис знает, конкретные функции библиотек выдумывает |
| Точные числа, даты, номиналы | Высокий | Именно то, что плохо сжимается в веса |
| Цитаты, ссылки, источники | Очень высокий | Формат воспроизводится идеально, содержание выдумывается |
| Редкие факты и узкие темы | Очень высокий | Мало данных — но шаблон ответа есть |
| События после обучения | Гарантированный | Информации нет физически |
Числа, артикулы, номиналы, ссылки и цитаты — проверять всегда. Это не перестраховка: именно эти категории модель выдумывает чаще всего, и именно они выглядят убедительнее всего. Объяснение принципа можно принять на веру; конкретный номинал конденсатора — нет.
| Приём | Насколько помогает | Почему |
|---|---|---|
| Дать источник в контексте (RAG) | Сильно | Отвечать по тексту перед глазами намного надёжнее, чем по памяти. Глава 07 |
| Разрешить «не знаю» | Заметно | Снимает давление обязательно ответить |
| Температура около нуля | Заметно | Меньше случайности при выборе токена |
| Просить указать источник | Заметно | Проверяется за секунды; плюс сам факт требования дисциплинирует ответ |
| Модель крупнее | Умеренно | Больше знает — реже додумывает. Но врать не перестаёт |
| Дать инструмент | Сильно, точечно | Калькулятор считает, поиск ищет. Модель перестаёт угадывать то, что можно вычислить |
| Задать два раза по-разному | Как проверка | Расхождение ответов — признак выдумки |
| «Не галлюцинируй» в запросе | Почти никак | Модель не знает, что сейчас галлюцинирует |
«Отвечай только по приведённому тексту. Если ответа в нём нет — напиши в тексте нет ответа. Не используй общие знания.» Три предложения, каждое закрывает свой источник вымысла. Вместе они дают самый заметный эффект из всего списка.
Относитесь к модели как к очень начитанному коллеге, который никогда не признаётся, что чего-то не помнит. Он прочитал невероятно много, отлично объясняет, быстро пишет — и при этом способен уверенно назвать номинал, которого не существует. С таким человеком можно прекрасно работать. Просто номиналы вы за ним проверяете.
Мы несколько раз упомянули дообучение. Разберём, что оно на самом деле меняет внутри — и чего от него ждать не стоит.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.