Галлюцинации ИИ и как их распознавать

Тема, о которой книга упоминала мельком в нескольких главах (04, 06, 22, 24), — здесь наконец разбирается полностью и системно.

Recap механизма из главы 06

Галлюцинации — прямое, ожидаемое следствие механизма предсказания следующего токена, а не отдельная "поломка" модели. Правдоподобно звучащее продолжение способно получить высокую вероятность, даже будучи фактически неверным, — модель генерирует то, что статистически похоже на правду, а не то, что было формально проверено как истина.

Что такое галлюцинация

Просто: когда модель уверенно заявляет что-то ложное как факт, без каких- либо сигналов сомнения.
Профессионально: генерация фактически неверного или полностью выдуманного содержания, поданного с той же беглостью и уверенностью, что и точное содержание, — прямое следствие природы модели как предсказателя следующего токена, а не системы проверки фактов.
Пример: вопрос о конкретной детали (точная дата, техническая характеристика, ссылка на источник) — и уверенный, подробный, но полностью выдуманный ответ.

Почему модель не говорит "не знаю" чаще

Модели обучены быть полезными и генерировать правдоподобные завершения текста; признание неуверенности исторически было менее представлено в текстовых данных обучения по сравнению с уверенно звучащим текстом. Это честное объяснение того, почему поведение по умолчанию склоняется к ложной уверенности, а не к уместной осторожности там, где она была бы более честной реакцией.

Где риск галлюцинации выше

• Редкие, узкоспециализированные факты — точные даты, точные числа, конкретные ссылки на источники.
• Всё, что требует информации новее момента обучения модели.
• Очень конкретные технические характеристики — например, точные номера компонентов в электронике, прямая связь с практикой диагностики техники из главы 22.
• Выдуманные цитаты, источники и ссылки — известная, характерная форма галлюцинации: модель уверенно генерирует правдоподобно выглядящие, но реально не существующие ссылки.

Где риск галлюцинации ниже

• Общеизвестные, хорошо устоявшиеся знания.
• Широкие концептуальные объяснения.
• Задачи с проверяемым результатом — например, код, который реально можно запустить и протестировать (глава 24).

Практические стратегии снижения риска

1. Проси источники и рассуждение, и реально проверяй их самостоятельно, а не принимай на веру.
2. Перепроверяй действительно важные факты по второму независимому источнику.
3. Относись с особым скептицизмом к подозрительно точно звучащим числам, датам или характеристикам без ясного обоснования.
4. RAG (глава 20) снижает, но не устраняет полностью этот риск — он опирается на реально найденный текст, но не гарантирует безупречную интерпретацию модели поверх него.
5. Более низкая температура (глава 06) способна снизить, но не устранить полностью творческую выдумку для фактических задач.

Честный итог

Это не повод полностью не доверять ИИ, а повод применять к его выводу тот же критический подход, который внимательный профессионал применил бы к любому отдельному, ещё не проверенному источнику информации — не больше, но и не меньше доверия, чем разумно заслуживает непроверенное утверждение.

Что дальше

Финальная глава этого блока — авторские права и этичное использование ИИ: вопросы, выходящие за рамки одной только точности фактов.