Техническая механика того, что в главе 18 было описано на концептуальном уровне, — и честное развенчание частого заблуждения новичков о том, что модель якобы сама что-то "делает".
Модели заранее, прямо в контексте запроса, передаётся описание доступных инструментов — название, что инструмент делает, какие параметры ему нужны. Модель не изобретает инструменты сама, а выбирает из предоставленного списка.
Когда модель "решает" использовать инструмент, она не выполняет ничего реально сама — она по-прежнему занимается ровно тем же самым предсказанием следующего токена (глава 06), просто обученная распознавать ситуацию, когда уместно вывести специально отформатированный фрагмент текста (часто в формате JSON), указывающий, какой инструмент вызвать и с какими параметрами. Окружающая программная оболочка (agent framework) распознаёт этот фрагмент, реально выполняет настоящий вызов функции или обращение к API, и передаёт результат обратно в контекст модели, как будто это часть разговора. Никакого отдельного "модуля действия" внутри самой модели не существует — это частое заблуждение новичков.
Корректное форматирование вызова инструмента — отдельный навык, которому модель должна быть специально обучена. Модели, прошедшие целевое дообучение именно под использование инструментов (продолжение темы instruction tuning из главы 07), заметно надёжнее в этом, чем модели общего назначения без такой специализации. Перед тем как строить агента вокруг конкретной модели, стоит свериться с её документацией на предмет явной поддержки tool calling.
Ollama поддерживает вызов инструментов для совместимых моделей — то есть эта возможность реально доступна в уже настроенной тобой локальной среде (блок 2), а не требует принципиально другой инфраструктуры.
Следующая глава — RAG: смежная, но принципиально другая техника, дающая модели доступ не к действиям, а к знаниям — конкретно к твоим собственным документам.
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.