Как картинка попадает внутрь языковой модели, что она с ней реально делает и где заканчивается польза от «покажи фото, и он разберётся».
Языковая модель работает с векторами (глава 06) и внимание ей всё равно, откуда они взялись (глава 08). Значит, если научиться превращать изображение в такие же векторы, модель сможет «читать» картинку теми же механизмами.
изображение ↓ зрительный кодировщик (сеть из глав 03 и 22) векторы кусочков изображения ↓ проектор — маленькая сеть-переходник векторы в том же пространстве, что слова ↓ [вектор картинки][вектор картинки]...[«что здесь сломано?»] ↓ обычная языковая модель — и не различает, что откуда
Не пришлось изобретать новую архитектуру. Взяли готовый зрительный кодировщик, готовую языковую модель, и обучили между ними маленький переходник — чтобы он выдавал векторы в понятном языковой модели виде. Дальше всё работает само.
| Задача | Насколько хорошо | Комментарий |
|---|---|---|
| Описать, что на фотографии | Отлично | Общее описание сцены |
| Прочитать текст на изображении | Хорошо | Крупный и чёткий — уверенно, мелкий — хуже |
| Разобрать скриншот интерфейса | Хорошо | Очень практично для работы за компьютером |
| Перенести таблицу с фото в текст | Хорошо | Проверять числа обязательно |
| Объяснить график или схему | Средне | Общий смысл — да, точные значения — нет |
| Считать объекты | Плохо | Та же проблема, что при генерации из главы 14 |
| Точные пространственные отношения | Средне | «Слева от» путает |
| Мелкие детали, маркировка | Плохо | Изображение сжимается в векторы, детали теряются |
Изображение сжимается в ограниченное число векторов. Фотография 4000×3000 превращается в несколько сотен векторов — информации теряется колоссально. Поэтому модель прекрасно скажет «это печатная плата с электролитическими конденсаторами» и не прочитает мелкую маркировку на них. Не потому что «не умеет читать», а потому что этих пикселей до неё физически не дошло.
| Что делать | Почему |
|---|---|
| Кадрируйте перед отправкой | Снимок одного конденсатора крупно даст несравнимо больше, чем вся плата целиком |
| Задавайте конкретный вопрос | «Что тут?» — общее описание. «Есть ли вздутие на верхнем торце этого конденсатора?» — полезный ответ |
| Не доверяйте числам с фото | Показания приборов и маркировку проверяйте глазами |
| Несколько снимков вместо одного | Общий план плюс крупные планы деталей |
| Хороший свет | Блики на пайке модель сбивают так же, как человека |
Разбор скриншотов. Непонятное окно с ошибкой, незнакомая настройка, сообщение на языке, которого вы не знаете — снимок экрана и вопрос работают отлично, потому что текст там крупный и чёткий. Это, пожалуй, самое надёжное применение мультимодальных моделей в повседневной работе.
| Замечание | |
|---|---|
| Размер | Такие модели тяжелее обычных того же класса — добавляется зрительная часть |
| На 16 ГБ | Модели среднего размера идут; крупные — в сжатом виде |
| Скорость | Обработка картинки заметно медленнее обработки текста |
| Качество локальных | Заметно уступает лучшим облачным, особенно на мелких деталях |
В чистом тексте локальная модель на 14B вполне полезна. В работе с изображениями отрыв крупных облачных моделей ощутимее. Если задача действительно важна, а данные не секретные — это как раз случай, когда стоит вспомнить про облако. Если на фото ваши рабочие документы — только локально, и с поправкой на качество.
Логика развития понятна из устройства: раз любой сигнал можно превратить в векторы, ничто не мешает добавить в одну модель текст, изображения, звук и видео одновременно. Это уже происходит.
«Понимает видео» обычно означает: разбирает отдельные кадры плюс расшифровывает звук. Настоящего понимания протяжённого действия во времени там существенно меньше, чем кажется по демонстрациям. Оценивайте по конкретной задаче, а не по общему описанию возможностей.
Последний блок. Сначала — как честно понять, стало лучше или вам показалось.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.