Тот же приём, что в главе 13, но для картинок — и здесь он на порядок доступнее: два десятка изображений и полчаса на вашей видеокарте.
| Задача | Что обучаете | Сколько изображений |
|---|---|---|
| Единый стиль для всех обложек ваших книг | Стиль | 20–40 |
| Конкретный повторяющийся объект | Объект | 15–30 |
| Узнаваемый персонаж для видео | Персонаж | 20–40 |
| Специфическая манера съёмки | Стиль | 30–50 |
У вас полтора десятка учебников, и каждому нужны обложка и иллюстрации в едином виде. Описывать стиль словами при каждой генерации — ненадёжно, результат плывёт. Обученный один раз адаптер даёт воспроизводимый стиль одним словом-ключом.
Базовая модель заморожена, обучается маленькая добавка — как в главе 13. Разница количественная и приятная: изображений нужно два десятка, а не тысячи примеров, и обучение занимает десятки минут, а не часы.
Результат — файл в десятки мегабайт, который подключается к любой совместимой базовой модели, а сила его влияния регулируется.
| Требование | Почему |
|---|---|
| Единый стиль | Учите стиль — все изображения должны быть в нём. Один чужеродный испортит |
| Разные ракурсы и планы | Иначе выучит конкретный кадр, а не суть. Это переобучение из главы 05 |
| Разный фон | Иначе фон станет частью «стиля» — прямой аналог волка на снегу |
| Хорошее качество | Размытые и мелкие научат размытости |
| Одинаковый размер | Обычно квадрат в родном разрешении модели |
| Без посторонних надписей | Водяные знаки и подписи выучатся тоже |
Если все ваши обучающие картинки сняты на одном столе — модель решит, что этот стол часть стиля, и будет дорисовывать его везде. Разнообразие всего, кроме того, чему вы учите, — главное правило подготовки данных.
К каждому изображению пишется краткое описание. Здесь есть неочевидное правило, из-за которого чаще всего не получается.
Модель связывает слово-ключ с тем, что не описано в подписях, но присутствует на всех картинках. Поэтому:
изображение 1: mystyle, печатная плата, вид сверху, светлый фон изображение 2: mystyle, паяльник на столе, боковой ракурс изображение 3: mystyle, светодиодная лампа в разборе, тёмный фон Про сам стиль — ни слова. Общее у всех трёх и есть стиль, и он привяжется к слову mystyle.
| Параметр | С чего начать | Куда двигать |
|---|---|---|
| rank | Небольшой — 8–16 | Для стиля хватает малого; для сложного объекта больше |
| Шаги обучения | Около 1000–1500 при 20–30 картинках | Больше — риск переобучения |
| Скорость обучения | Из документации инструмента | Слишком большая — «пережжённые» результаты |
| Промежуточные сохранения | Включить обязательно | Сохранять каждые несколько сотен шагов |
Обучение сохраняет адаптер несколько раз по ходу. Потом вы сравниваете их на одном и том же запросе с одним seed и выбираете лучший. Очень часто лучшим оказывается не последний, а средний: к концу модель успевает переобучиться. Без промежуточных сохранений вы этого просто не увидите.
Просите что-то новое, а получаете вариации обучающих картинок. Это переобучение: адаптер запомнил конкретные изображения вместо стиля. Лечится меньшим числом шагов, меньшим rank и большим разнообразием данных.
| Что | Получается |
|---|---|
| Стиль, цветовая гамма, манера | Отлично. Самый надёжный сценарий |
| Узнаваемый персонаж | Хорошо при качественных данных |
| Конкретный предмет | Средне — форма плывёт |
| Технически точная деталь | Плохо. Та же проблема, что в главе 15 |
| Текст и надписи | Не решается адаптером |
Обучать адаптер на своих работах — очевидно нормально. На чужих — вопрос не технический, а правовой и этический, и он по-разному решается в разных странах и по-разному воспринимается сообществом. Особенно чувствительны узнаваемый стиль живого автора и изображения реальных людей. Если результат пойдёт в коммерческое использование — это стоит выяснить заранее.
Последняя глава блока: движущиеся картинки, и честный разговор о том, что из этого реально работает дома.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.