tariel.ge › Полезное: бесплатные книги › ИИ изнутри: от нейрона до своей моделиБесплатно · автор Тариел Бежанидзе
← ИИ изнутри ЛИСТ 16ИзображенияРЕВ. 1
Глава 16 · Изображения

Управление: ControlNet, маски и дорисовка

Пока вы получаете случайные картинки по описанию — это игрушка. Управление композицией, дорисовка по маске и работа от исходника превращают её в рабочий инструмент.

Четыре способа управлять

СпособЧто задаётеКогда применять
От исходникаКартинку, которую надо переделатьЕсть черновик или фото, нужно изменить стиль
Дорисовка по маскеОбласть, которую надо заменитьУбрать лишнее, исправить кусок, заменить деталь
РасширениеКуда достроить кадрКадр оказался тесен, нужно поле под текст
Управление структуройКонтуры, глубину, позуНужна точная композиция

От исходника

Вместо чистого шума процесс стартует от вашей картинки, зашумлённой частично. Ключевой параметр — насколько сильно зашумлять.

Сила измененияЧто получается
0.2–0.3Почти исходник, слегка причёсанный
0.4–0.6Композиция сохранена, стиль и детали новые. Рабочий диапазон
0.7–0.8От исходника осталась общая идея
0.9+Почти то же, что генерация с нуля
Практический приём

Набросайте композицию в любом редакторе хоть цветными пятнами — где что расположено, какого цвета. Подайте это как исходник с силой около 0.6. Модель превратит пятна в изображение, но сохранит вашу компоновку. Быстрее и надёжнее, чем пытаться описать расположение словами, которое модель всё равно плохо понимает.

Дорисовка по маске

Вы закрашиваете область, и модель перерисовывает только её, подстраиваясь под окружение. Самый практичный из всех приёмов.

ЗадачаКак
Убрать лишний предметЗакрасить его; в запросе описать, что должно быть вместо — фон, поверхность
Исправить испорченную детальЗакрасить только её, запрос — описание нужной детали
Заменить объектЗакрасить и описать новый
Почистить артефактыМелкие области, малая сила изменения
Две настройки, от которых зависит всё

Управление структурой

Самый мощный инструмент. Из вашей опорной картинки извлекается некая структура — контуры, карта глубины, скелет позы — и модель обязана её соблюдать, свободно распоряжаясь всем остальным.

Тип структурыЧто сохраняетсяВаш сценарий
КонтурыВсе линии и границыПерерисовать эскиз в другом стиле, сохранив форму
Мягкие линииОсновные контуры, без мелочейТо же, но с большей свободой
ГлубинаРасположение в пространствеСохранить компоновку сцены, сменив всё остальное
ПозаПоложение фигуры человекаИллюстрации для видео с нужной позой
НабросокГрубые линии от рукиПревратить свой рисунок в готовое изображение
СегментыГде какая область по смыслуТочная раскладка «здесь фон, здесь объект»
Как это связано с вашей работой

Нарисовали от руки схему расположения блоков — управление по наброску превратит её в аккуратную иллюстрацию с сохранением вашей компоновки. Это тот случай, когда генерация перестаёт быть лотереей: структуру задаёте вы, модель отвечает только за исполнение.

Совмещение

Способы комбинируются: можно одновременно держать контуры и глубину, добавить LoRA со своим стилем (глава 17) и работать по маске. Сила у каждого управления регулируется отдельно.

Не увлекайтесь

Три-четыре управления одновременно, каждое на полной силе — и они начинают противоречить друг другу, а результат разваливается. Добавляйте по одному, смотрите на результат, уменьшайте силу до минимальной, при которой эффект ещё есть. И помните, что каждое дополнение съедает видеопамять.

Порядок работы над конкретной картинкой

  1. Задайте композицию — наброском или структурным управлением, а не описанием.
  2. Сгенерируйте пачку, выберите лучшую, зафиксируйте seed.
  3. Доведите общее: стиль, свет, цвет — меняя по одному параметру.
  4. Почините частности дорисовкой по маске.
  5. Увеличьте отдельным проходом.
  6. Финальные мелочи — в обычном редакторе. Часто это быстрее, чем уговаривать модель.
Последний пункт важнее, чем кажется

Когда остался один мелкий дефект, соблазн велик перегенерировать «ещё разок» — и уходит час. Убрать его в графическом редакторе за две минуты почти всегда быстрее. Генерация — инструмент, а не религия.

Проверьте, что поняли

Что дальше

Последняя ступень контроля: научить модель вашему собственному стилю или конкретному объекту.

Глава16 — Управление: ControlNet, маски и дорисовка
БлокИзображения
Далее17 — Свой стиль: обучить LoRA на своих изображениях
Ревизия1
↑ Оглавление Предыдущая глава← 15 · Практика: генерация изображений на 16 ГБ видеопамяти Следующая глава17 · Свой стиль: обучить LoRA на своих изображениях →

Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов

Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.