Самая быстро меняющаяся область и самая требовательная к железу. Что принципиально сложнее, чем с картинками, и что реально получится на шестнадцати гигабайтах.
| Проблема | В чём сложность |
|---|---|
| Объём | Пять секунд при 24 кадрах — это 120 изображений вместо одного |
| Связность во времени | Мало сгенерировать 120 хороших кадров — они должны быть одним и тем же миром |
| Физика | Предметы не должны появляться из ниоткуда и проходить сквозь друг друга |
| Память | Внимание квадратично (глава 08), а элементов теперь не сотни, а десятки тысяч |
| Данные | Размеченного видео на порядки меньше, чем картинок |
Основной приём: добавить внимание вдоль времени. Каждый кусочек кадра смотрит не только на соседей в своём кадре, но и на себя же в предыдущих и следующих. Тот же механизм из главы 08, просто применённый ещё по одной оси. Из-за этого и растут требования к памяти.
| Подход | Как | Нагрузка |
|---|---|---|
| Оживление картинки | Берётся готовое изображение, к нему добавляется движение | Умеренная. Самый реальный вариант для вас |
| Надстройка над моделью изображений | К обычной модели картинок подключается модуль движения | Умеренная |
| Полноценная видеомодель | Обучена на видео с нуля | Высокая. На 16 ГБ — только сжатые варианты и короткие клипы |
| Задача | Реалистичность |
|---|---|
| Оживить статичную картинку на 2–4 секунды | Да, это рабочий сценарий |
| Короткий клип по описанию, низкое разрешение | Да, в сжатом варианте модели, медленно |
| 5+ секунд в высоком разрешении | Нет |
| Видео с людьми, говорящими и жестикулирующими | Плохо. Руки и лица — известная слабость |
| Управляемая сцена с конкретным сюжетом | Нет. Контроля почти нет |
| Увеличить частоту кадров и разрешение готового | Да, и это часто полезнее генерации |
Домашняя генерация видео сейчас — это короткие вставки и оживлённые заставки, а не съёмка сюжетов. Если нужен контент для роликов, гораздо практичнее: сгенерировать хорошую статичную картинку (главы 15–17), добавить ей лёгкое движение, и использовать как перебивку или фон. Это работает и выглядит прилично.
Для вашей работы с роликами это, вероятно, полезнее генерации — и требует куда меньше ресурсов.
| Задача | Насколько зрело | Польза для вас |
|---|---|---|
| Увеличение разрешения | Зрело | Старые записи в приличный вид |
| Повышение частоты кадров | Зрело | Плавность, замедление |
| Удаление фона без хромакея | Зрело | Съёмка где угодно, без зелёной ткани |
| Шумоподавление и стабилизация | Зрело | Съёмка с рук и при плохом свете |
| Субтитры из речи | Очень зрело | Глава 19 — вероятно, самое полезное в книге для видео |
| Перевод и озвучка | Развивается | Русский, грузинский, английский из одного ролика |
| Автонарезка длинного в короткие | Развивается | Вертикальные отрывки из длинного видео |
Удаление фона без зелёной ткани — самый недооценённый инструмент для домашней съёмки. Работает по одному кадру, требований к памяти почти нет, а экономит целый этап подготовки.
Видео — самая быстро движущаяся часть области. Конкретные названия моделей и требования к памяти меняются за месяцы, поэтому в этой главе их сознательно нет. Что останется верным надолго: видео требует на порядок больше ресурсов, чем картинки, связность во времени — принципиальная трудность, и контроля над сюжетом мало. По этим трём осям и оценивайте любую новую модель, о которой услышите.
Звук — область, где локальные модели уже сейчас работают отлично и требуют немного. Начнём с самого полезного.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.