Генерация музыки — самая слабая из звуковых областей. Зато разделение дорожек работает отлично, а классификация звука открывает то, чего в книге ещё не было: диагностику по слуху.
Открытые модели генерации музыки существуют, работают на домашнем железе и дают результат, который заметно отстаёт от того, что вы слышите в рекламе облачных сервисов.
| Задача | Локально |
|---|---|
| Короткая фоновая подложка без вокала | Получается приемлемо |
| Звуковой эффект по описанию | Получается |
| Полноценный трек со структурой | Слабо: разваливается через десятки секунд |
| Вокал | Плохо |
| Конкретный жанр «как у...» | Приблизительно |
У музыки структура на нескольких масштабах одновременно: тембр на миллисекундах, ритм на секундах, форма произведения на минутах. Всё это должно быть согласовано. Плюс размеченных данных на порядки меньше, а правовая ситуация вокруг обучения на музыке сложнее, чем вокруг изображений. Отсюда отставание.
Практический вывод: для фоновой подложки под ролик — можно пробовать. Для чего-то серьёзного — библиотеки готовой музыки пока надёжнее.
Здесь противоположная картина — зрелая технология, которая делает то, что ещё недавно казалось невозможным: из готовой записи выделить отдельно вокал, барабаны, бас, остальное.
| Задача | Польза для вас |
|---|---|
| Вытащить чистый голос из ролика с музыкой | Перемонтировать, переозвучить, сделать субтитры точнее |
| Убрать музыку из записи интервью | Улучшить разборчивость перед распознаванием |
| Отделить шум помещения | Спасти запись, сделанную в плохих условиях |
| Получить минус из готового трека | Фоновая подложка без вокала |
Отделить голос от фона, и уже чистый голос подать на распознавание из главы 19. На записях с музыкой или шумом улицы точность вырастает ощутимо — это самая простая оптимизация всего процесса.
Здесь книга подходит к вашей основной области с неожиданной стороны. Задача: по звуку определить, что происходит. Технически это ровно классификация спектрограмм, то есть задача про картинки из главы 03.
| Применение | Что распознаётся | Реалистичность |
|---|---|---|
| Диагностика механики | Изношенный подшипник, разбалансировка, задевание | Работает. Признаки в спектре устойчивы |
| Диагностика электроники | Писк дросселя, свист трансформатора, гул при перегрузке | Работает для явных случаев |
| Контроль состояния | «Звучит не так, как обычно» — обнаружение аномалии | Самое надёжное: не нужны примеры поломок |
| Кодовое слово | Устройство просыпается на одно слово | Работает даже на микроконтроллере — глава 23 |
| Бытовые звуки | Стук, сигнал, разбитое стекло | Готовые модели существуют |
Обычная классификация требует примеров каждой поломки, а их взять негде. Обнаружение аномалии устроено иначе: модель учится только на звуке исправного устройства и сообщает, когда услышанное на него не похоже. Что именно сломалось, она не скажет — но скажет, что что-то изменилось. Данных нужно на порядок меньше, и собрать их легко.
Записали исправные устройства утром, неисправные вечером — модель выучит фоновый шум времени суток. Записали на разные микрофоны — выучит микрофон. Меняйте всё, кроме того, что классифицируете. В звуке эта ловушка встречается чаще, чем в изображениях, потому что условия записи незаметны на слух.
| Ресурс | Сколько |
|---|---|
| Записей на класс | От нескольких десятков |
| Видеопамяти | Немного — спектрограммы маленькие |
| Времени на обучение | Минуты |
| Микрофон | Обычный, но одинаковый для всех записей |
По сравнению со всем остальным в книге это очень дёшево — и это самый прямой способ попробовать обучить свою модель под настоящую задачу, а не учебную.
От звука к изображению: как научить компьютер находить нужное на фотографии — и как это применить к плате.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.