Область, где локальные модели работают на уровне платных сервисов и требуют немного. Для вашей работы с видео — вероятно, самое полезное из всей книги.
Звук превращают в картинку. Спектрограмма — это график, где по горизонтали время, по вертикали частота, а яркость означает громкость. Дальше работает уже знакомая архитектура из главы 09.
звуковая волна ↓ разбиение на короткие окна, преобразование Фурье спектрограмма — по сути изображение ↓ энкодер векторы (глава 06) ↓ декодер с вниманием текст, по одному токену (глава 09)
Спектр сигнала вам знаком по электронике. Это ровно он: частотное представление вместо временного. Модель распознавания речи — это, по сути, модель, читающая спектрограммы как картинки и выдающая текст.
Ключевым оказался не хитрый алгоритм, а масштаб и разнообразие данных: сотни тысяч часов записей на десятках языков, с разным качеством, акцентами и шумом. Модель научилась работать в реальных условиях, а не в студийных.
Отсюда и практический вывод: качество записи влияет меньше, чем кажется. Съёмка на телефон с эхом в комнате распознаётся вполне прилично.
| Размер | Качество | Скорость | Когда брать |
|---|---|---|---|
| Крошечная | Слабое, много ошибок | Очень быстро | Черновая расшифровка, реальное время |
| Базовая | Приемлемое для английского | Быстро | Быстрые задачи |
| Средняя | Хорошее | Средне | Разумный компромисс |
| Большая | Отличное, включая русский | Медленнее | Ваш выбор. На 16 ГБ идёт свободно |
Существуют переписанные реализации, которые работают в несколько раз быстрее оригинала при том же качестве, и версии, идущие на процессоре. Если скорость важна — ищите их, это даёт больше, чем уменьшение размера модели.
| Задача | Результат |
|---|---|
| Субтитры к вашему ролику | Готовый файл с таймкодами. Правки минимальны |
| Расшифровка длинного видео в текст | Основа для статьи или главы книги |
| Перевод речи в текст другого языка | Модель умеет сразу переводить на английский |
| Поиск по своим видеозаписям | Расшифровать всё, дальше — поиск по смыслу из главы 07 |
| Определение, кто говорит | Отдельным инструментом поверх; работает, но не идеально |
Наговорить главу книги голосом, расшифровать, и дальше править текст. Говорить человек может в несколько раз быстрее, чем печатать, а правка расшифровки быстрее написания с нуля. Для человека, который пишет учебники и снимает видео, это заметное ускорение всего процесса.
| Проблема | Почему | Что делать |
|---|---|---|
| Термины и названия деталей | Редкие слова, мало примеров в обучении | Подсказать список терминов в начальном запросе, если инструмент это поддерживает |
| Смесь языков в одной фразе | Модель выбирает язык для фрагмента целиком | Указать язык явно; разделять записи по языкам |
| Повторы и зацикливание | Долгая тишина или музыка — модель «додумывает» | Вырезать длинные паузы; ограничить длину сегмента |
| Выдуманный текст на пустом месте | Та же природа, что галлюцинации из главы 11 | Проверять участки, где по звуку речи нет |
| Несколько говорящих одновременно | Наложение спектров | Записывать раздельно, если возможно |
| Пунктуация и абзацы | Ставит на слух, иногда странно | Прогнать расшифровку через языковую модель для оформления |
Важное и малоизвестное: на участках без речи модель иногда выдаёт целые фразы, которых не было. Механизм ровно тот же, что в главе 11 — она порождает правдоподобное продолжение. Если в расшифровке появился фрагмент, который вы не говорили, это не мистика и не подстава, а ожидаемое поведение.
| Задача | Зрелость | Применение у вас |
|---|---|---|
| Шумоподавление в записи голоса | Отличная | Съёмка в неподготовленном помещении |
| Разделение на дорожки: голос, музыка, шум | Отличная | Вытащить чистый голос из готового ролика |
| Определение языка | Отличная | Сортировка архива записей |
| Кто говорит в какой момент | Средняя | Расшифровка диалогов и интервью |
Обратная задача: превратить текст в голос. Здесь техника уже опережает то, что разрешено и уместно.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.