Чтобы понять, хороши ли автоматические субтитры для публикации, проверьте их по трём измеримым параметрам: доля ошибок на уровне слов (WER), доля ошибок на уровне символов (CER) и точность пунктуации и таймкодов. Сначала задайте порог под свой тип видео, затем посчитайте метрики на эталонном фрагменте и найдите системные ошибки. Если WER выше порога или таймкоды сбиваются, правьте вручную или меняйте настройки распознавания.
Что считать качеством автоматических субтитров: пять измеримых параметров
Качество субтитров складывается из точности текста и удобства просмотра. Начните с WER — word error rate, доля ошибок на уровне слов. Её считают так: (замены + пропуски + вставки) делят на число слов в эталоне. Для языков без пробелов и для проверки имён и терминов добавьте CER — character error rate, то же самое на уровне символов.
Второй параметр — таймкоды. Реплика должна появляться и исчезать вместе с речью. Если субтитры отстают или опережают звук, зритель теряет связь. Проверяйте расхождение начала реплики с точностью до 0,2–0,5 секунды и следите, чтобы строка держалась на экране достаточно долго.
Третий — пунктуация и регистр. Автоматика часто ставит точки не там, где паузы, и пишет имена с маленькой буквы. Четвёртый — обработка имён, аббревиатур, чисел и дат. Пятый — устойчивость к шуму, акцентам и перекрывающейся речи. Эти параметры не сводятся к одной цифре, но их можно оценить по эталонному фрагменту.
Как собрать тестовый набор под свой контент и посчитать WER/CER
Возьмите 10–20 фрагментов по 1–3 минуты. Включите разные сценарии: интервью, лекцию, репортаж с улицы, созвон. В каждом фрагменте должен быть хотя бы один термин, имя или число. Сделайте эталонную расшифровку вручную и заранее договоритесь о правилах нормализации: как записывать числа (цифрами или словами), ставить ли точку в конце реплики, писать ли имена с заглавной буквы.
Сравнивайте автоматическую расшифровку с эталоном после нормализации. Считайте отдельно замены, пропуски и вставки. WER = (S + D + I) / N, где S — замены, D — пропуски, I — вставки, N — число слов в эталоне. CER считайте так же, но на уровне символов. Результат выражайте в процентах: умножьте долю на 100.
Фиксируйте порог приёмки заранее. Для чистого студийного звука в обучающем видео разумно ориентироваться на WER не выше 5–10%. Для разговорного контента с шумом допустимо до 15%. Если порог не задан до теста, легко подогнать вывод под желаемый результат. После расчёта сгруппируйте ошибки: имена и термины, числа, шум и тихая речь, пунктуация. Если больше половины ошибок в одной группе, меняйте словарь или настройки модели, а не правьте каждую строку вручную.
Конкретный пример оценки: считаем WER и проверяем таймкоды
Возьмём фрагмент лекции длиной 4 минуты. В эталоне 620 слов. Автоматическая расшифровка дала 41 ошибку: 18 замен, 12 пропусков, 11 вставок. Считаем WER = (18 + 12 + 11) / 620 = 41 / 620 ≈ 0,066, то есть около 6,6%. Для лекции задан порог 5% — результат выше, значит публиковать без правки нельзя.
Дальше смотрим, где именно ошибки. 22 из 41 — имена и термины, например название метода. 9 — числа. 10 — шум и тихая речь. Сначала добавьте в словарь имена и термины: это закрывает больше половины ошибок. После повторного прогона пересчитайте WER на том же фрагменте. Если остались ошибки в числах, проверьте их вручную: число в субтитрах важнее стиля.
Теперь проверьте таймкоды. Начало реплики должно совпадать с речью с точностью до 0,2–0,5 секунды. Длительность показа строки обычно держат в пределах 1,5–6 секунд. В одной строке не больше 32–42 символов, всего не более двух строк. Эти ориентиры взяты из отраслевых рекомендаций по субтитрированию, но точные значения уточняйте в документации выбранной платформы или сервиса.
Сравнение сервисов и моделей ASR: как провести корректный тест
Чтобы сравнение было честным, используйте один и тот же тестовый набор, одинаковые настройки языка и пунктуации. Проверяйте, поддерживает ли сервис пользовательский словарь терминов. Сравнивайте не только WER, но и долю правок редактора на минуту записи: иногда модель с чуть большим WER требует меньше ручной работы, если лучше расставляет знаки препинания.
| Параметр сравнения | Что проверить | Как влияет на выбор |
|---|---|---|
| WER на вашем эталоне | Посчитать по одной методике для всех сервисов | Основной показатель точности текста |
| Поддержка словаря | Есть ли загрузка своих терминов и имён | Снижает ошибки в предметной области |
| Таймкоды | Среднее расхождение начала реплики | Влияет на синхронность с речью |
| Стоимость минуты | Цена за минуту аудио с учётом лимитов | Определяет бюджет при больших объёмах |
Учитывайте задержку обработки: для новостей технологий важна скорость появления субтитров. Проверьте, можно ли править текст в редакторе после распознавания. Заявленные возможности сверяйте с официальной документацией и списком изменений сервиса на ноябрь 2026 года.
Чек-лист приёмки и типичные ошибки при оценке
Перед публикацией пройдите по списку. Он помогает не пропустить разметку и не увлечься одной цифрой WER.
- Эталонная расшифровка сделана вручную на 10–20 фрагментах.
- Правила нормализации зафиксированы до расчёта.
- WER и CER посчитаны и сравнены с порогом для вашего типа видео.
- Ошибки сгруппированы по категориям, найдены системные.
- Таймкоды проверены: расхождение начала реплики не больше 0,5 секунды.
- Длина строки и число строк укладываются в выбранные ориентиры.
- Пунктуация и регистр проверены выборочно на именах и терминах.
Частая ошибка — оценивать на одном удобном фрагменте без шума и терминов. Другая — сравнивать сервисы на разных языках или акцентах. Идеальный WER не спасает, если строки разбиты так, что читать неудобно. Фиксируйте результаты в таблице и пересматривайте при смене модели или словаря.
Можно ли считать WER на короткой фразе из 5–6 слов?
Можно, но результат будет нестабильным: одна ошибка даёт сразу 16–20%. Для решения о публикации берите фрагменты не короче минуты и усредняйте по нескольким записям.
Что делать, если CER низкий, а WER высокий?
Такое бывает, когда модель путает окончания или слитно пишет слова. Проверьте ошибки на уровне слов: возможно, проблема в нормализации или в словаре. CER полезен для проверки имён и терминов, но не заменяет WER.
Как быстро проверить таймкоды без специальной программы?
Откройте субтитры в проигрывателе и включите звук. Смотрите на момент появления первой реплики: если текст появляется заметно раньше или позже голоса, тайминг сбит. Для точности используйте редактор субтитров с отображением дорожки.
Нужно ли учитывать пунктуацию в WER?
Обычно WER считают по словам без знаков препинания. Пунктуацию оценивайте отдельно: сравните расстановку знаков в эталоне и в автомате. Если знаки мешают читать, правьте вручную.