AI-обнаружение голоса: отделение человеческого вокала от синтетического

Проблема голоса ИИ

Генеративный ИИ производит все более убедительные синтетические вокальные исполнения. Клонирование голоса с помощью ИИ может воссоздать голос любого исполнителя из образца записи. Полностью синтетические ИИ-вокалисты могут создавать выступления, неотличимые от человеческого пения при обычном прослушивании.

Это создает серьезные проблемы для музыкальной индустрии. Правообладатели и артисты имеют законный интерес знать, является ли вокальное исполнение подлинно человеческим. Лейблы должны оценивать заявления о подлинности при принятии решений о подписании контрактов. Стриминговые платформы и лицензирующие органы должны выявлять синтетический контент, который может влиять на определение роялти и прав.

Вопрос «это настоящий человеческий вокал?» — когда-то очевидно решаемый на слух — стал технически сложным.

Как работает обнаружение голоса ИИ

Детекторы голоса на основе ИИ анализируют вокальные записи на предмет характеристик, которые отличают биологическое вокальное производство человека от синтетического генерирования. Человеческий вокал обладает специфическими свойствами, связанными с:

• Микро-динамика: Тонкие, нерегулярные вариации амплитуды и вибрато, которые характеризуют биологическое вокальное производство и которые трудно точно воспроизвести в синтезе
• Дыхание и шумовой порог: Специфические шумовые характеристики воздуха, проходящего через человеческие голосовые связки
• Формантные переходы: То, как форманты (резонансные пики в спектре вокальных частот) переходят между фонемами в естественной речи и пении
• Нерегулярности тайминга: Тонкие ритмические несовершенства человеческого исполнения, которые синтетические системы склонны чрезмерно выравнивать

Подробно исследуя эти характеристики, ИИ-модели обнаружения могут оценить вероятность того, что данное вокальное исполнение является человеческим или синтетическим.

Ограничения и точность

Обнаружение голоса с помощью ИИ не является непогрешимым. Текущие ограничения включают:

• Сильно обработанный человеческий вокал — Сильная коррекция высоты тона (auto-tune), растяжение по времени (time-stretching) и обработка голоса могут заставить человеческий вокал звучать более синтетически
• Высококачественный синтез — Самые продвинутые системы синтеза голоса на основе ИИ становится все труднее надежно обнаружить
• Короткие или низкокачественные записи — Короткие клипы или сильно сжатый звук дают детектору меньше информации для работы
• Состязательные техники — Некоторые генераторы синтетических голосов специально оптимизированы для уклонения от обнаружения

Инструменты обнаружения следует понимать как предоставляющие вероятностную оценку, а не окончательное суждение. Результат, указывающий на «вероятно синтетический», не является доказательством синтеза, а результат «вероятно человеческий» не является гарантией подлинности.

Практическое применение

AI Voice Detector от SongTools.ai предоставляет вероятностную оценку того, является ли вокальная запись человеческой или сгенерированной ИИ, наряду с показателем уверенности и примечаниями к конкретным характеристикам, которые легли в основу оценки.

Это полезно для:

• Оценка A&R лейбла — Предварительная проверка перед вложением значительных ресурсов в развитие артиста
• Расследование споров о правах — Предоставление технического контекста (не юридического доказательства) в спорах о подлинности вокала
• Модерация контента — Платформы, разрабатывающие политики в отношении контента, сгенерированного ИИ, могут использовать обнаружение как один из инструментов в более широкой системе

Более широкая дискуссия

Технология ИИ-голоса поднимает вопросы, выходящие за рамки обнаружения. Какие права имеют артисты на синтетические версии своих голосов? Как стриминговые платформы должны маркировать контент, сгенерированный ИИ? Каковы этические обязательства продюсеров, использующих клонирование голоса?

На эти вопросы пока нет однозначных ответов. Но понимание технологии — как ее возможностей, так и ее ограничений — является отправной точкой для продуктивного обсуждения.