Искусственный интеллект может дублировать фильмы, сохраняя оригинальный голос актеров
Израильский стартап Deepdub создал искусственный интеллект, способный дублировать фильмы, сохраняя оригинальный голос актеров.
Об этом пишет VentureBeat.
Что известно об этом искусственном интеллекте?
Израильский стартап Deepdub разработал искусственный интеллект, который может воспроизводить голос актеров на новом языке и одновременно не изменять оригинальность голоса. Это новый уровень дубляжа.
Стартап может дублировать фильмы, сериалы, игры и рекламу на этапе постпродакшна. ИИ обрабатывает голос актера, но оставляет тембр, ритм, интонации, предварительно анализируя их. Также благодаря нейронным сетям алгоритм отслеживает мимику, движения губ актеров и другие детали.
Для продублирования сцены на другом языке используют синтетические голоса. Искусственные голоса создаются на основе оригинального голоса актера, а на выходе получается профессиональный дубляж голосом оригинала.
«Наши модели искусственного интеллекта позволяют воспроизводить характеристики голоса, используя не более трех минут оригинальных голосовых данных. Генерируемый AI голос на целевом языке может воспроизводиться на любом уровне выразительности, включая плач, крик, разговор с едой во рту и многое другое, даже если исходные голосовые данные не содержали эту информацию», – рассказал соучредитель Deepdub Нир Краковски.
Сейчас ИИ поддерживает шесть языков. В стартапе планируют добавить еще шесть до конца 2022 года.
Пример работы Deepdub можно услышать в трейлере к фильму «Каждый раз, как я умираю» 2019 года. Дублированные синтезированные голоса прозвучали на испанском и португальском языках.
