Штучний інтелект може дублювати фільми, зберігаючи оригінальний голос акторів
Ізраїльський стартап Deepdub створив штучний інтелект, який може дублювати фільми, зберігаючи оригінальний голос акторів.
Про це пише VentureBeat.
Що відомо про цей штучний інтелект?
Ізраїльський стартап Deepdub розробив штучний інтелект, який може відтворювати голос акторів новою мовою і не змінювати водночас оригінальність голосу. Це новий рівень дубляжу.
Стартап може дублювати фільми, серіали, ігри та рекламу на етапі постпродакшну. ШІ обробляє голос актора, але залишає тембр, ритм, інтонації, попередньо аналізуючи їх. Також завдяки нейронним мережам, алгоритм відстежує міміку, рухи губ акторів та інші деталі.
Щоб продублювати сцену іншою мовою, використовують синтетичні голоси. Штучні голоси створюють на основі оригінального голосу актора, а на виході отримується професійний дубляж голосом оригіналу.
«Наші моделі штучного інтелекту дозволяють відтворювати характеристики голосу, використовуючи не більше трьох хвилин оригінальних голосових даних. Голос, що генерується AI, на цільовій мові може відтворюватися на будь-якому рівні виразності, включаючи плач, крик, розмову з їжею в роті й багато іншого – навіть якщо вихідні голосові дані не містили цю інформацію», – розповів співзасновник Deepdub Нір Краковскі.
Наразі ШІ підтримує шість мов. У стартапі планують додати ще 6 до кінця 2022 року.
Приклад роботи Deepdub можна почути у трейлері до фільму «Кожен раз, як я вмираю» 2019 року. Дубльовані синтезовані голоси прозвучали іспанською та португальською мовами.
