Британці створили програму, яка змінює міміку акторів під дубляж фільму: відео
Джерело:
TrueSyncБританська компанія Flawless випустила програму TrueSync, яка синхронізує міміку акторів під мову дубляжу. Це допоможе перекладеним фільмам підставити міміку акторів, щоб не було помітно, що вони говорять іншою мовою.
Цікаво, що програма використовує ті ж прийоми для маніпуляції відео, які лежать в основі діпфейків (механізми, якими керує штучний інтелект для заміщення обличчя людини на відео обличчям іншої людини).
До теми Українці створили додаток для керування стресом: там багато безплатного контенту
Як працює програма
Програма TrueSync за допомогою нейромереж обробляє міміку акторів у фільмах у тому випадку, якщо вони говорять іншою мовою. Тобто ця технологія дозволяє створити враження, що актори дійсно говорять мовою дубляжу.
Цікаво, що нейромережі самі проаналізують міміку акторів і підлаштують під дубляж, замінивши їх обличчя на діпфейк.
Актор "Форрест Гамп" Том Хенкс говорить японською мовою: відео TrueSync
Програма враховує особливості міміки акторів, рухи рота і губ, за рахунок чого створюється ілюзія, що артист дійсно говорить ті чи інші слова.
Автори програми переконують, що незважаючи на заміну обличчя актора, їх оригінальна вишукана гра збережеться і перенесеться на змінену міміку обличчя.
Компанія поділилася кількома прикладами того, на що здатна програма TrueSync. Зокрема, нижче опуліковане відео, на якому показано, як працює програма.
Як програма змінює міміку акторів: нарізка відео TrueSync