Цікаво, що програма використовує ті ж прийоми для маніпуляції відео, які лежать в основі діпфейків (механізми, якими керує штучний інтелект для заміщення обличчя людини на відео обличчям іншої людини).
До теми Українці створили додаток для керування стресом: там багато безплатного контенту
Як працює програма
Програма TrueSync за допомогою нейромереж обробляє міміку акторів у фільмах у тому випадку, якщо вони говорять іншою мовою. Тобто ця технологія дозволяє створити враження, що актори дійсно говорять мовою дубляжу.
Цікаво, що нейромережі самі проаналізують міміку акторів і підлаштують під дубляж, замінивши їх обличчя на діпфейк.
Актор "Форрест Гамп" Том Хенкс говорить японською мовою: відео TrueSync
Програма враховує особливості міміки акторів, рухи рота і губ, за рахунок чого створюється ілюзія, що артист дійсно говорить ті чи інші слова.
Автори програми переконують, що незважаючи на заміну обличчя актора, їх оригінальна вишукана гра збережеться і перенесеться на змінену міміку обличчя.
Компанія поділилася кількома прикладами того, на що здатна програма TrueSync. Зокрема, нижче опуліковане відео, на якому показано, як працює програма.
Як програма змінює міміку акторів: нарізка відео TrueSync