Интересно, что программа использует те же приемы для манипуляции видео, которые лежат в основе дипфейков (механизмов, которыми руководит искусственный интеллект для замещения лицо человека на видео лицом другого человека).
К теми Украинцы создали приложение для управления стрессом: там много бесплатного контента
Как работает программа
Программа TrueSync с помощью нейронных сетей обрабатывает мимику актеров в фильмах в том случае, если они говорят на другом языке. То есть эта технология позволяет создать впечатление, что актеры действительно говорят на языке дубляжа.
Актер "Форреста Гампа" Том Хэнкс говорит на японском языке: видео TrueSync
Интересно, что нейросети сами проанализируют мимику актеров и подстроят под дубляж, заменив их лица на дипфейк.
Программа учитывает особенности мимики актеров, движения рта и губ, за счет чего создается иллюзия, что артист действительно говорит те или иные слова.
Авторы программы утверждают, что несмотря на замену лицо актера, их оригинальная изысканная игра сохранится и перенесется на измененную мимику лица.
Компания поделилась несколькими примерами того, на что способна программа TrueSync. В частности, ниже опубликованное видео, на котором показано, как работает программа.
Как программа меняет мимику актеров: нарезка видео TrueSync