VASA-1 by Microsoft

VASA-1, представленная группой исследователей, – это фреймворк, предназначенный для создания в реальном времени реалистичных говорящих лиц из одного статичного изображения и сопровождающего его речевого аудиоклипа. Модель, получившая название VASA-1, отличается высокой синхронностью движений губ и звука, а также захватывает широкий спектр выражений лица и естественных движений головы, что усиливает ощущение реалистичности и живости сгенерированных лиц. Центральным элементом этой инновации является целостная модель динамики лица и движения головы, которая работает в уникальном латентном пространстве, созданном на основе видеоданных.

Расширенное тестирование и новые метрики подтвердили превосходство VASA-1 над существующими методами по многим аспектам. Примечательно, что VASA-1 поддерживает потоковую передачу высококачественного видео 512x512 с частотой до 40 кадров в секунду с минимальной задержкой, открывая путь к увлекательному взаимодействию с аватарами в реальном времени, которые действительно имитируют человеческие разговорные модели.

Ключевые особенности нейросети:

• Генерация в реальном времени: Поддерживает потоковую передачу реалистичных аватаров со скоростью до 40 кадров в секунду.
• Высококачественное видео: Обеспечивает высокое качество видео 512x512 с реалистичной мимикой
• Моделирование латентного пространства: Использует латентное пространство лица для целостной динамики лица и генерации движений головы.
• Синхронизация аудио: Создает движения губ, идеально синхронизированные с заданным аудиоклипом.
• Обширные эксперименты: Превосходит предыдущие методы и подтверждается набором новых метрик.