VASA-1, представленная группой исследователей, – это фреймворк, предназначенный для создания в реальном времени реалистичных говорящих лиц из одного статичного изображения и сопровождающего его речевого аудиоклипа. Модель, получившая название VASA-1, отличается высокой синхронностью движений губ и звука, а также захватывает широкий спектр выражений лица и естественных движений головы, что усиливает ощущение реалистичности и живости сгенерированных лиц. Центральным элементом этой инновации является целостная модель динамики лица и движения головы, которая работает в уникальном латентном пространстве, созданном на основе видеоданных.
Расширенное тестирование и новые метрики подтвердили превосходство VASA-1 над существующими методами по многим аспектам. Примечательно, что VASA-1 поддерживает потоковую передачу высококачественного видео 512x512 с частотой до 40 кадров в секунду с минимальной задержкой, открывая путь к увлекательному взаимодействию с аватарами в реальном времени, которые действительно имитируют человеческие разговорные модели.
Ключевые особенности нейросети:
- Генерация в реальном времени: Поддерживает потоковую передачу реалистичных аватаров со скоростью до 40 кадров в секунду.
- Высококачественное видео: Обеспечивает высокое качество видео 512x512 с реалистичной мимикой
- Моделирование латентного пространства: Использует латентное пространство лица для целостной динамики лица и генерации движений головы.
- Синхронизация аудио: Создает движения губ, идеально синхронизированные с заданным аудиоклипом.
- Обширные эксперименты: Превосходит предыдущие методы и подтверждается набором новых метрик.
Похожие нейросети
Смотреть все
Genie by Deepmind
Модель ИИ, способная автономно создавать всю вселенную видеоигры по подсказке

ImageBind
Мультимодальная модель ИИ, которая может связывать вместе данные: изображения, видео, аудио, текст и т. д.

Neuralangelo by NVIDIA
Преобразовывает 2D-видео в детализированные 3D-структуры. Идеально подходит для разработки игр и создания виртуальных объектов
Новости и обзоры
Читать все