VASA-1 by Microsoft

VASA-1 by Microsoft — бесплатная нейросеть  undefined, , модели LLM.

VASA-1, представленная группой исследователей, – это фреймворк, предназначенный для создания в реальном времени реалистичных говорящих лиц из одного статичного изображения и сопровождающего его речевого аудиоклипа. Модель, получившая название VASA-1, отличается высокой синхронностью движений губ и звука, а также захватывает широкий спектр выражений лица и естественных движений головы, что усиливает ощущение реалистичности и живости сгенерированных лиц. Центральным элементом этой инновации является целостная модель динамики лица и движения головы, которая работает в уникальном латентном пространстве, созданном на основе видеоданных.

Расширенное тестирование и новые метрики подтвердили превосходство VASA-1 над существующими методами по многим аспектам. Примечательно, что VASA-1 поддерживает потоковую передачу высококачественного видео 512x512 с частотой до 40 кадров в секунду с минимальной задержкой, открывая путь к увлекательному взаимодействию с аватарами в реальном времени, которые действительно имитируют человеческие разговорные модели.

Ключевые особенности нейросети:

  • Генерация в реальном времени: Поддерживает потоковую передачу реалистичных аватаров со скоростью до 40 кадров в секунду.
  • Высококачественное видео: Обеспечивает высокое качество видео 512x512 с реалистичной мимикой
  • Моделирование латентного пространства: Использует латентное пространство лица для целостной динамики лица и генерации движений головы.
  • Синхронизация аудио: Создает движения губ, идеально синхронизированные с заданным аудиоклипом.
  • Обширные эксперименты: Превосходит предыдущие методы и подтверждается набором новых метрик.

Похожие нейросети

Смотреть все
Нейросеть Genie by Deepmind - Скоро релиз,Игры,Модель LLM

Genie by Deepmind

Модель ИИ, способная автономно создавать всю вселенную видеоигры по подсказке

Нейросеть ImageBind - Скоро релиз

ImageBind

Мультимодальная модель ИИ, которая может связывать вместе данные: изображения, видео, аудио, текст и т. д.

Скоро релиз
Бесплатно
1 млн
Нейросеть Neuralangelo by NVIDIA - Скоро релиз

Neuralangelo by NVIDIA

Преобразовывает 2D-видео в детализированные 3D-структуры. Идеально подходит для разработки игр и создания виртуальных объектов

Скоро релиз
Бесплатно
32 млн

Новости и обзоры

Читать все