OmniAvatar: прорыв в области цифровых технологий искусственного интеллекта, который оживляет фотографии
OmniAvatar - это аудиоуправляемая система цифрового человека, совместно разработанная Чжэцзянским университетом и Alibaba Group, способная генерировать естественное и плавное видео движения всего тела на основе фотографий, аудио и текстовых подсказок. По сравнению с традиционной технологией "говорящего аватара", система достигла прорыва в координации движений тела, высокоточной синхронизации аудио/видео и управлении текстом. Система была протестирована и признана лучшей по качеству изображения, плавности видео и синхронизации рта, и на данный момент является единственной моделью, которая может синхронно генерировать анимацию лица и всего тела. Проект получил открытый доступ, а статья опубликована в arXiv.