OmniAvatar: Der Durchbruch in der KI-Technologie für digitale Menschen, der Fotos zum Leben erweckt
OmniAvatar ist ein von der Universität Zhejiang und der Alibaba Group gemeinsam entwickeltes audiogesteuertes digitales Menschensystem, das in der Lage ist, auf der Grundlage von Fotos, Audio- und Textanweisungen natürliche und flüssige Ganzkörperbewegungsvideos zu erzeugen. Im Vergleich zur herkömmlichen "sprechenden Avatar"-Technologie erzielt das System einen Durchbruch bei der Koordination von Körperbewegungen, der hochpräzisen Audio-/Videosynchronisation und der Textsteuerung. Das System wurde getestet und als führend in Bezug auf Bildqualität, Videogeschmeidigkeit und Mundsynchronisation befunden. Es ist derzeit das einzige Modell, das synchron Gesichts- und Ganzkörperanimationen erzeugen kann. Das Projekt wurde als Open-Source-Projekt veröffentlicht und die Arbeit ist in arXiv publiziert.