Diese Dokumentation wird nicht mehr aktualisiert und kann jederzeit entfernt werden.
Oculus Lipsync bietet ein Unity-Plugin für die Verwendung unter Windows oder macOS, mit dem die Lippenbewegungen von Avataren mit Sprechlauten und Lachen synchronisiert werden können. Lipsync analysiert den Audio-Eingangsstream von einem Mikrofon oder einer Audiodatei und sagt eine Reihe von Werten voraus, die Mundbilder genannt werden, d. h. Lippenbewegungen oder Gesichtsausdrücke, die einem bestimmten Sprechklang entsprechen. Der Begriff „Mundbild“ wird im Zusammenhang mit dem Lippenlesen verwendet und ist eine allgemeine Einheit für visuelle Verständigung. In der Computeranimation können Mundbilder verwendet werden, um Avatare so zu animieren, dass sie aussehen, als würden sie sprechen.
Lipsync verwendet ein Repertoire von Mundbildern, um Avatare auf der Grundlage eines bestimmten Audio-Eingangsstreams zu verändern. Jedes Mundbild zielt auf ein bestimmtes geometrisches Morph-Ziel in einem Avatar ab, um den Umfang zu beeinflussen, in dem dieses Ziel auf dem Modell dargestellt wird. Mit Lipsync können realistische Lippenbewegungen erzeugt werden, die im Einklang mit dem Gesprochenen oder Gehörten stehen. Dadurch stehen mehr visuelle Anhaltspunkte zur Verfügung, um eine App mit Avataren zu füllen, unabhängig davon, ob die Figur von dem*der Nutzer*in gesteuert wird oder ein Nicht-Spieler-Charakter (NPC) ist.
Das Lipsync-System ist auf 15 verschiedene Mundbilder ausgelegt: sil, PP, FF, TH, DD, kk, CH, SS, nn, RR, aa, E, ih, oh und ou. Die Mundbilder beschreiben den Gesichtsausdruck beim Aussprechen des entsprechenden Sprachlauts. So entspricht das Mundbild sil z. B. einem stummen/neutralen Ausdruck, PP entspricht der Aussprache der ersten Silbe in „Popcorn“ und FF der ersten Silbe in „Fisch“. Unter Referenzbilder für Mundbilder findest du Bilder zu jedem Mundbild.
Diese 15 Mundbilder wurden so ausgewählt, dass sie eine möglichst große Bandbreite an Lippenbewegungen ermöglichen und unabhängig von der Sprache sind. Weitere Informationen findest du unter Viseme MPEG-4 Standard.
Animationsbeispiel für Lipsync
Das folgende animierte Bild zeigt, wie du mithilfe von Lipsync „Willkommen bei der Oculus Lipsync-Demo“ sagen könntest.
Lacherkennung
Ab Lipsync Version 1.30.0 bietet Lipsync Unterstützung für die Erkennung von Lachen, was dazu beitragen kann, deinen Avataren mehr Charakter und Emotionen zu verleihen.
Die folgende Animation zeigt ein Beispiel für die Lacherkennung.
Die folgenden Abschnitte beschreiben die Anforderungen, den Download und die Einrichtung für die Entwicklung mit dem Lipsync-Plugin für Unity.
Anforderungen
DIe Lipsync-Unity-Integration erfordert Unity 5.x Professional oder Personal oder neuer zur Entwicklung für Android oder Windows-Plattformen mit Windows 7, 8 oder 10. OS X 10.9.5 und neuer werden derzeit ebenfalls unterstützt. Details zu den Versionen, die wir empfehlen, findest du unter Unity-Kompatibilität und -Anforderungen.
Download und Import
Führe die folgenden Schritte aus, um die Lipsync-Unity-Integration herunterzuladen und in ein Unity-Projekt zu importieren.
Öffne dein Projekt im Unity-Editor oder erstelle ein neues Projekt.
Gehe im Unity-Editor zu Assets > Import Package > Custom Package.
Wähle das Paket OVRLipSync.unity im Unterordner LipSync\UnityPlugin des Archivs aus, das du im vorherigen Schritt extrahiert hast, und importiere es. Lass im Dialog Importing Package alle Assets ausgewählt und klicke auf Import.
Hinweis: Es wird empfohlen, alle zuvor importierten Versionen der Lipsync-Unity-Integration zu entfernen, bevor du eine neue Version importierst.
Wenn du sowohl das OVRVoiceMod- als auch das OVRLipsync-Plugin nutzen möchtest, solltest du das einheitliche Unity-Paket installieren.
