Oculusリップシンクは、WindowsまたはmacOSでアバターの唇の動きを話し声や笑い声に同期させるために使えるUnrealエンジンプラグインを提供します。リップシンクは、マイク入力や音声ファイルからの音声入力ストリームを分析し、特定の音声に対応する唇の動きや顔の表情を示す一連の値(口形素と呼ばれる)を予測します。口形素という用語は、読唇を説明するときに使用され、明瞭度の基本となる視覚的な単位です。コンピューターアニメーションでは、口形素を使って、アバターが話しているようにアニメーションを付けることができます。

リップシンクは、特定の音声入力ストリームに基づき、口形素のレパートリーを使用してアバターを変化させます。各口形素は、アバターの特定のジオメトリモーフターゲットを対象とし、そのターゲットがモデルで表現される量に影響します。リップシンクを使用すると、話している内容または聞こえている内容と同期したリアルな唇の動きを生み出すことができます。これによって、ユーザーが操作するキャラクターであれ、ノンプレイヤーキャラクター(NPC)であれ、アプリケーションにアバターを入れる際に使用できる視覚的なキューを充実させることができます。

リップシンクシステムにより、15の個別の口形素ターゲット(sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh、ou)にマップされます。これらの口形素は対応する音声が発生されたときの顔の表情を示します。例えば、口形素silは声を出さないニュートラルな表現に対応し、PPは「popcorn」の最初の音節の発音に、FFは「fish」の最初の音節に対応します。各口形素を表す図については、口形素のリファレンス画像をご覧ください。

これら15の口形素は、唇の動きを最大限に表せるよう選択されたもので、言語に依存しません。詳しくは、「口形素のMPEG-4規格」をご覧ください。

次のアニメーション画像は、リップシンクを使用して「Welcome to the Oculus Lipsync demo」と発声する口の動きを表現した例です。

リップシンクバージョン1.30.0以降では笑い声の検出に対応しているため、より細かな個性や感情をアバターで表現することができます。

次のアニメーションは、笑い声の検出の例です。

OculusリップシンクUnrealプラグインには、Unrealエンジン4.20以降と互換性があり、Android、Windows、macOSのプラットフォームを対象としています。推奨バージョンについては、Unrealエンジンガイドをご覧ください。

UnrealプロジェクトでLipsyncを使い始めるための手順は、次のとおりです。