ちょっとお仕事関係で ” Audio2Face ” を検証中・・・

Audio2Faceとは

Audio2FaceはNVIDIA Omniverseの機能の一つで音声データからリップシンクをおこなうというもの。

AI学習によりパターン学習をおこなっだデータをドライブメッシュとして使用することにより、今までのようなシェイプパターンの用意や登録をしなくてもリップシンクを手軽におこなえるようにしたもの。

今の仕事が休みなく異常に忙しいため ( いつものことですが ) 少ないプライベートの時間を使ってでも使用感をみておかないといけないため、個人の有り物のデータを使用し Audio2Face でサンプルを作成してみています。

※今はタスクの合間で休憩中の洗濯時間です・・・

何度か使用してみた後なので動かすまでの工程は、データさえあれば10分程度で終わります。

ただ、TIFF等を使用していた場合は対応していないためPNG等に変換する必要がありました。