アーティストさんのPV曲に合わせてMETAHUMANに口パクさせてみた動画を作成してみた

UE5でMETAHUMANを使用し「いきものがかり」さんの「YELL/エール」を歌っているかのような体で口パク動画を作成してみました。
作成したのは制作の都合上1番のみで、2番以降は作れていません。。。

 

合わせた音源はYoutubeの「YELL」のPV動画 ( https://www.youtube.com/watch?v=lz8frtP6_kk ) になります。
当口パク動画のカウントダウンに合わせてPV動画の再生ボタンをタイミングよく押し同期再生してもらえれば、ちゃんとリップシンクしているように見えるものと思います。

 

「タイミングを合わせるのはけっこう難しいですよ!」

大抵微妙にずれてしまいます。。。

 

■同期再生の方法 ( 手動 )
1. PC等でブラウザーを2つ開いてこの口パク動画とPV動画を開きます。
2. 次に双方とも一時停止ボタンを押し、再生ポイントを ” 0:00 ” へ移動させます。
3. 口パク動画を先に再生。
4. 口パク動画がカウントダウンし暗転した瞬間にPVの動画の再生ボタンを押します。

 

※通信の状態や再生の環境によっては、上手く2の動画を再生できない場合もあるかと思います。
その際はどうかご了承ください。

 

また、タイミングは口パク動画が暗転した瞬間より、わずかに早めのタイミングが良いかと思います。

 

曲に合わせるというリップリンクは、初めてということもあり作るのは結構面倒でした。NGも含めて143トラックのものリアルタイムモーションキャプチャーをおこない、それらから使えそうなものをUE5のシーケンサー選抜しリアルタイム収録をおこないました。

モデルの顔もフェイシャルのリアルタイムキャプチャーをしながら、少しずつ違和感が無くなるよう修正作業をおこないバージョンアップを重ねました。

 

世間のリアクションが良ければまた何かの曲に挑戦をしてみたいと思います。