Unreal Engine 5 | MetaHuman | Live Link | AI ボイチェン (Zero-shot方式) | デジタルツイン実験制作

過去のデータを活用しつつ、デジタルツインが動く動画を一式作れるものなのか実験してみる。

今までも作成してきた経験はあるが、「そうだ、作ってみよう」のノリから安易に開始し、簡単に作れるものなのかを試してみる。

制作の制限時間は4時間くらい

ただ、足りない要素も出てくるので、そこはAIの力を借りつつ作成をおこなっていく感じにしたい。特に今回は音声が足りない要素となってくるため、こちらをAIのボイチェン系を使用し自身の音声から美穂さんの声へと変えてみることにした。元となったボイスの録音が酷い状態だったため、手法が簡易的だったとはいえ正直音質は最悪。ただ、ちゃんとしたベースのデータが揃えられればもっと完成度は上げていけそうな感触とした。

制作環境(機材は全て個人で所有しているもの)
■Motion Capture
 Body = Rokoko Smartsuit Pro II + Smart gloves
 Face = Live Link Face + Headrig

■Voice
 Seed-VC

■PC
 Intel Corei9 14900K
 128GB RAM
 GeForce RTX5090