ダイキンCG Channel ウェビナー「フェイシャル：息づくキャラクターへ」のために用意したチャプター2の ARKit の作例動画 「ARKitについて」( ※効果音付きVer ) の動画です。

※ウェビナーの作例では効果音が間に合いませんでした…。

順次残りの作例 MetaHuman Animator もアップしていく予定ですが、チュートリアル本編のアップの予定はしていません。チュートリアル本編も含めた全編はダイキンCG Channel ウェビナーでご覧ください。

■ダイキン CG Channel ホームページ

「フェイシャル：息づくキャラクターへ」

一般公開期間：2024年2月28日（水）11:00～3月5日（火）23:00【無料：申し込み制】
（申込受付終了：3月5日（火）22:00）

https://www.comtec.daikin.co.jp/DC/cgchannel/video/240215_facial-character_sem/

ウェビナーではタイトルにもあるように、iPhone の Live Link Face による ARKit と MetaHuman Animator によるフェイシャルキャプチャーを題材としている。 制作にはUnrealEngine 5.32 と MetaHuman を使用した。

DCCツールとしてはZBrushとMaya、Photoshopをメインとしつつも様々なアプリを使用している。

また、こちら動画は全てフルパフォーマンスキャプチャー体制でモーションキャプチャーをおこなった。

モーキャプにはRokokoのキャプチャースーツとグローブに加え、iPhoneに対応したヘッドリグも使用している。

デスクトップで使用する際のスマホスタンド。iPhoneを乗せた上でスタンドの台の部分にテープで固定、顔のほぼ正面50cmにiPhoneが垂直になるよう設置する ( テーピングするのはスタンドに乗せただけだと垂直にした際に前面側に倒れて落ちてしまうため )。

今年１月に届いたばかりのHeadrig、iPhoneを頭部前面に固定することができる。ただ今回使用して分かったことは１時間～1時間30分が装着の限界ということ。理由はiPhoneが重いためズレ防止できつく締めて装着する必要があるのだが、後頭部にカウンターウェイトこそ付いてはいるものの、アームによって頭部前面部のさらに先にiPhoneという荷重物があるために強い遠心力が働き、現状のカウンターウェイトでは相殺できず、きつく締めた頭部を強く刺激し頭部が痛くなってしまうため。 １月に届いたばかりのため、チャプター２の作例で一部のカットのみ、という使用にとどまってしまった。

Headrig を使用した数少ないショットの内の一つ。iPhone を頭部に固定しているため 360°ターンの最中も問題なくキャプチャーができる。正面に iPhone を設置している状態では不可能なキャプチャーなので、Headrig が届いたら是非やってみたいと思っていたので実演し収録を試みた。

モーキャプにおける ” 手 ” の問題点と課題。親指のキャリブレーションが何度やってもうまくいかず、変な形になってしまう。また、指先を広げたさい、指の付け根部分の間隔が広がらないために、指が付け根から奇妙に指の間隔が開いてしまっている。

キャラクター音声は自声 + Roland VT-4 に加え、ナレーションには AI音声合成による入力文字読み上げアプリを使用。入力文字読み上げは発声がおかしくなることが多いため、可能な限りチューニングし仕上げる努力をおこなった。

曲関係は入院中 ( 救急搬送による２回の入院で計14日間 ) の暇な時間を利用して suno ai を使用し、作詞した歌詞にアレンジを定義した上で曲のスタイルチョイスし曲の前半部を190パターンほど生成。そして生成した曲の中より使えそうな６曲を選出し、それらに56パターンの追加生成をおこない Full曲として仕上げたものを使用している。「ARKitについて」の BGM では 1990 年代の J-POP を強く意識し作成をしてみた。

また、調べ物やアイディア出しの相談役としてChatGPTをアシスタントとして起用。イメージのアイディア出しには Stable Diffusion も入院中は重宝した。

最後に

残念なのはろくに作り込めなかった上に、ウェビナーの開始が２週間延期になってしまったこと。原因は、ほとんどの作業が既に昨年末に終えていたのに、昨年末の年越し入院に加え、２月初旬の２か月連続入院・・・その影響で編集や調整がろくにできなかった。

「悔しいね」

■機材環境

• ・画像(テクスチャーも含む) / 映像

・サウンド

ナレーション

　VoicePeak ( AI音声合成入力文字読み上げアプリ )

音声調整

　Adobe Audition

音楽制作

　SUNO ( suno AI )