UE5 : MetaHuman を ライブでフルパフォーマンスキャプチャーしてみる Part2

<p>Rokoko Smartsuit ProII &amp&semi; Rokoko Smartgloves のモーキャプスーツのアプリ Rokoko Studio の ライブストリーム機能で、どこまで UE5 の MetaHuman キャラが動かせるのかを試してみた。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;BW&lowbar;VTube&lowbar;2023-09-12&period;jpg"><img class&equals;"alignnone size-full wp-image-9821" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;BW&lowbar;VTube&lowbar;2023-09-12&period;jpg" alt&equals;"" width&equals;"1920" height&equals;"1080" &sol;><&sol;a><&sol;p>&NewLine;<p>ちゃんとキャプチャーできるのはわかっているのだが、負荷をかけた状態で実際どのくらいフレームレートなとで現実的に表現できるのかを見てみたかった。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>今回は実際には Rokoko Smartsuit ProII による直接のキャプチャーは行わない。理由は以前に収録済みのデータによるライブストリームを見た際に、実際のキャプチャースーツでのライブストリームと大差がなかったからだ。この暑いさなかに冷房の効きが怪しいPC熱の激しい部屋では拷問でしかないからだ・・・<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>今回は Rokoko Studio でダウンロードできる、デモシーンを使用する。男性の方のモーションらしく、女の子キャラにはちょっと測わない感じ😢。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>キャラクターには髪の毛に Groom を使用し Hair シムを設定、イヤリングには Kawaii Physics 、衣装は uDraper により Cloth シムを設定した。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>リアルタイムには重過ぎな設定。でも、ボーンウェイトでの制御じゃ今の時代になんかおかしな気がしてちょっと悲しい。今後の制作のことも踏まえ、ライブでどこまでやったらNGなのかを検証しておきたい。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<h3><strong>「ライブで動いてこそ、デジタルヒューマンに生命感が芽生える」<&sol;strong><&sol;h3>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;スクリーンショット-2023-09-13-234306&period;jpg"><img class&equals;"alignnone size-full wp-image-9824" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;スクリーンショット-2023-09-13-234306&period;jpg" alt&equals;"" width&equals;"1511" height&equals;"1127" &sol;><&sol;a><&sol;p>&NewLine;<p>さて、この状態でどこまで MetaHuman をライブで動かすことができるのだろう。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p><span class&equals;"embed-youtube" style&equals;"text-align&colon;center&semi; display&colon; block&semi;"><amp-youtube data-videoid&equals;"TwUDScu79v0" data-param-rel&equals;"1" data-param-showsearch&equals;"0" data-param-showinfo&equals;"1" data-param-iv&lowbar;load&lowbar;policy&equals;"1" data-param-fs&equals;"1" data-param-hl&equals;"ja" data-param-autohide&equals;"2" data-param-wmode&equals;"transparent" width&equals;"720" height&equals;"405" layout&equals;"responsive"><a href&equals;"https&colon;&sol;&sol;www&period;youtube&period;com&sol;watch&quest;v&equals;TwUDScu79v0" placeholder><amp-img src&equals;"https&colon;&sol;&sol;i&period;ytimg&period;com&sol;vi&sol;TwUDScu79v0&sol;hqdefault&period;jpg" alt&equals;"YouTube ポスター" layout&equals;"fill" object-fit&equals;"cover"><noscript><img src&equals;"https&colon;&sol;&sol;i&period;ytimg&period;com&sol;vi&sol;TwUDScu79v0&sol;hqdefault&period;jpg" loading&equals;"lazy" decoding&equals;"async" alt&equals;"YouTube ポスター"><&sol;noscript><&sol;amp-img><&sol;a><&sol;amp-youtube><&sol;span><&sol;p>&NewLine;<p>やはりフレームレートは厳しいだぶ厳しい感じがする。ただ、ネットの ライブ配信 などでは、もともと通信的に不安定な部分もあるからギリ許容範囲ってことで使えそう &lpar; かな・・・ &rpar; 。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>まだ Rokoko Studio はバージョン 5&period;1 までのバージョンにしか対応しておらず、Groomなどのパフォーマンスの工場が期待されている 5&period;3 等での使用が叶わない。<&sol;p>&NewLine;<p>とはいえ、今回使用したようなモデルの仕様では処理的に無理があることは明白、もっとデータを簡素化しなければライブパフォーマンスは難しいかとおもう。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>・・・まずは Groom と Cloth 関係の処理を軽減するための処理かな。<&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;スクリーンショット-2023-09-14-000002&period;jpg"><img class&equals;"alignnone size-full wp-image-9825" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;スクリーンショット-2023-09-14-000002&period;jpg" alt&equals;"" width&equals;"1446" height&equals;"1040" &sol;><&sol;a><&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<h3>でも、「 動くとおもしれぇ～っ&excl;&excl; 」<&sol;h3>&NewLine;&NewLine;<&excl;-- WP QUADS Content Ad Plugin v&period; 2&period;0&period;92 -->&NewLine;<div class&equals;"quads-location quads-ad1" id&equals;"quads-ad1" style&equals;"float&colon;none&semi;margin&colon;0px 0 0px 0&semi;text-align&colon;center&semi;">&NewLine;&NewLine;<&sol;div>&NewLine;&NewLine;