UE5 : MetaHuman を ライブでフルパフォーマンスキャプチャーしてみる

スポンサードリンク

<p>Rokoko SmartSuit Pro2 と Rokoko SmartGrove 、iPhone によるライブフルパフォーマンスキャプチャーをやってみた。<&sol;p>&NewLine;<div class&equals;"notification is-primary"><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;64d0abfcf0fc228ea4ff9a21&lowbar;SmartsuitPro&lowbar;805x1280-min-p-500&period;webp"><img class&equals;"alignnone wp-image-9806" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;64d0abfcf0fc228ea4ff9a21&lowbar;SmartsuitPro&lowbar;805x1280-min-p-500&period;webp" alt&equals;"" width&equals;"338" height&equals;"538" &sol;><&sol;a>    <a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;64d0a9d345286f4d634c2089&lowbar;Smartgloves&lowbar;805x1280-min-p-500&period;webp"><img class&equals;"alignnone wp-image-9807" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;64d0a9d345286f4d634c2089&lowbar;Smartgloves&lowbar;805x1280-min-p-500&period;webp" alt&equals;"" width&equals;"337" height&equals;"536" &sol;><&sol;a><&sol;div>&NewLine;<p>SmartSuit Pro2 と SmartGrove の合わせた価格は合計47万円 &plus; 関税が4万前後かかり51万円前後ほどかかりました。購入はネットで&dollar;による現地の設定価格換算となっているみたいなので、円安の影響をモロに受けてしまい現在の 1&dollar;&equals;145&period;2 円は非常に厳しいと言わざるを得ない😢。<&sol;p>&NewLine;<p><span class&equals;"embed-youtube" style&equals;"text-align&colon;center&semi; display&colon; block&semi;"><amp-youtube data-videoid&equals;"CZxgdagTuA0" data-param-rel&equals;"1" data-param-showsearch&equals;"0" data-param-showinfo&equals;"1" data-param-iv&lowbar;load&lowbar;policy&equals;"1" data-param-fs&equals;"1" data-param-hl&equals;"ja" data-param-autohide&equals;"2" data-param-wmode&equals;"transparent" width&equals;"720" height&equals;"405" layout&equals;"responsive"><a href&equals;"https&colon;&sol;&sol;www&period;youtube&period;com&sol;watch&quest;v&equals;CZxgdagTuA0" placeholder><amp-img src&equals;"https&colon;&sol;&sol;i&period;ytimg&period;com&sol;vi&sol;CZxgdagTuA0&sol;hqdefault&period;jpg" alt&equals;"YouTube ポスター" layout&equals;"fill" object-fit&equals;"cover"><noscript><img src&equals;"https&colon;&sol;&sol;i&period;ytimg&period;com&sol;vi&sol;CZxgdagTuA0&sol;hqdefault&period;jpg" loading&equals;"lazy" decoding&equals;"async" alt&equals;"YouTube ポスター"><&sol;noscript><&sol;amp-img><&sol;a><&sol;amp-youtube><&sol;span><&sol;p>&NewLine;<p>キャプチャースーツから UE5 の MetaHuman を Rokoko Studio &lpar;アプリ&rpar;を介しながらリアルタイムにライブキャプチャー。フェイシャルはiPhoneで処理しつつ全てのモーションは Take Recorder で記録した。<&sol;p>&NewLine;<p>はっきりいってラグるやり方ですが、UEでフルコンディションのキャラクターを確認して動きをつけられるので面白い。<&sol;p>&NewLine;<h3>「以前から遅延覚悟で個人的にやってみたかった」<&sol;h3>&NewLine;<p>ただ、Rkoko のキャプチャーに使用する Rokoko Studio は通常のライブ以外でのモーションのキャプチャー記録とFBX等での出力は無料なのだが、 LIVE Stream 機能を含む一部機能の利用は有料 &lpar; ※年8万円 &rpar; となっているため、別途プランの購入が必要となる。<&sol;p>&NewLine;<p>※同じような MVN の MVN Animate Plus の年間 60万以上 に比べたら安い。<&sol;p>&NewLine;<div id&equals;"attachment&lowbar;9808" style&equals;"width&colon; 1930px" class&equals;"wp-caption alignnone"><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;BW&lowbar;VTube&lowbar;2023-08-30&period;jpg"><img aria-describedby&equals;"caption-attachment-9808" class&equals;"wp-image-9808 size-full" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;BW&lowbar;VTube&lowbar;2023-08-30&period;jpg" alt&equals;"" width&equals;"1920" height&equals;"1080" &sol;><&sol;a><p id&equals;"caption-attachment-9808" class&equals;"wp-caption-text">実際にライブキャプチャー時に使用したのは男性モデル。長髪の動きを見たかったため動画では女性モデルを使用している。<&sol;p><&sol;div>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>また、今回はブルースウィリスなキャラ &lpar; こちらも MetaHuman &rpar; で &&num;8221&semi; 「VTuber風に作成してみました」 &&num;8221&semi; 第二弾といった形で動画作成。モーションはフェイシャルを iPhone でキャプチャーし、体の揺れはUE5上でレベルシーケンスのキャラに直接キーを手打ちし作成した。<&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;Scene&lowbar;1&lowbar;52&period;jpg"><img class&equals;"alignnone size-full wp-image-9812" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;Scene&lowbar;1&lowbar;52&period;jpg" alt&equals;"" width&equals;"1920" height&equals;"1080" &sol;><&sol;a><&sol;p>&NewLine;<p>声はRVCでちょっと拘って作成をしてみた。昭和世代の人ならどなたの声かわかるかも&quest;。ただ、喋りがヘタなのでほとんど似せられなかったです。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>中で紹介している Rokoko Coil Pro ですが、現在では認証が下り日本語サイトの Rokoko Japan のストアサイトで普通の商品と同じ欄に予約注文としてラインアップされています。<&sol;p>&NewLine;<p>※ただし、ストア以外の Rokoko Japan サイトでは一切表示されないので要注意。<&sol;p>&NewLine;<p>下記にリンクを張っておきます<&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;jp&period;store&period;rokoko&period;com&sol;products&sol;coil-pro">Coil Pro<&sol;a><&sol;p>&NewLine;<p><a href&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;coil-pro&period;png"><img class&equals;"alignnone wp-image-9805" src&equals;"https&colon;&sol;&sol;www&period;hidyboy&period;com&sol;wpd&sol;wp-content&sol;uploads&sol;2023&sol;09&sol;coil-pro&period;png" alt&equals;"" width&equals;"253" height&equals;"305" &sol;><&sol;a><&sol;p>&NewLine;<p>私は以前からRokokoのヘルプに日本が発送先にない理由を問い合わせていたので Rokoko本家サイトの方から直接に請求書をメールを送って頂き手続きを完了させてもらいました。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>ただ Coil Pro のリリースは年末11月以降 &lpar; &quest; &rpar; となるようです。<&sol;p>&NewLine;<p>&nbsp&semi;<&sol;p>&NewLine;<p>なんか9月より順次発送と書いてある部分もあるんだけど、11月の予約期間終了時から出荷を計画されているようなので、年末か年越しとなる可能性はありますね。<&sol;p>&NewLine;&NewLine;<&excl;-- WP QUADS Content Ad Plugin v&period; 2&period;0&period;92 -->&NewLine;<div class&equals;"quads-location quads-ad1" id&equals;"quads-ad1" style&equals;"float&colon;none&semi;margin&colon;0px 0 0px 0&semi;text-align&colon;center&semi;">&NewLine;&NewLine;<&sol;div>&NewLine;&NewLine;

モバイルバージョンを終了