ページ

▼

2019年5月12日日曜日

FaceRig

おじさんが美少女になっても？


FaceRigにアバターを組み込めたら終わりだと思った？
残念！次は表情トラッキングの調整が待ってるよ。



Youtube参考動画

FaceRigの設定説明動画

FaceRigの設定で頑張ってもうまくいかないときはLive2Dのパラメータを再調整や変更した方が良いかもしれません。


WEBカメラ設置位置、設定

大きく動くように設定したアバターを使うと、微妙な位置ずれがしっかり影響してしまうのでWEBカメラの設置位置、角度には気を付けたほうが良いです。
WEBカメラを液晶モニタの上に設置していると、演者が下を向いた時にトラッキングが外れがち。
C270はデバイスプロパティ設定で自動的に顔をクローズアップしたり、映像の露出を調整したりできるので、距離と明るさはある程度融通が利きます。状況、用途に応じて活用。




C270プロパティ設定のパス（プロパティから呼び出せなくて直接起動したい場合）
"C:\Windows\SysWOW64\LogiDPPApp.exe"


FaceRig設定のポイント

絵柄によりますが、表情は数パターンで固定にすると良いと思います。
アニメ絵などは記号化されているので、表情も記号の切り替えで表現するのが自然に感じられます。



 まぶた
まぶたが片方づつ別個でフニフニしていると見栄えが悪いです。
設定で両方同じに動くようにすると不自然さは緩和されますが、ウィンクしてもトラッキングできなくなります。パラメータの切り替えで用意すると良いかもしれません（スペシャルアニメーションや舌出しホットキーの仕組みをウィンクに流用など）。
まゆ毛
顔の角度によってはコントロールできないことがあります。
トラッキングを無効にして、パラメータの切り替えで3種類くらいの表情を用意したほうが良いかもしれません。意味もなくぐにぐに動いていると変です。

眉毛のパラメータ3点で感情表現。ただし、切り替え操作が必要な上、ホットキーを3個消費してしまう。


瞳
チラチラ横を見たりするとそのまま視線がトラッキングされてしまいます。瞳の動きを演じる必要が無い場合は、瞳のトラッキングを無効にするか、常にカメラ目線になるように設定すると見栄えが良いです。編集前提の動画撮影などでは設定を使い分けると良いと思います。カンペをチラ見しても大丈夫。


まばたき
まばたきのトラッキングが無効だと、まぶたが不自然な動きになります。
通常は、

  • まばたきのトラッキング：有効
  • 自動まばたき：無効

で構わないと思います。

自動まばたきを有効にすると、演者のまばたきに瞳のトラッキングが反応してアバターの瞳がブレます。自動まばたきは、瞳のトラッキングを無効にするか、カメラをみて、設定を併用前提かも。


瞳行動
これ、よくわかりません。ごめんなさい。


音声・リップシンク

マイク入力の声に反応して口パクさせることが出来ます。ONとOFFで会話時の口の形に差があり、印象が違うので、用途やお好みで。ONだと顔トラッキングが外れても口パクしてくれるのは利点。


あれ？トラッキングしない方が可愛い・・・？

トラッキング無効設定にした項目が増えてくると、コレ、FaceRig使う必要無いんじゃ……って思っちゃうかも。大丈夫、FaceRigを信じろ～。


実際、どうやってスペシャルパラメータを変えればいいの？

ゲームパッドでスペシャルアクションをコントロール

JoyToKeyの併用で、ゲームパッドのボタンでスペシャルパラメータを切り替えてアバターの表情などを切り替えることが出来ます。

FaceRigのホットキー設定で、通常使わないような複雑な組み合わせのショートカットを設定します。

例　：　Shift + Ctrl + Alt + 任意のキー


フックトキー（Hook to Key）を有効にします。
これで、FaceRigを最小化していてもキー入力を検知してくれるので他のアプリを使っていてもFaceRigをキー操作出来るようになります（マウス操作系は無理？）。


JoyToKeyでキーやボタンにFaceRigで設定したホットキーを割り当てます。
L2キーを押しながら任意のボタン、の様なゲームでは使わない操作設定にすると良いでしょう。おそらく、ゲームで攻撃ボタンを押したときに連動してアバターに演技させることも出来ます。
ゲームパッドを認識しないときは、[再検出]。Joystick番号が変わってしまった時は設定ファイルを複製して、右クリックメニューでJoystick設定をコピペして対応。



背景壁紙の設定

覚えておきたい背景設定

背景グリーンスクリーン
クロマキー合成する。緑色ベースで色を暗くする調整は出来る。

白のフォトスタジオ
白色ベースで任意の色に変更できるので、グリーンスクリーンに不向きな配色のアバターならこっち。

背景カスタム写真
JPEG画像を背景に利用できる。

背景カスタムキューブ
3Dっぽい背景は環境マップ（environment mapping）という仕組みになっていてCtrl+LMBドラッグでぐるぐる動かせます。画像ファイルはHDRとかIBLとか呼ばれていて専用のカメラで撮影したり、CGソフトで作ったり、インターネットでゲットできます。
任意の画像を利用するにはひと手間必要らしいです。↓
https://steamcommunity.com/sharedfiles/filedetails/?id=589533498


動画合成やOBSを使うならグリーンバック背景でクロマキー合成するのがベターなのですが、アンチエイリアシング処理のせいでアバターのシルエットが若干削れてしまいます。
アバターは、あらかじめクロマキー合成に向いた配色や絵柄にしておくのが良いです。
グリーンバックでダメな場合は、白のフォトスタジオモードで、うまく合成できる色を探してください。


毛先など、ぼやけている部分が合成で削れちゃいます。

グリーンバックと相性が悪ければ、他の色で試してみる。


手のトラッキング

LeapMotionかIntel RealSenseを併用すると手の動きをトラッキングしてアバターの腕を動かせるようになりますが、Live2Dのアバターは対応が不完全らしく、実質3Dアバター用みたいです。残念。
Kinectにも対応予定を発表していましたが、対応モジュールがリリースされず実現していません。無念。
LeapMotionトラッキングモジュールを有効にすると、マウスでの腕のパラメータ操作は出来なくなるようです。ご注意。
FaceRig以外のトラッキングアプリはLive2Dアバターの手のトラッキングに対応しているようです。→3teneで検索。

LeapMotion上で手を、上下、左右、の動きがARM、HANDのパラメータに対応しているようです。前後の動きは不明（非対応？）。

PARAM_ARM_L　左手の上下高さ
PARAM_ARM_R　右手の上下高さ
PARAM_HAND_L　左手の左右横位置
PARAM_HAND_R　右手の左右横位置

手のパラメータ設定参考
Facerigで腕を動かすパラメータ


表情筋を鍛えよう。

0 件のコメント:

コメントを投稿