LeapMotionとLuppetで3DキャラのPVを作ってみた!

Vtuberがムーブメントな昨今、LuppetとLeapmotionで簡易的に3Dキャラクターを操作することが出来ると聞き、遅ればせながら手に入れてみました。

今回はこの簡易的なシステムを使って、バーチャルキャラクターの動画やPV風の映像を作成してみたので、その様子や性能についてレビューしていきます。
実際に映像に取り入れる際にどこまで出来るのか、実践的な動きに耐えうるのかを検証してみました。

Nemoka
Nemoka
音楽制作や商品レビュー等のお役立ち動画配信をしています。 動画の視聴とチャンネル登録はコチラ から!

 はじめに

3Dキャラを使って、こんな感じの商品紹介の動画と音楽PVを作ってみました。

下のPVはワンコーラスのみのショートVerですが、演奏からボーカル作成、キャラクターの操作や編集等全て自分で手掛けてみました。

動画の作成にあたって必要なものや注意点などを解説していきます。

 用意するもの

・パソコン
・ウェブカメラ
・LeapMotion
・首下げホルダー

・Luppet(3DキャラクターのVRM)
・背景素材 ・声素材(地声or読み上げソフト)

主に必要なものは上記の通り。
当然別途音源は必要になりますが、ここでは割愛します。

PCはハイスペックなものに越したことはないですが、映像編集がサクサク出来る程度のスペックは必要です。

そして、バーチャルキャラクターに動きを伝えるアイテムとしてウェブカメラとLeapMotionを使用します。 筆者が使用しているカメラはコチラ↓

LeapMotionは人間の手を感知させ、キャラクターの動きに反映させるために必要なセンサー。
使用方法によっては机の上に置くだけの場合もありますが、キャラクターの手を動かす場合、LeapMotionは首からぶら下げる必要があります。
筆者はAmazonでこちらを購入しました。

…が!
このネックホルダーだと、使用に色々制限が出てくるので注意が必要です。詳細は後述。

そして、キャラクターを動かすためのソフトウェア「Luppet」ですが、こちらは予め用意したVRM規格のキャラクターデータを読み込ませる必要があります。

VRMデータは、ニコニ立体やVroidで自分で作成したり等が可能です。
今回取り上げた作品では、ニコニ立体で、金子卵黄さんの>ふらすこ式風きりたんを使わせていただきました。
https://3d.nicovideo.jp/works/td39023

キャラクターの声は解説動画ではVOICEROIDを、歌声はNEUTRINOを使用しました。
地声でもトライ出来る人はこちらは不要です。

キャラクターの可動範囲について

これらの機材を使って、実際にキャラクターを動かしてみます。
下記にLuppet公式がサイト内に投稿している動画を引用しますが、実際の収録はまさに下の動画のような感じ。

音楽PVの場合はもっと身振り手振りも大きくして収録しましたが、もし客観的にみられていたら、ちょっと滑稽だったかもしれませんね 笑

LeapMotionとLuppetを兼用してみて、追従性が良い部分と悪かった部分をそれぞれ挙げてみます。

 追従性が良い点

・体の傾きに対する再現
・瞬きの感知
・口の開閉
・両手や腕のシンプルな動作

Luppetは上半身に特化したシステムですが、全体通してシンプルな動きはきちんと反映してくれます。

シャキシャキした動きよりも、ゆらゆらした動きの方が上手く反映される印象でした。

特に優れているなぁと感じられたのは、>上半身全体の傾きに対する反応です。 左右だけでなく前後、(特に後ろ)に対する反応は想像以上でした。
顔の認証はウェブカメラで行っているという面もあり、瞬きや口の開閉も、ある程度は追従してくれるようでした。

 追従性が悪い点

・口の詳細な動き(発音や口の開きに対する、3Dモデルの実際の反応)
・目を閉じたままにした時の動き
・首の立て振り(うなずくような仕草など)
・難解な指や腕の動き

Luppetの設定画面でウェブカメラ経由での口の動きと、音声ベースでの認識とその検知の度合いも調整することが出来ますが、設定の状態にかかわらず、発音や口の動きに対するキャラクターへの反映は、ちょっと緩めかなぁという印象はありました。

「あ」の口の開きに対して、「お」の口で再現されたりなど、音楽PVを作る時には結構気になる面が顕著に出ちゃうかなーという感じでした。

瞬きは結構的確に再現してくれますが、目を閉じたままの状態を再現するのは難しかったです。 半目状態で数秒目を閉じてくれるものの、キャラの目はすぐに開いてしまいました。 また、人間の詳細な表情などの読み取りや反映はあまり得意ではないようです。

 注意点

・目の前のものを誤感知することがある
・腕の感知範囲には限度がある
・首掛けホルダーに専用のものがない

目の前に置いた背の高いコップなどを誤感知して、動いてないはずの腕が動き出したりした事が何度かありました。
出来る限り自分の腕の前には、何も置かない環境が良いかも知れません。

また、腕の検知範囲にはある程度の限度があり、あまり高く上げすぎたりなどすると検知切れで腕が降りるモーションになりますので、注意が必要です。

そしてLeapMotionの首掛けホルダーは、どうやら専用のものが無いようです。
先ほど紹介したホルダーでも使えなくはないのですが、間に何かを噛ませたり等、本体をブレなくするのに少し工夫が必要です。

  上記のように何かを挟まずとも上手く工夫すれば使用可能ですが、

↑の動画のように安定感はあんまり無いので、取り急ぎの使用や急いでいる方向けかなと。 個人の方が適合するように制作したホルダーがあるようなので、こちらの方が安心かなという感じはします。

■LeapMotion用ネックマウンタ https://booth.pm/ja/items/1465959

 撮影

撮影時は、背景と合成できるようLuppet内でグリーンバック撮影します。

バックの色合いは、Luppet内の設定画面から詳細な調整が可能です。

実際に収録した音声や音楽を流しながら、場面に合った動きをしながら映像を収録していきます。
(筆者はbandicamを使用し画面のキャプチャを行いました)
反対に、キャラクターが解説している動画はそれらしくなるような動きを、PVの場合は出来る限り情感が伝わるような動きを心がけてみました。

特にPVはテイク数を重ねたり、アングルを変えながら撮影したり等、豊富なバリエーションがあった方が編集の際の選択肢も増えると思います。

曲が始まる前は2小節くらいクリックを書き出しておくと、スムーズにイントロからモーションの収録が出来ます。
クリックを書き出しておかないと、再生直後に曲が始まってしまうので、慌ててワチャワチャするモーションまで収録されてしまうので注意が必要です
※今回のPVでは、クリックに合わせた手のモーションで手動で同期しました (bandicamで音声も同時収録すれば、Premiere Proで編集する場合はマルチカメラ編集が楽になります)

 編集

撮影した素材をすべて取り込んだら、編集ソフト内で作業します。

適切な背景素材と合成させていくのですが、最初にやっておきたいのはクロマキーの設定。
筆者はPremiereProを使用したので、Ultlaキーの項目から各トラックに反映させます。

この時のキーカラーの色は、Luppet内で設定したカラーコードをそのままコピペすると便利です。

※カラーコードをプレミアにペーストする時はコピーした♯は外す
カラーコードをコピペしても上手く合成できない場合は、上手く背景になじむように色合いを調整しましょう。

あとは適切なテロップを入れながら場面に応じて編集していきます。 音楽PVの場合は背景を動かしたり、テロップのフォントを変えてみたり等いろいろ工夫していくと、良い仕上がりが目指せるかなと思います。

幸か不幸か、口の動きがあまり鋭敏ではない為、音声に対してキャラクターの映像はカッチリに合わせなくても意外と自然に見えるようでした。
PVの歌詞テロップは、色んなVtuberの歌ってみた動画を参考にしました。

落ち着いていてシリアスな楽曲の場合は特に、テロップの文字の大きさと縁どり(ストローク)は控えめに、意外にも明朝体が積極的に使われているようで、その点を取り入れながら制作しました。

 あとがき

LuppetやLeapMotion自体は数年前から普及していたし別段珍しくもないのですが、Leapmotionには音楽制作にも色々活用できるので、今後お世話になることも多そうです。

最近は特にVtuberの音楽や「歌ってみた」の文化にとても興味があったこともあり、自分の力でどれくらいできるかなーと半ば趣味的なノリで制作してみました。
しかしまぁ一度こだわり出すと追及心がどんどん沸いてしまうのは、クリエイターの性だなぁとつくづく実感しました。

最後まで読んでくれて、ありがとうございました。 この記事が面白かったら他の記事もぜひ読んでみてください!

生演奏や音源差し替えも可能!本格的なサウンドでのミックス依頼フォーム

 

オリジナル曲や歌ってみた動画にも!アコースティックギターアレンジの依頼受付フォーム

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)