投稿日: HowTo 実験/検証 HowTo(3D/Vtuber)

LeapMotionとLuppetで3DキャラのPV作成をする方法

Vtuberがムーブメントな昨今、LuppetとLeapmotionで簡易的に3Dキャラクターを操作することが出来ると聞き、遅ればせながら手に入れてみました。

今回はこの簡易的なシステムを使って、バーチャルキャラクターの動画やPV風の映像を作成してみたので、その様子や性能についてレビューしていきます。
実際に映像に取り入れる際にどこまで出来るのか、実践的な動きに耐えうるのかを検証してみました。

 

音楽やPC回りの商品レビューを中心に、クリエイティブに役に立つ動画配信をしています。
動画の視聴とチャンネル登録はコチラから!



 はじめに

3Dキャラを使って、こんな感じの商品紹介の動画と音楽PVを作ってみました。

下のPVはワンコーラスのみのショートVerですが、演奏からボーカル作成、キャラクターの操作や編集等全て自分で手掛けてみました。

動画の作成にあたって必要なものや注意点などを解説していきます。

 用意するもの

・パソコン
・ウェブカメラ
・LeapMotion
・首下げホルダー

・Luppet(3DキャラクターのVRM)
・背景素材
・声素材(地声or読み上げソフト)

主に必要なものは上記の通り。

当然別途音源は必要になりますが、ここでは割愛します。
PCはハイスペックなものに越したことはないですが、映像編集がサクサク出来る程度のスペックは必要です。

■関連記事:ハイスペックなゲーミングPC「GALLERIA」を購入しました

 

そして、バーチャルキャラクターに動きを伝えるアイテムとしてウェブカメラとLeapMotionを使用します。

筆者が使用しているカメラはコチラ↓

LeapMotionは人間の手を感知させ、キャラクターの動きに反映させるために必要なセンサー。

使用方法によっては机の上に置くだけの場合もありますが、キャラクターの手を動かす場合、LeapMotionは首からぶら下げる必要があります。

筆者はAmazonでこちらを購入しました。

…が!

このネックホルダーだと、使用に色々制限が出てくるので注意が必要です。詳細は後述。

そして、キャラクターを動かすためのソフトウェア「Luppet」ですが、こちらは予め用意したVRM規格のキャラクターデータを読み込ませる必要があります。

VRMデータは、ニコニ立体やVroidで自分で作成したり等が可能です。
今回取り上げた作品では、ニコニ立体で、金子卵黄さんのふらすこ式風きりたんを使わせていただきました。

https://3d.nicovideo.jp/works/td39023

キャラクターの声は解説動画ではVOICEROIDを、歌声はNEUTRINOを使用しました。
地声でもトライ出来る人はこちらは不要です。

キャラクターの可動範囲について

これらの機材を使って、実際にキャラクターを動かしてみます。

下記にLuppet公式がサイト内に投稿している動画を引用しますが、実際の収録はまさにこんな感じ。

音楽PVの場合はもっと身振り手振りも大きくして収録しましたが、もし客観的にみられていたら、ちょっと滑稽だったかもしれませんね 笑

LeapMotionとLuppetを兼用してみて、追従性が良い部分と悪かった部分をそれぞれ挙げてみます。

 追従性が良い点

・体の傾きに対する再現
・瞬きの感知
・口の開閉
・両手や腕のシンプルな動作

Luppetは上半身に特化したシステムですが、全体通してシンプルな動きはきちんと反映してくれます。
シャキシャキした動きよりも、ゆらゆらした動きの方が上手く反映される印象でした。

特に優れているなぁと感じられたのは、上半身全体の傾きに対する反応です。
左右だけでなく前後、(特に後ろ)に対する反応は想像以上でした。

顔の認証はウェブカメラで行っているという面もあり、瞬きや口の開閉も、ある程度は追従してくれるようでした。

 追従性が悪い点

・口の詳細な動き(発音や口の開きに対する、3Dモデルの実際の反応)
・目を閉じたままにした時の動き
・首の立て振り(うなずくような仕草など)
・難解な指や腕の動き

Luppetの設定画面でウェブカメラ経由での口の動きと、音声ベースでの認識とその検知の度合いも調整することが出来ますが、設定の状態にかかわらず、発音や口の動きに対するキャラクターへの反映は、ちょっと緩めかなぁという印象はありました。

「あ」の口の開きに対して、「お」の口で再現されたりなど、音楽PVを作る時には結構気になる面が顕著に出ちゃうかなーという感じでした。

瞬きは結構的確に再現してくれますが、目を閉じたままの状態を再現するのは難しかったです。
半目状態で数秒目を閉じてくれるものの、キャラの目はすぐに開いてしまいました。

また、人間の詳細な表情などの読み取りや反映はあまり得意ではないようです。

 注意点

・目の前のものを誤感知することがある
・腕の感知範囲には限度がある
・首掛けホルダーに専用のものがない

背の高いコップなどを誤感知して、動いてないはずの腕が動き出したりした事が何度かありました。
出来る限り自分の腕の前には、何も置かない環境が良いかも知れません。

また、腕の検知範囲にはある程度の限度があり、あまり高く上げすぎたりなどすると検知切れで腕が降りるモーションになりますので、注意が必要です。

そして、LeapMotionの首掛けホルダーは、どうやら専用のものが無いようです。
先ほど紹介したホルダーでも使えなくはないのですが、間に何かを噛ませたり等、本体をブレなくするのに少し工夫が必要です。

 

上記のように何かを挟まずとも上手く工夫すれば使用可能ですが、

↑の動画のように安定感はあんまり無いので、取り急ぎの使用や急いでいる方向けかなと。

個人の方が適合するように制作したホルダーがあるようなので、こちらの方が安心かなという感じはします。

■LeapMotion用ネックマウンタ
https://booth.pm/ja/items/1465959

 

 撮影

撮影時は、背景と合成できるようLuppet内でグリーンバック撮影します。

バックの色合いは、Luppet内の設定画面から詳細な調整が可能です。

実際に収録した音声や音楽を流しながら、場面に合った動きをしながら映像を収録していきます。
(筆者はbandicamを使用し画面のキャプチャを行いました)

反対に、キャラクターが解説している動画はそれらしくなるような動きを、PVの場合は出来る限り情感が伝わるような動きを心がけてみました。

特にPVはテイク数を重ねたり、アングルを変えながら撮影したり等、豊富なバリエーションがあった方が編集の際の選択肢も増えると思います。

曲が始まる前は2小節くらいクリックを書き出しておくと、スムーズにイントロからモーションの収録が出来ます。
クリックを書き出しておかないと、再生直後に曲が始まってしまうので、慌ててワチャワチャするモーションまで収録されてしまうので注意が必要です

※今回のPVでは、クリックに合わせた手のモーションで手動で同期しました
(bandicamで音声も同時収録すれば、Premiere Proで編集する場合はマルチカメラ編集が楽になります)

 編集

撮影した素材をすべて取り込んだら、編集ソフト内で作業します。
適切な背景素材と合成させていくのですが、最初にやっておきたいのはクロマキーの設定。

筆者はPremiereProを使用したので、Ultlaキーの項目から各トラックに反映させます。
この時のキーカラーの色は、Luppet内で設定したカラーコードをそのままコピペすると便利です。

※カラーコードをプレミアにペーストする時はコピーした♯は外す

カラーコードをコピペしても上手く合成できない場合は、上手く背景になじむように色合いを調整しましょう。

あとは適切なテロップを入れながら場面に応じて編集していきます。
音楽PVの場合は背景を動かしたり、テロップのフォントを変えてみたり等いろいろ工夫していくと、良い仕上がりが目指せるかなと思います。

幸か不幸か、口の動きがあまり鋭敏ではない為、音声に対してキャラクターの映像はカッチリに合わせなくても意外と自然に見えるようでした。

PVの歌詞テロップは、色んなVtuberの歌ってみた動画を参考にしました。
落ち着いていてシリアスな楽曲の場合は特に、テロップの文字の大きさと縁どり(ストローク)は控えめに、意外にも明朝体が積極的に使われているようで、その点を取り入れながら制作しました。

 あとがき

LuppetやLeapMotion自体は数年前から普及していたし、別段珍しくもないのですが、Leapmotionには他にも色々活用できるので、今後お世話になることも多そうです。

最近は特にVtuberの音楽や「歌ってみた」の文化にとても興味があったこともあり、自分の力でどれくらいできるかなーと半ば趣味的なノリで制作してみました。

しかしまぁ一度こだわり出すと追及心がどんどん沸いてしまうのは、クリエイターの性だなぁとつくづく実感しました。

最後まで読んでくれて、ありがとうございました。
この記事が役に立ったと思ったら(面白かったら)、他の記事もぜひ読んでみてください!

Vtuberの方からのギター演奏/作編曲の依頼もお待ちしております!

関連記事

これをマスターすれば世渡り上手!?人間関係を和らげるクッション言葉について

Chang-Nao(@Chang_7010)です! 人間社会で生活する以上、どんな方法であれ相手とのコミュニケーションは必要不可欠ですよね? 対面しての会話や電話、メールなどなど、その方法は状況に応じ …

先行者優位を覆せ!今からでもココナラ人気サービスを作る為の方法を暴露

以前の記事で、ココナラのプラチナランクに到達できたという事をお伝えしました。 自分なりにトライ&エラーを繰り返しながら、比較的短期間でランクアップできています。 相変わらずサービスも好評で、日々依頼や …

ゲームパッドでネットサーフィンしたら快適すぎた!オススメのキーコンフィグも公開!

  『持ち合わせのゲームパッドでインターネットサーフィンをしたら便利かも知れない…!』 ふとそんなことを思い立ち、実際に実験してみたら意外と発見も多かったので本記事で皆さんにお伝えしていきた …

譜面台に左手キーボードを置いてみたら衝撃の結果に…!

Chang-Nao(@Chang_7010)です! 前回紹介した左手のキーボード、驚きのレイアウトを発見しました! 今回の記事もyoutubeでレビューもやっています。 動画の視聴とチャンネル登録はコ …

パーフェクトなライブ演奏を目指そう!効率的に楽曲を覚えるコツ6選

Chang-Nao(@Chang_7010)です!! 現場でガシガシギターを弾いていたサポートギタリストの時代は、弾き方や機材も現場ごとに切り替えながら、それなりに多忙な生活を送っていました。 一日で …

LeapMotionとLuppetで3DキャラのPV作成をする方法
この記事が気に入ったらフォローお願いします!
最新情報をお届けします。

comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

執筆者:

ad




テキスト検索↓↓

カテゴリ検索↓↓

chang_7010さんをフォロー

バナー

アカウント作成はコチラ(無料)↓

サウンドハウス

AudiostockでBGM・効果音を販売中!

コンタクトフォーム





上記の内容でよろしければチェックを入れて送信ボタンをクリックして下さい。