音楽ネタ

美空ひばりAIはCGで3D?映像や振付や衣装はどうやって作った?

美空ひばりさんがAIで復活し、新曲「あれから」を披露し話題になっていますね。

歌声の再現はもちろんのこと、天国から美空ひばりさんが舞い降りたという演出で映像までも作られています。

その映像がまたリアルなんですよね。

今回は、

  • 美空ひばりさんの映像がどのようにして作られたのか?
  • どのようにして動かしているのか?

についてまとめてみました。

AI美空ひばりの動画

AI美空ひばりは声だけでなく、動きもあります。

顔もリアルで動きも人間のようですよね。

近くで見ると若干作り物のようなかんじはするので、本物とは言い難いですが、遠目で見ると本当に分かりません。


で、これ映像なのか人形なのか、はたまた人間が中に入って動かしているのかなんですが、映像です。

つまり、平面の画面の中で美空ひばりさんが動いているということです。

人形ではなく映像だと分かっているのですが、奥行きがあるように見える3D映像なので本物の人間が動いているように見えますよね。

それでは、この美空ひばりさんの映像がどのように作られたのか、どうやって動かしているのか、技術的なところを見ていこうと思います。

美空ひばりAIの顔や表情はどうやって作った?

美空ひばりさんの顔やその動きにもAIが使われています。

美空ひばりさんが亡くなる前の膨大な映像データをAIに学習させることで、美空ひばりさんはどうやって顔を動かしているのか?という動きの法則を学びます。

さらに、その動きの法則に基づき、口・歯・眉など表情を形成する顔のパーツ50箇所が新曲の歌詞に連動して動くようなAIも作られました。

さらっと読むと何がすごいの?と思ってしまうかもしれませんね。

こういった3D立体映像というのは、いわゆるCGアニメーションやハリウッド映画でも使われています。

上の動画のようにパソコン上で人が手作業で顔を作っていきます。

美空ひばりさんの顔もおそらく完全にAIのみというわけではないと思います。

過去の映像から美空ひばりさんの顔を作ったあと、製作者によって手を加えてはいると思います。

上の動画のように今では、スマホで立体的な画像を取れる時代ですからね。

過去の映像からにせよ、立体的な映像を作ることは、衝撃的に新しいことではありません。

この美空ひばり復活プロジェクトで何がすごいのかというと、AIが表情の法則を学んで表情を歌詞に合わせて変えてくれるというところです。

顔を動かすのを完全にコンピュータでの手作業ではなく、表情のルールに則りAIが動かしているというのがすごいのです。

美空ひばりの体の動きもAI?


顔の表情と同じく、最初は美空ひばりの体の動きもAIの学習によって作られていました。

昔の美空ひばりさんの映像をたくさん学習して、AIは美空ひばりさんの動きの法則というものを導きました。

しかし、美空ひばりさんに詳しい方の目からすると、「これはひばりさんの動きじゃない」とのこと。

しかも、実は美空ひばりさんの動きには一定のルールというものがありませんでした。

たいていは歌を歌う際にも「振付」というものが存在し、美空ひばりさんには専門の振付師がいません。

あらかじめ決まった動きを歌に合わせてするのではなく、いつもお客さんの反応を見ながらその場その場で振付けをしていたといいます。

まさに天才だからできる神技といえそうですね。

で、美空ひばりさんの動きをより「美空ひばりさんらしい」動きにするために使ったのがモーションキャプチャーです。

美空ひばりの動きを天童よしみの動きでモーションキャプチャー

モーションキャプチャーで動きを再現

出典元:AIでよみがえる美空ひばり

美空ひばりさんの動きの部分を作るために、天童よしみさんにモーションキャプチャーセンサー(マーカー)をつけて振付けをしてもらうことにしました。

上の画像は、天童よしみさんが体にモーションキャプチャーセンサー(マーカー)という部品をつけている様子です。

モーションキャプチャーとは、3D技術の一つで、人間の動きを精密に記録してコンピューターに取り込む技術ことです。

素早い動きや細かな動きを再現しようとすると、上の動画のようなお金のかかった環境で撮影しなければなりません。

実は、2009年に日本でも大ヒットした映画「アバター」でも、モーションキャプチャーの技術が使われていて、めちゃくちゃ最新の技術というわけではないですね。

コンピューター上で人間を動かすというよりも、動いている人間をコンピューターに落とし込むということをやっているため、実質実写映画といってもよさそうです。

最近では、バーチャルYoutuber(Vtuber)でもこのようなモーションキャプチャーが使われています。

なぜ天童よしみが振付することに?

天童よしみ(本名:吉田芳美)さんは7歳の素人時代からのど自慢に多く出ておられ、ほとんどの大会で優勝するとう天才っぷりを発揮されていました。

ちなみに、芸名の「天童」は「天」から授かった「童」を由来とするそうです。

圧倒的な歌唱力のためか、大阪では天才少女と言われていた天童よしみさんですが、プロ歌手の道を目指されたのは美空ひばりさんの存在が大きいそうです。

出典元:AIでよみがえる美空ひばり

天童よしみさんが8歳のころ、地元大阪で美空ひばりさんの舞台があったそうです。

このときに、天童よしみさんは美空ひばりさんと共演し、これがきっかけで本格的にプロの道を志すことなりました。

美空ひばりさんへの憧れがあってか、天童よしみさんは美空ひばりさんの曲のレコードを聴き込み、美空ひばりさんのビデオを擦り切れるほど何度も繰り返しみたといいます。

その結果、美空ひばりさんの歌と踊りが天童よしみさんの体に染みついているそうです。

美空ひばりさんが今生きていたら新曲「あれから」にこんな振付けをするだろうというあくまでも予想になります。

ですが、美空ひばりさんの動きが体に染み付いた天童よしみさんは、新曲の振付に最適な人物なのではないかと思います。

美空ひばりAIの髪型や衣装はどうやって誰が作った?

実はAI美空ひばりの髪型や衣装も、美空ひばりさんが生前関わっていた方に協力してもらったそうです。

美空ひばりの髪型はどうやって作った?

出典元:AIでよみがえる美空ひばり

AI美空ひばりの髪型を担当したのが、美容師の白石文江さん。

白石文江さんは美空ひばりさんのヘアメイクを25年に渡り担当されたそうです。

美空ひばりさんと身長や体型が似ているモデルさんに新曲「あれから」のイメージに合わせて髪型を作りました。

出典元:AIでよみがえる美空ひばり

そして、その髪型をCGに落とし込むということをして、美空ひばりAIの髪型は作られました。

髪型も3Dで作っちゃえそうですが、美空ひばりさんを再現するために細かなところまでもこだわっています。

美空ひばりAIの衣装は誰が作った?

出典元:AIでよみがえる美空ひばり

AI美空ひばりの衣装をデザインしたのは、ファッションデザイナーの森英恵さん。

美空ひばりさんが42歳のころからステージ衣装を全て手掛けてきたそうです。

AI美空ひばりが着ている衣装は、美空ひばりさんが天国から華麗に舞い降りた様子をイメージし衣装を作られたそうです。

上の動画7:08〜ご覧ください。

1988年の美空ひばりの「不死鳥コンサート」の準備映像です。

美空ひばりさんと森英恵さんのプロのやりとりが見れますね。

美空ひばりさんの色を出す大切なデザイナーも、AI美空ひばりプロジェクトに関わっていらっしゃいました。