生成AIにハマり、絵が苦手でもAIを使えば簡単に絵コンテが作れることを知った曽根隼人さん。この技術をVコン(ビデオコンテ)にも応用できないだろうか?試行錯誤の末に辿り着いた、3DCGのモデリングができない人でも簡単にVコンが作れてしまう方法を紹介する。

講師 曽根隼人 Hayato Sone

BABEL LABEL所属 ディレクター。株式会社Vook顧問。TVドラマ『憑きそい』『インフォーマ』『封刃師」『乃木坂シネマズ〜STORY of 46〜』を監督。無印良品のパリでのプロモーション映像”TOKYO PEN PIXEL”では、世界三大広告祭のひとつである「ONE SHOW」や、アジア最大の広告祭「ADFEST」、「SPIKES ASIA」をはじめ、多くの賞を受賞。大村市のPR動画”大村市なんて大嫌い”では、「福岡広告協会賞」「ぐろ〜かるCM大賞2019」で受賞した。全国にクリエイティブな映像を伝える番組、NHK Eテレ『テクネ 映像の教室』『うたテクネ』では、プロデューサーとして参加。






生成AIで手軽にVコンを作りたい!

画像やテキストから直接Vコン映像を生成するのは難しい

僕はコンテを作るという作業が苦手中の苦手です。CM業界は絵コンテを描けてナンボというところがあり、もっと絵が描けたらいいのにと常々思っていました。そこに現れた救いの船が生成AIです。昨年手がけたテレビCMでは、絵コンテはもちろん、音楽からCGアニメーションまで生成AIの力をフル活用しました。

これだけできるなら、最近よく使われるようになってきたVコンも作れるのではないか? そう期待したのですが、Image to Video(静止画像から映像を生成する方法)やText to Video(プロンプトから映像を生成する方法)ではレンズの焦点距離やカメラアングル、カメラワークを選べないという大きな問題がありました。プロンプトで設定すれば多少は反映されますが、思い描いていたのとは微妙に異なり、自ら撮影もするクリエイターからすると不満の残る結果になりがちでした。



生成AIは映像制作の様々な工程に活用できる

生成AIをフル活用して制作したCMの例

リブマックス CM『もっと自由な時間を』篇のワークフロー





作詞はChatGPT、作曲はSUNOを使用

全編にわたって歌が流れるので、最初にオリジナルソングを作成。歌詞はChatGPTに考えてもらい、それを音楽生成AIのSUNOに入れて歌にした。





ラフ絵をKrea AIで清書して絵コンテ画像に

MidjourneyやKrea AIなど複数の画像生成AIを組み合わせて絵コンテ用の画像を作成した。上画像は手描きのラフをKrea AIで精密な絵に変換したところ。





DomoAIで実写映像をアニメーション化する

映像の後半にダンスがCGアニメーションに変わるパートがある。実写の撮影映像をVideo to VideoのDomoAIでアニメーションに変換した。





テキスト・画像からの直接の動画生成では、アングル・焦点距離・カメラワークが選べない









AI 3Dモデリングの進化で実現した方法

試行錯誤の末に辿り着いたのが、今回紹介する3Dモデル生成AIと3DCGソフトを組み合わせる方法です。3DCGの制作は無料ソフトのBlenderが普及したことでハードルが低くなりましたが、モデルを一から作り、アニメーションをつけるという作業はやはり大変です。しかし、AIによる3Dモデリング技術が急速に進化したおかげで、それが数ステップの操作で作れるようになりました。

そうしてAIで生成したアニメーションつきの3Dモデルを今度は3DCGソフトに読み込んで操作することで、レンズやカメラワーク等の問題を解消します。つまり、3D空間の中で仮想カメラを使ってVコンを「撮影」するような方法です。

従来は3Dモデルの用意だけで何時間もかかっていたのが、この方法を採用してから半日程度でVコンを作れるようになりました。モデリングのレベルはまだまだ低いものの、絵が苦手だった自分にとっては夢のような技術です。今ではVコンを作るのがめちゃくちゃ楽しいと思うようになりました。



3Dモデル生成AIと3DCGソフトでここまで作れる

ドラマの制作を想定して作ったVコン。3Dモデル生成には次ページで紹介する「Meshy AI」、編集にはBlenderを使用した。警察の取調室で容疑者の男と刑事が向かい合い、刑事が証拠となる防犯カメラの映像を差し出すという設定で、シナリオはChatGPTに書いてもらった。3Dモデルのクオリティは高くなく、動きにも不自然なところがあるが、これを短時間で作れてアングルを自在に切れるというのは相当なメリットだ。