株式会社stuは、AIを用いた独自の自動マスク生成技術『Scene Tracking Mask』を新たに開発し、映像作家の柿本ケンサク氏による新作ショートフィルム『トノムラ』に技術提供したことを発表した。
stuでは映像制作のワークフローを綿密に検証し、映像制作の現場におけるニーズに応えるAIマスク生成技術として同技術を開発。これにより、AIを活用して任意のオブジェクトに対して高性能なマスクを生成することが可能となる。
同技術を使うことで、映像内の任意のオブジェクトを選択し、誰でも簡単な操作でマスク範囲を選択することができるという。対象オブジェクトが動いている場合でもマスク範囲が追従。これまで1フレームに対してマスクを選択していた作業を大幅に削減することができる。
さらに、AIを活用することで映像のシーン分割の自動化も実現。動画の変わり目を自動で検出して各シーン毎に分割することができるため、シーンの変わり目を探す作業を短縮することができる。同技術を使うことで、人的リソースと作業時間を圧倒的に削減し、映像制作ワークフローの効率化および省人化に貢献するとしている。
映像作家の柿本ケンサク氏によるショートフィルム『トノムラ』においては、同技術を活用して作品の重要なモチーフとなるオブジェクトのマスク生成を行なった。手作業でのマスク生成では時間とコストにより実現が極めて難しかったところ、実稼働2日間という短期間で達成。映像作家が思い描いた通りの表現を実現し、作品作りに貢献したという。
今後はさらに本技術を進化させるとともに、映像制作ワークフローを効率化し、映像表現の可能性を拡げるAIの活用を模索しながら研究、開発を推進するとしている。
「Scene Tracking Mask」主な特長
・任意のオブジェクトへの自動マスク生成
オブジェクトを点で選択するだけでAIがマスクを自動生成
・動く被写体に対する自動マスク生成
選択したオブジェクトの動きをAIで解析し、マスクを自動生成
・映像におけるシーンの自動検出
カメラワークが切り替わる箇所をAIで自動検知
ショートフィルム『トノムラ』
『トノムラ』は、TVCM、MV、映画など多岐に渡る作品を生み出してきた映像作家、柿本ケンサク氏によるショートフィルム。”時間”をテーマに繰り広げられる一風変わった日常の会話劇となっている。
ストーリー
「あなたはトノムラです」というテロップから始まり、最後にはある問いかけが現れる。あなたはその答えに辿り着くだろうか？ 半ば子ども遊びのような仕掛けだが、答えに辿り着かなかった人は、きっと、もう一度『トノムラ』になって作品の中へ答えを探しに出かけたくなるだろう？ 一度で見たら、もう一度見たくなる仕掛けが盛り込まれている。
出演：前田敦子、工藤阿須加、高田里穂など
監督／脚本／撮影：柿本ケンサク
HP：http://tonomura.girly.jp/
株式会社stu
https://stu.inc/