“見えない”を映し、“アニメ”を彩る～AIと物理が描く映像の未来

撮影方法の工夫で「見えないもの」を見える化

――先生のご研究について教えてください。

画像情報処理を専門としています。一般的にこの分野では、すでに撮影されたデータをAIやソフトウェアで「処理する方法」に着目した研究が主流ですが、私の研究室では「撮影方法そのもの」に焦点を当てています。具体的には、カメラや照明の使い方、レンズの設定などを工夫することで、人間の目や通常の撮影方法では捉えられない情報を画像として取り出すことを目指しています。こうして得られた画像データは、AIの性能向上にも大きく貢献する可能性があると考えています。

たとえば「コップに入った白い液体」の写真があるとしましょう。この写真をAIに入力すると、多くの場合は「牛乳」と認識されます。しかし、本当は「液体石鹸」かもしれません。一般的な写真は物体表面で反射した光を記録するため、物体表面の情報しか得られません。そのため、AIを使っても、白い液体の「材質」や「内部構造」の違いを見分けることは非常に難しいのです。

では、どうすれば良いのか。撮影方法を変えて、物体内部の情報を反映した写真を取得すれば良いのです。実は、牛乳と液体石鹸は内部での「光の透過・散乱」具合が異なります。そのため、内部を通って戻ってくる光だけを選択的に捉えれば、内部の違いを可視化できます。これらの写真をAIの学習に使用すれば、「牛乳」と「液体石鹸」を区別できるAIもできるかもしれません。

学習データの質は、AIの性能に直結します。そのため私たちが行っている、人の目に見えない情報を見える化する研究は、AI学習データの質を向上する土台ともなり得るでしょう。

――なるほど、面白いです！具体的には、これまでに何を「見える化」されてきたのでしょうか？

代表的なのは、皮下の血管を可視化する研究です。肌を普通に撮影するだけでは、肌表面からの反射光が強すぎて皮下の血管は当然写りません。そこで私たちは、プロジェクターとカメラを細かく制御して、光を当てる位置と撮影位置の間にわずかな「ギャップ」を設けることで、皮下の血管部分を通った光だけを選択的に捉えることに成功しました。

このシステムを使えば、被ばくのリスクがなく、リアルタイムで血管を可視化できます。また、装置は小型かつ安価なため、医療現場だけでなく、家庭や災害現場などでも使用可能です。さらに、得られた画像をAIに学習させることで、足の血管がこぶのように膨らむ下肢静脈瘤などの診断にも貢献できると考えています。

――他にも、具体的な研究例はありますか？

AIを利活用している企業と、水の流れを可視化する研究に取り組んでいます。

水は透明なので、普通の写真では流れの有無や方向が分かりません。そのため私たちの研究では、細かく砕いた繊維（セルロースナノファイバー）をあらかじめ水中に散布しておきます。流れがないときには繊維の向きがバラバラなので、それらから反射・散乱される光の偏光状態（光の波の「振動方向」）も同じくバラバラです。しかし、水が特定の方向に流れると繊維の向きがそろうため、偏光が特定のパターンを示すようになります。私たちは、この偏光の変化を捉えることで、水の流れのパターンを可視化することに成功しました。

こうして得られた画像をAIと組み合わせれば、橋などのインフラの維持・管理や、燃費に配慮した船舶の設計、水泳のフォーム解析などを効率化できるはずです。

「AIと人間の共同作業」でアニメ制作を効率化

――先生は、上記の「見えないもの」を見える化する研究とは別に、アニメ制作の現場にAIを導入する研究もされていると伺いました。

2018年頃から、アニメ制作会社と「AIによるアニメ制作工程の効率化」をテーマに共同研究を進めています。
アニメ制作には多くの工程がありますが、特に「線画に色を塗る」工程には膨大な労力がかかっています。そこで、私たちはこの着色工程をAIで効率化して、アニメ制作全体のパフォーマンスを向上させたいと考えています。

――AIに全自動で色を塗ってもらう、といった感じでしょうか？

最初はその方針で研究を進め、線画とそれらを着色した完成画像のペアを数千枚、数万枚用意して、それらをAIに学習させました。しかし、100%まで精度を上げることはきわめて難しいと分かったんです。アニメ制作では、1%でも着色ミスがあると命取りになります。そこで、研究方針を大きく変える必要が出てきました。

その後試行錯誤の末にできたのが、AIと人間が協力して着色作業を進めるシステムです。AIが事前に色の候補を絞り込み、その中から人間が正しい色を選ぶといったイメージです。これにより、極めて正確な着色精度を維持しつつ、作業時間を大幅に短縮できると考えています。AIと人間がそれぞれ得意なことを活かして作業をすることを目指します。

――まさに、AIと人が「対話し、補い合う」インタラクティブなシステムですね。

そうですね。それも、次世代における人間とAIのあり方のひとつなのかなと思っています。2024年12月からは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の調査事業にも参画しており、研究はさらに加速しています。日本のアニメ産業を守るため、今後も研究を続けていきます。

「カレーライスを食べてけん玉をしながら百メートルを走る」のが研究の醍醐味

――先生は元々物理学を専攻されていたと聞きました。なぜ、画像情報処理の分野に進まれたのでしょうか？

大学入学時は、宇宙や素粒子などの物理分野に興味を持っていました。しかし学年が上がるにつれて、もっと身近なスケールの問題に取り組みたいと思うようになりました。そんなとき、学部3年生に進級するタイミングで「人の顔画像情報」を専門とする先生と出会ったのです。その先生の元で研究を続けるうちに、画像情報処理分野にのめり込み、ソフトウェアを活用したCGの研究で博士号を取得しました。

その後カメラメーカーに勤務し、「撮影」工程の専門性に触れたことで、ハードウェアにも次第に興味が出てきました。さらに、奈良先端科学技術大学院大学やアメリカのカーネギーメロン大学でソフトウェアとハードウェアを融合させた研究の面白さも知り、今に至ります。

画像情報処理分野の研究者の多くはソフトウェアを専門としており、私のようにハードウェアにまで踏み込む人は1割もいません。今思えば、物理学のバックグラウンドがあったからこそ、光学を扱うハードウェアの領域にも臆さず踏み込めたのかもしれませんね。

――研究テーマを考える上で意識されていることはありますか？

「誰も気付いていない・取り組んでいない課題」を見つけることです。
研究の世界では、特定の課題に多くの研究者が殺到し、同じルールの下でスピードを競う状況が生まれがちです。例えるなら、全員で百メートル走を全力疾走しているような状態ですね。もちろんそれも重要ですが、既存のルールの枠内で順位を競うだけでは、新たな視点や発想が生まれにくいとも感じています。

一方、誰も気付いていない・取り組んでいない課題を選べば、自分でルールを設定して自由な発想で取り組めます。たとえば、「カレーライスを食べてけん玉をしながら百メートルを走る」といった極端な状況設定もアリなわけです。このように、独自の視点を持って未知の課題に挑戦できる点が、研究の大きな魅力だと思います。

「積極的な交流」と「分かりやすく伝える力」が大事

――最後に、学生や若手研究者へのメッセージをお願いします。

積極的に外の世界と交流を持ってほしいですね。自分の研究テーマだけに閉じこもらず、さまざまなイベントや学会、研究会に顔を出してみるといいと思います。多くの方と出会ううちに、ご縁で思わぬ人からサポートを得られることも多いからです。

また、自分の研究を「親や兄弟にも分かるように」説明する練習をしてみてください。研究内容を深く理解できているなら、専門用語や難解な数式を使わなくても、日常的な言葉や身近な例えを使って説明できるはずです。こうした説明力は、社会に出てからもさまざまな場面で役に立つでしょう。

みなさんが実りの多い研究生活を送れるよう、心から応援しています。