ヒトのように物体材質を識別するモデル

＜概要＞

豊橋技術科学大学情報・知能工学系認知神経工学研究室の田村秀希助教と独ユストゥス・リービッヒ大学ギーセン 心理学科の研究チームは、ヒトと同じような判断基準で物体材質を識別する画像計算可能なモデルを提案しました。特に、鏡や金属の表面のように周囲の空間像を反射する「反射材質」と、ガラスや氷のように周囲の空間像が透過する「透過材質」の2つの材質を、今回の識別対象とし、ヒトがこれらの材質を識別する際に利用する画像手がかりの存在が示唆されました。本研究の成果は、質感を高精度かつ低コストに表現する画像技術への応用が期待されます。

＜詳細＞

私たちには物体の表面状態や材質を推定する「質感認知」の能力が備わっています。それにより、貴金属が生む美しい輝きや、宝石からこぼれる色づき透き通る光の道筋から、私たちは豊かな質感を感じられます。太古から現代まで常に人類全体で、良質な質感を追求し、光が物体表面で複雑に反射・透過することに価値を感じてきました。このような背景から、脳内の質感認知処理の理解が工学・心理学・神経科学といった様々な学問領域で積極的に進められています。

鏡や研磨された金属のように光がその物体表面で鏡面反射する「反射材質」と、ガラスや氷のように光がその物体を透過・屈折する「透過材質」は、それらの物体表面に映る画像が、物体の周りに何があるかによって大きく複雑に変化します。そのため想定される状況は数え切れないほど存在し、ヒトがどのように両者を見分けているか、ほとんど明らかになっていませんでした。

そこで研究チームは、ヒトがどれくらいの精度で反射・透過材質を見分けているかを心理物理実験で調査すると同時に、畳込みニューラルネットワーク(CNN)のモデルがどの程度の精度で識別できるかも検証しました。実験から、ヒトは78%の精度で反射・透過材質を識別できるのに対し、CNNは94%とヒトと比較してかなり高い精度で識別できることがわかりました。

以上の結果は、単にモデルの識別精度という点では申し分なく、ヒトを代替する存在として産業応用できる可能性を秘めています。しかしながら、私たちが本当に明らかにしたいのは「どのようにヒトが両者の材質を識別しているか」という点であり、ヒトを凌駕するモデルの構造や振る舞いからは、「ヒトが使っている画像手がかり」を見つけ出すことは難しいと考えました。

そこで、ヒトと同じように正解するだけでなく、あえて「ヒトと同じように間違える」ようにCNNをチューニングし、そのモデルの構造やヒトとの類似性から、何が手がかりとして使われているのかを検証しました。その結果、CNNの畳み込み構造は3層という比較的浅いモデルがヒトと最も似ており、モデルは物体の上部に表れる画像変化を手がかりとしている可能性が示唆されました。これらは先行研究で報告されている、ヒト質感認知の知見を支持するものでした。

本研究は、ヒトの正解／不正解を模倣しつつ、反射・透過材質を識別する、画像計算可能なモデルの構築に初めて成功しました。これを応用することで、画像中のすべての情報を使わずとも、要約された情報で材質識別や質感再現が可能になるかもしれません。すなわち、高精度な質感再現を、低コストに実現する技術への応用が期待されます。

＜論文情報＞

Tamura, H., Prokott, K. E., & Fleming, R. W. (2022). Distinguishing mirror from glass: A “big data” approach to material perception. Journal of Vision, 22(4):4, 1-22. https://doi.org/10.1167/jov.22.4.4.

＜謝辞＞

Supported by JSPS KAKENHI Grant Numbers JP16J00273 and JP21K21315, the DFG (SFB-TRR-

135: “Cardinal Mechanisms of Perception,” project number 222641018); an ERC Consolidator Award (ERC-2015-CoG-682859: “SHAPE”); and by “The Adaptive Mind,” funded by the Excellence Program of the Hessian Ministry of Higher Education, Science, Research and Art.