「このレントゲン画像には異常があります」——AIがそう診断したとき、画像のどの部分を見てそう判断したのかがわかれば、医師はAIの判断を検証できます。
「この写真は猫です」——AIがそう分類したとき、猫の顔を見て判断したのか、それとも背景のソファを見て判断したのかがわかれば、AIが正しい理由で正解しているかどうかを確認できます。
AIの判断を「言葉」で説明するだけでなく、「画像の上に直接示す」——それがCAMとGrad-CAMの発想です。
CAM
CAM（Class Activation Mapping）は、画像認識AIが「画像のどの部分に注目して判断を下したか」を可視化する手法です。
判断の根拠となった領域を、温度を示すヒートマップのように色で表示します。注目度の高い部分は赤く、低い部分は青く表示されることで、AIの「視線」が画像の上に浮かび上がります。
たとえば、犬と猫を分類するAIにCAMを適用すると、「猫」と判断した画像の上に、AIが注目した領域が赤く示されます。その赤い部分が猫の顔や耳に集中していれば、AIは正しい理由で正解しています。しかし赤い部分が猫ではなく背景のカーテンに集中していたとしたら——AIはたまたま正解したにすぎず、本当の意味で「猫を理解している」とはいえません。
CAMは、AIが「正しい理由で正解しているか」を検証するための窓を開いてくれます。精度だけでは見えなかった問題が、可視化によってはじめて見えてくるのです。
ただしCAMには制約があります。特定のネットワーク構造（GAP：Global Average Pooling）という仕組みを使ったモデル）にしか適用できないという点です。この制約を乗り越えるために生まれたのが、Grad-CAMです。
Grad-CAM
Grad-CAM（Gradient-weighted Class Activation Mapping）は、CAMの発想を発展させ、より多くの種類のモデルに適用できるようにした手法です。
名前に含まれる「Gradient（勾配）」が、その核心にあります。
勾配とは、ディープラーニングの学習で使われる概念で、「この部分をどれだけ変化させると、判断結果がどれだけ変わるか」を示す値です。
Grad-CAMは、この勾配の情報を使って「画像のどの部分が判断に大きく影響したか」を計算します。影響が大きい部分ほど赤く、小さい部分ほど青く表示される——CAMと同様のヒートマップとして結果が示されます。
Grad-CAMが特に力を発揮したのは、医療画像の分野です。
肺のレントゲン画像を見て「肺炎の可能性があります」と判断したAIに対して、Grad-CAMを適用すると、肺のどの部分に異常の根拠を見出したかが画像の上に示されます。医師はその可視化結果を見ながら、AIの判断が医学的に妥当かどうかを検証できます。
AIと医師が、同じ画像を見ながら対話できるようになるのです。
ショートカット学習
CAMやGrad-CAMによる可視化は、AIの意外な「癖」を明らかにすることがあります。
有名な例として、軍用車両と民間車両を分類するAIの話があります。このAIは高い精度で分類できていましたが、可視化してみると——軍用車両の画像では曇り空の部分に、民間車両の画像では青空の部分に注目していたことがわかりました。AIは実は「空の色」で分類していたのです。たまたま訓練データの中で、軍用車両の写真は曇りの日に撮られたものが多かっただけでした。
このような問題をショートカット学習と呼びます。AIが本来注目すべき特徴ではなく、データに偶然含まれていた無関係なパターンを学んでしまう現象です。
高精度であっても、正しい理由で正解しているとは限らない——可視化があってはじめて、この問題が見えてきます。
まとめ
CAM（Class Activation Mapping） → 画像認識AIが判断の根拠とした画像上の領域を、ヒートマップとして可視化する手法。注目度の高い部分が赤く表示される
Grad-CAM → CAMを発展させ、勾配の情報を使ってより多くの種類のモデルに適用できるようにした可視化手法。医療画像の診断根拠の可視化などに活用されている
GAP（Global Average Pooling） → 特徴マップの各チャンネルの平均値を取り出す処理。CAMはこの仕組みを使ったモデルにのみ適用できるという制約がある
ヒートマップ → 数値の大小を色の濃淡で表現した図。CAMやGrad-CAMでは、AIの注目度を赤（高）〜青（低）で表示する
ショートカット学習 → AIが本来注目すべき特徴ではなく、データに偶然含まれていた無関係なパターンを学んでしまう現象。高精度でも正しい理由で正解しているとは限らない