前のページでは、画像のどこを見て判断したかを「見える化」するCAMとGrad-CAMを見ました。
しかし画像以外の場面——たとえば「この患者が病気である確率は何パーセントか」「この物件の価格はいくらか」「この顧客はサービスを解約するか」——では、画像の上にヒートマップを描くわけにはいきません。
数値や文章などのデータを扱うAIに対して、「どの情報が予測にどれだけ影響したか」を明らかにする——それがこの章で見ていく三つの手法です。
Permutation Importance
Permutation Importance（順列重要度）は、「ある特徴量をランダムにシャッフルしたとき、予測精度がどれだけ下がるか」を測ることで、その特徴量の重要度を評価する手法です。
たとえば、住宅価格を予測するAIがあるとします。
このAIは「駅からの距離」「築年数」「部屋の広さ」「最寄りスーパーまでの距離」などの情報を使って価格を予測しています。
ここで「駅からの距離」のデータだけをシャッフル——つまりバラバラにランダムに並び替えて——再び予測させたとき、予測精度が大きく下がったとします。それは「駅からの距離」が予測に大きく影響していることを意味します。
逆に「最寄りスーパーまでの距離」をシャッフルしても精度がほとんど変わらなければ、その特徴量は予測にあまり影響していないということです。
シャッフルして「壊してみる」ことで、何が大事だったかを逆説的に明らかにする——シンプルながら直感的でわかりやすい手法です。
LIME
LIME（Local Interpretable Model-agnostic Explanations）は、複雑なAIモデルの「特定の一つの予測」を、シンプルなモデルで近似して説明する手法です。
名前に含まれる「Local（局所的）」という言葉が、この手法の本質を表しています。
「シンプルなモデルで近似する」とはどういうことか、少し立ち止まって考えてみましょう。
山の地形全体を一つの数式で表すのは不可能に近いです。しかし「この一点の周辺だけ」に絞れば、「だいたい平らだ」「急な斜面だ」とシンプルに表現できます。
LIMEはそれと同じ発想です。複雑なAI全体を理解しようとすると無理でも、「この一つの予測の周辺だけ」に絞れば、人間が読めるシンプルなルールで近似できる——「年齢が上がると入院リスクが上がる」「血圧の値が影響している」という形に落とし込めるのです。
具体的には、注目している予測の周辺で入力データを少しずつ変化させながら、AIの出力がどう変わるかを観察します。そのパターンをシンプルなモデルで近似することで、「この予測に対して、どの特徴量がどの方向に影響したか」を説明できるようになります。
モデルの種類を問わず適用できる汎用性の高さも、LIMEの大きな特徴です。
SHAP
SHAP（SHapley Additive exPlanations）は、ゲーム理論の「シャープレイ値」という概念をAIの解釈性に応用した手法です。
現在のXAI研究の中で最も広く使われている手法の一つです。
シャープレイ値とは、複数のプレイヤーが協力してゲームに勝ったとき、その勝利にそれぞれのプレイヤーがどれだけ貢献したかを公平に分配するための計算方法です。
SHAPはこの発想を、AIの予測に当てはめます。
「この予測結果」という「勝利」に対して、「各特徴量」という「プレイヤー」がそれぞれどれだけ貢献したかを計算します。
たとえば住宅価格の予測に対して、「駅からの距離がプラス200万円分の影響を与えた」「築年数がマイナス150万円分の影響を与えた」という形で、各特徴量の貢献を数値で示せます。
SHAPが「一貫している」理由も、このスポーツのたとえで考えるとわかりやすいです。
LIMEが「今日の試合だけを見てMVPを決める」イメージだとすれば、SHAPは「全試合を通じて、すべての組み合わせのチームで何点取ったか」を計算してMVPを決めるイメージです。
どの試合を切り取っても同じ基準で評価できる——だから「一貫性がある」のです。
特徴量の重要度が、見る角度によってぶれない。それがSHAPの強みです。
まとめ
Permutation Importance（順列重要度） → 特徴量をランダムにシャッフルしたときの予測精度の低下幅を測ることで、各特徴量の重要度を評価する手法
LIME（Local Interpretable Model-agnostic Explanations） → 特定の一つの予測に絞り、入力データを少しずつ変化させながらシンプルなモデルで近似することで、予測の根拠を局所的に説明する手法
SHAP（SHapley Additive exPlanations） → ゲーム理論のシャープレイ値を応用し、各特徴量が予測にどれだけ貢献したかを公平かつ一貫した基準で数値化する手法
シャープレイ値 → ゲーム理論における概念。複数のプレイヤーが協力して得た成果に対して、各プレイヤーの貢献度を公平に分配するための計算方法