「手術が必要です」——AIがそう判断したとき、医師はその根拠を問わずに従えるでしょうか。
「ローン申請は却下されました」——AIにそう告げられたとき、申請者は理由を知る権利がないのでしょうか。
「この人物が犯罪を犯す可能性が高い」——AIがそう予測したとき、その根拠を誰も確認できなくていいのでしょうか。
AIが社会の重要な意思決定に関わるようになった今、「なぜその答えを出したのか」を説明できないことは、単なる技術的な問題にとどまりません。それは、信頼の問題であり、公平性の問題であり、時に人の人生を左右する問題でもあります。
ブラックボックス問題
ディープラーニングは強力です。画像を認識し、言語を理解し、複雑なパターンを見つけ出す——その精度は多くの場面で人間を超えています。
しかしその内部は、ブラックボックスと呼ばれます。
何億ものパラメータが複雑に絡み合い、入力から出力への過程が人間には追えない。結果は出てくるが、なぜその結果になったのかがわからない——それがブラックボックス問題の本質です。
チェスのAIが次の一手を選ぶとき、その根拠がわからなくても困りません。
しかし医療診断や融資審査、採用選考にAIが使われるとき、「なぜ」が説明できないことは深刻な問題になります。
結果だけを突きつけられ、根拠を問えない——それは、AIに対してだけでなく、AIを使う組織に対しても、信頼を失わせる構造です。
説明可能AI（XAI）
説明可能AI（XAI：eXplainable AI）とは、AIがどのように判断・予測を行ったかを、人間が理解できる形で説明できるようにするための技術・研究分野の総称です。
XAIが目指すのは、AIの精度を下げることなく、その判断の根拠を「見える化」することです。
なぜこの画像を猫と判断したのか。なぜこの申請を却下したのか。どの情報が判断に最も影響したのか——そうした問いに答えられるAIを作ることが、XAIの目標です。
哲学的に見ると、XAIは「説明責任」という概念とつながっています。
民主主義社会において、権力を持つ者は市民にその行使の根拠を説明する責任があります——これをアカウンタビリティと呼びます。
AIが社会的な権力を持ち始めた今、同じ問いがAIにも向けられています。「説明できないAIに、人の人生を委ねていいのか」——XAIは、その問いへの技術的な応答です。
解釈性が特に求められる場面
XAIの必要性は、特定の分野で特に切実です。
医療では、AIが診断や治療方針の提案を行う場面が増えています。
医師がAIの判断を採用するためには、その根拠を理解し、自らの医学的知識と照らし合わせられなければなりません。根拠のわからない診断を、医師は患者に説明できません。
金融・融資審査では、ローンや保険の審査にAIが使われています。
欧州では、GDPRという法律によって「自動化された意思決定に対して説明を求める権利」が定められており、AIが審査結果の根拠を説明できなければ法的な問題になります。
採用・人事では、AIが書類選考や適性評価に使われることがあります。しかし、なぜ不合格になったかをAIが説明できなければ、差別や偏見が見えないまま再現されている可能性を排除できません。
自動運転では、事故が起きたときにAIがなぜその判断をしたかを追跡できなければ、責任の所在が明らかにできません。
まとめ
ブラックボックス問題 → ディープラーニングの内部構造が複雑すぎて、入力から出力への過程が人間には追えない問題。結果は出るが根拠がわからない状態を指す
説明可能AI（XAI：eXplainable AI） → AIがどのように判断・予測を行ったかを人間が理解できる形で説明できるようにするための技術・研究分野の総称
アカウンタビリティ → 説明責任のこと。権力や影響力を持つ者が、その行使の根拠を説明する義務。AIが社会的な意思決定に関わる場面で特に重要になる概念
「なぜそう決めたのか、説明してください」——この一言を、私たちは誰に向けて言えるのでしょうか。上司に、政治家に、医師に、裁判官に。説明を求める権利と、説明する義務——この関係は、人間社会の根幹に静かに根ざしています。
◆民主主義と説明責任の起源
アカウンタビリティ（accountability）とは、日本語で「説明責任」と訳されます。権力や影響力を持つ者が、その行使の根拠を関係者に説明する義務のことです。
この概念の起源は、民主主義の誕生にさかのぼります。かつて王や貴族が絶対的な権力を持っていた時代、統治の根拠を説明する必要はありませんでした。「王がそう決めた」それだけで十分だったのです。しかし市民革命を経て、権力は「神や血統から与えられるもの」から「市民から委託されるもの」へと変わりました。委託された権力には、委託した市民への説明責任が伴う——それが近代民主主義の根本的な考え方です。
議会が政府の予算を審議し、裁判所が判決の根拠を文書に残し、企業が株主に財務状況を報告する——私たちが当たり前だと思っているこれらの仕組みは、すべてアカウンタビリティという概念の上に成り立っています。
◆AIが「権力」を持つとはどういうことか
では、AIはなぜアカウンタビリティの問題と結びつくのでしょうか。
それは、AIが人の人生に影響を与える決定を下す力を持ち始めたからです。ローンが通るか通らないか。採用されるかされないか。保険料はいくらか。仮釈放は認められるか——これらはすべて、人の生活や自由に直結する決定です。
かつてこれらの決定は、人間が行っていました。銀行員が申請書を審査し、採用担当者が書類を読み、裁判官が判決を下す。人間が決定を下す場合、その根拠を問うことができます。「なぜ却下したのですか」と銀行員に聞けば、「収入が基準を下回っているからです」と答えが返ってくる。納得できなければ異議を申し立てられます。
しかしAIが同じ決定を下すとき、「なぜ」を問える相手がいなくなります。何億ものパラメータが絡み合ったブラックボックスの中で下された判断に、誰も説明責任を果たせない——権力だけがあって、アカウンタビリティが存在しない状態が生まれるのです。
◆説明できないAIは、民主主義と相性が悪い
哲学者のオノラ・オニールは、「信頼は説明責任によって支えられる」と語りました。私たちが誰かを信頼するのは、その人が説明できるからです。根拠を示せる、問われれば答えられる——そういう存在だからこそ、私たちは委ねることができる。
説明できないAIは、この信頼の構造を壊します。どれだけ高精度であっても、根拠を示せないAIに人の人生を委ねることは、「王がそう決めた」という絶対権力への服従と、構造的には似ています。理由を問えない権力——それは、民主主義が乗り越えてきたはずのものです。
実際、欧州のGDPR（一般データ保護規則）では、自動化された意思決定に対して「説明を求める権利」が法律として定められています。AIが審査結果の根拠を説明できなければ、法的な問題になる。テクノロジーの問題が、法と権利の問題として立ち現れてきているのです。
◆XAIは、その緊張関係への応答
説明可能AI（XAI）は、単なる技術的な改善ではありません。それは、「AIが社会的な権力を持つ時代に、民主主義の原則をどう守るか」という問いへの、技術的な応答です。
AIの判断を可視化し、根拠を示し、問われれば答えられるようにする——それはAIに、人間社会が長い時間をかけて築いてきたアカウンタビリティの規範を組み込もうとする試みといえます。
技術は価値中立ではありません。どんな技術も、それが埋め込まれる社会の価値観と無関係ではいられない。XAIの研究が進む背景には、「説明できる社会を守りたい」という、静かな、しかし切実な意志があります。
AIを作ることは、人間を知ることでもある——この章で繰り返してきたその言葉は、ここでも響きます。説明可能なAIを目指すことは、「説明責任とは何か」「信頼とは何か」という問いを、私たち自身に向け直すことでもあるのです。
next ▶ CAMとGrad-CAM AIの判断を画像で可視化する