「なぜ、そう判断したのか」——この問いに答えられないAIは、信頼できるでしょうか。
ローンを断られた人が理由を知る権利、医師がAIの診断根拠を確認する必要、裁判でAIの判断プロセスを検証する義務——AIが社会の重要な意思決定に関わるとき、「なぜその判断をしたか」を説明できることは、単なる技術的な問題ではありません。それは民主主義社会における説明責任——アカウンタビリティ——の問題です。
アカウンタビリティ（Accountability：説明責任）とは、権力や影響力を持つ者が、その行使の根拠を関係者に説明する義務のことです。
法律の章でも登場したこの概念——政治家が市民に政策の根拠を説明する義務、企業が株主に経営判断を説明する義務——と同じ構造が、AIにも求められています。
AIが採用・融資・医療・裁判といった人の人生に直結する判断を下すとき、「AIがそう言ったから」という説明では不十分です。なぜその判断を下したのかを、影響を受ける人に説明できること——これがAIに求められるアカウンタビリティの本質です。
透明性と説明可能性は、このアカウンタビリティを実現するための技術的な手段といえます。
「説明する義務がある」から「説明できる仕組みを作る」——その流れで透明性の技術が発展してきたのです。
モデルの解釈性の章で、CAM・Grad-CAM・SHAP・LIMEという可視化・解釈手法を学びました。
この章では、なぜ透明性が必要なのか、何に対して透明性を持たせるべきかという、より広い問いを見ていきます。
透明性と説明可能性とは何か
透明性（Transparency）とは、AIシステムの仕組み・データ・判断プロセスが、関係者に理解できる形で開示されていることです。
説明可能性（Explainability）とは、AIが特定の判断を下した理由を、人間が理解できる言葉で説明できることです。
二つは似ていますが、少し異なります。
透明性が「システム全体の開かれた状態」を指すのに対して、説明可能性は「個々の判断の理由を説明できる能力」を指します。
透明性が高いAIとは——どんなデータで学習したか、どんなアルゴリズムを使っているか、どんな基準で判断しているかが、開示されているAIです。
説明可能性が高いAIとは——「なぜこの人のローン申請を却下したのか」「なぜこの画像を猫と判断したのか」を、人間が理解できる形で説明できるAIです。
なぜ透明性が求められるのか
透明性が求められる理由は、大きく三つあります。
①信頼の確保——AIの判断を人間が信頼するためには、その判断の根拠を理解できることが必要です。
「なぜかわからないけど、AIがそう言ったから」では、医師も裁判官も判断を委ねることはできません。
②エラーの発見と修正——AIの判断プロセスが見えなければ、どこに問題があるかを発見できません。
公平性の章で見たアルゴリズムバイアスも、モデルの内部を見えるようにすることで発見・修正できることがあります。
③説明責任の履行——EUのGDPRでは「自動化された意思決定に対して説明を求める権利」が定められています。
AIが採用・融資・医療などの重要な判断を下す場合、その理由を説明する法的な義務が生じることがあります。
ブラックボックス問題
透明性の議論の核心にあるのが、ブラックボックス問題です。
ディープラーニングは高い精度を誇りますが、その内部では何億ものパラメータが複雑に絡み合って判断を下しています。入力と出力はわかっても、なぜその出力になったのかのプロセスが人間には追えない——これがブラックボックス問題です。
モデルの解釈性の章で学んだXAI（説明可能AI）の技術——CAM・Grad-CAM・SHAP・LIME——は、このブラックボックスを少しでも開こうとする試みです。ここでは改めて、透明性の観点からこれらの技術の意義を整理しておきましょう。
画像認識AIにCAM・Grad-CAMを使うと、「画像のどこを見て判断したか」がヒートマップとして可視化されます。医師がAIの診断根拠を確認したり、「正しい理由で正解しているか」を検証したりするために使われます。
SHAP・LIMEは、「どの特徴量がどれだけ判断に影響したか」を数値で示します。「なぜローンが却下されたか」を「年収の影響が大きく、勤続年数の影響が小さかった」という形で説明するために使われます。
透明性を与える対象
透明性は、AIシステムのどの部分に持たせるべきでしょうか。主に四つの対象があります。
①データの透明性——どんなデータで学習したか。データの出所・収集方法・加工方法を開示することで、バイアスの有無を検証できます。
データの来歴（Data Provenance）とは、データがどこから来て、どのように加工・利用されてきたかの履歴のことです。「このAIはどんなデータで学習したか」を追跡できることが、透明性の基盤になります。
②モデルの透明性——どんなアルゴリズムを使っているか。モデルの構造・学習方法・評価方法を開示することで、技術的な検証が可能になります。
③判断の透明性——なぜその判断を下したか。個々の判断の理由を説明できることが、説明可能性の核心です。
④組織の透明性——誰がAIを開発・管理しているか。開発者・管理者・利用目的を開示することで、責任の所在が明確になります。
透明性のトレードオフ
透明性には、難しいトレードオフがあります。
精度とのトレードオフ
一般的に、説明しやすいモデル（決定木など）は精度が低く、精度の高いモデル（深層学習など）は説明しにくい傾向があります。
「精度を取るか、説明可能性を取るか」という選択が生じることがあります。
セキュリティとのトレードオフ
モデルの内部を公開すれば透明性は高まりますが、攻撃者にとっては攻撃しやすくなります。Adversarial Attackの章で見たように、モデルの詳細が知られるほど、攻撃者は効果的な攻撃を設計しやすくなります。
営業秘密とのトレードオフ
モデルや学習データは、企業の重要な営業秘密であることがあります。透明性のために公開すれば、競合他社に技術を盗まれるリスクが生じます。
「完全な透明性」は現実的ではないかもしれません。しかし「どこまでの透明性を、誰に対して、どのような形で確保するか」を社会全体で議論し続けることが、AIへの信頼を築く上で不可欠です。
まとめ
透明性 → AIシステムの仕組み・データ・判断プロセスが、関係者に理解できる形で開示されていること
説明可能性 → AIが特定の判断を下した理由を、人間が理解できる言葉で説明できること
ブラックボックス問題 → ディープラーニングの内部構造が複雑すぎて、判断のプロセスが人間には追えない問題
データの来歴（Data Provenance） → データがどこから来て、どのように加工・利用されてきたかの履歴。透明性の基盤となる概念
next ▶ 民主主義と環境