AIは、賢くなろうとします。
もっと当てよう。もっと細かく覚えよう。もっと例外にも対応しよう……。
でも、ときどきそれが裏目に出ます。
それが 過学習（overfitting） です。
過学習とは、訓練データに合わせすぎてしまうこと。
たとえば、訓練データの中に、たまたま混ざったノイズ、偶然のゆらぎまで全部覚えてしまう。
すると、訓練誤差はとても小さくなります。
でも、新しいデータでは当たらなくなります。
過学習は、「暗記しすぎた優等生」。
過去問は完璧。
でも、少し問題の形が変わると解けなくなってしまいます。
モデルの複雑さも、過学習に関係しています。
モデルが複雑になると、
・より細かいパターンを表現できる
・訓練データにぴったり合わせられる
でも同時に、ノイズまで拾いやすくなってしまいます。
グラフで言えば、
・単純な直線 → 少しズレるけど大まかな傾向を捉える
・ぐにゃぐにゃ曲線 → データ点を全部通るけど、未来では崩れる
細かく説明できることは、必ずしも「理解している」ことではないのです。
少し哲学的になりますが、オッカムの剃刀（Occam’s Razor）、という思想があります。
哲学者オッカムは言いました。「必要以上に仮定を増やすな」
AIの世界で言い換えると、「同じくらい説明できるなら、よりシンプルなモデルを選べ」です。
ごちゃごちゃ足すより、本質だけを残す。
それが、未来に強いモデルにつながるのです。
14世紀の修道士、
William of Ockham は、静かな原則を残しました。
必要のないものを、いたずらに増やしてはならない。
それは科学の公式ではなく、思考の姿勢でした。
中世のヨーロッパでは、世界を説明するために、さまざまな「見えない存在」が持ち出されました。
天使の数。
神の意志。
目に見えない力。
説明は増えていく……。
仮定も増えていく……。
でも、オッカムは、そこに問いを置きました。
「それは、本当に必要か？」
剃刀（かみそり）とは、切り落とす道具。
余分な仮定を、そぎ落とす。
それは単純化ではありません。
怠惰でもありません。
むしろ逆なのです。
複雑にするほうが、楽なのです。
何かを説明できないときは、仮定を足せばいい。
でも削るには、本質を見抜く目、不確実さを受け入れる覚悟がいります。
オッカムの剃刀は、「単純なほうが真実だ」と言っているわけではありません。
そうではなく、「同じだけ説明できるなら、余計なものを増やすな」という態度です。
それは、真理そのものよりも、真理に近づく方法についての原則です。
説明を増やすことは、安心につながります。
複雑な理屈は、理解しているような気持ちにさせてくれます。
でも、説明が増えるほど、間違いに気づきにくくなりますし、検証が難しくなります。
オッカムの剃刀は、思考の節度です。
増やす前に、問い直す。
「それは、本当に必要か？」