回帰問題というのは、
・明日の気温を予測する
・家の価格を予測する
・売上を予測する
のように、「ぴったり当てる」よりも、「どれくらい近いか」が大事な世界です。
正解か不正解か、ではなくて、どれくらいズレた？を見るのが「回帰問題の評価」です。
たとえば、明日の気温の予測。
実際は 20℃ だったとする。
・予測A：19℃
・予測B：10℃
どちらも外れているけれど、同じ「外れ」ではないですよね。
回帰の評価は、このズレをどう測るかという話になります。
平均二乗誤差（MSE）
先述したズレ（誤差）を数値で測る代表的な方法が、平均二乗誤差（Mean Squared Error：MSE）です。
これは、大きく外れたら、ものすごく怒る先生。
10℃ズレたら、100のペナルティ！
小さなミスより、大きなミスを強く責める、というイメージです。
少し数学的な説明になりますが、定義としては、予測値と正解値の差を二乗し、それを平均したもの、となります。
では、なぜ「二乗」するのでしょうか。理由は大きく2つあります。
① マイナスを打ち消すため
誤差はプラスにもマイナスにもなります。そのまま足すと相殺されてしまいます。
② 大きなズレを強く罰するため
二乗すると、大きな誤差ほどより大きく評価されます。
たとえば、
・1のズレ → 1
・5のズレ → 25
同じ5倍のズレでも、評価は25倍。
だからMSEは、大きな外れ値に敏感です。
特徴をまとめます。
・数学的に扱いやすい
・微分可能（学習に使いやすい）
・大きな誤差を強くペナルティ
・外れ値に弱い
二乗平均平方根誤差（RMSE）
二乗平均平方根誤差（Root Mean Squared Error：RMSE）は、MSEの平方根をとったものです。
MSEの考え方はそのままに、現実の単位に戻してくれる先生です。
「平均で何℃ズレているか」を感覚的に教えてくれます。
数式は以下となりますが、暗記する必要はありません。
つまり、
誤差を二乗して
平均して
それを平方根で戻す
という流れ。
では、なぜ平方根をとるのでしょうか。
MSEは「二乗」しているため、単位も二乗されてしまいます。
たとえば、価格（円）を予測しているのに、MSEは「円²」になってしまう。
それを、元の単位に戻したのが、RMSE。
単位が元に戻ると、解釈しやすい。MSEと同じく、大きな誤差に敏感である。ということから、実務でよく使われます。
実際の現場では、「平均してどれくらいズレているか」を直感的に理解しやすいので、RMSEのほうがよく使われるのです。
MSEとの違いは、
MSE → 二乗のまま（理論向き）
RMSE → 平方根をとる（解釈向き）
となりますが、どちらも大きな誤差を強く評価する点は同じです。
RMSE = √MSE
単位が元に戻り、大きな誤差に敏感になる評価指数です。
平均絶対値誤差（MAE）
平均絶対値誤差（Mean Absolute Error：MAE）は、予測値と正解値の差の「絶対値」をとって平均したものです。
どんなズレも、同じ重みで見る先生にたとえられます。
1℃ズレたら1。
10℃ズレたら10。
怒らない。でも淡々と数えます。
数式は以下となりますが、こちらも暗記する必要はありません。
MSEは「二乗」でした。
MAEは「絶対値」です。
つまり、プラスもマイナスも、そのまま距離として数えるという、とても素直な考え方。
MAEは、「ズレの大きさ」をそのまま数える指標ということです。
ゆえに、単位は元のまま、外れ値の影響を受けにくい、直感的に分かりやすいという特徴を持ちます。
MSEやRMSEは「二乗」するため、大きな誤差を強く罰する性質がありました。
でも、MAEは、すべてのズレを同じ重みで扱います。
だから、外れ値にあまり引きずられません。
・MSE／RMSE → 大きな誤差に敏感
・MAE → 均等に評価する
どちらが適しているかは、目的によって変わります。
MAEをまとめましょう。
・誤差の絶対値の平均
・外れ値に強め
・解釈しやすい