回帰 — 最小二乗をML視点で握り直す

線形代数の第8章と統計の第10章で、あなたはすでに最小二乗法に触れています。ここではその同じ計算を、機械学習の言葉で握り直します。式は増えません。名前と見え方が変わるだけです。

触ってみる — 残差と、その二乗和

橙の点をドラッグすると、青い最小二乗直線と赤い残差が追従します。これは線形代数第8章で見た図そのものです。

点1の座標

$x_1$$y_1$

点2の座標

$x_2$$y_2$

点3の座標

$x_3$$y_3$

点4の座標

$x_4$$y_4$

最小二乗法の回帰直線は y = 0.83x + 0.12 です。残差の2乗の合計は 0.01 で、この直線はこの値を最小にするように選ばれています。

予測は $\hat{y} = w x + b$。各点の縦のずれ(残差)$y_i - \hat{y}_i$ を二乗して足したものが損失です。

$$L(w, b) = \sum_{i} \bigl(y_i - (w x_i + b)\bigr)^2$$

なぜ二乗か。符号を消して(上振れも下振れも罰する)、なめらかで微分しやすい形にするためです。絶対値でも符号は消せますが、折れ曲がる分だけ最適化が扱いにくくなります。

損失地形をはじめて描く

パラメータが $w$ と $b$ の2つになりました。横軸 $w$・縦軸 $b$ の平面に損失を高さとして描き、上から見たのが損失地形の等高線です。

傾き w1.00切片 b1.20

損失 $SSE(w, b) = 26.820$　谷底の旗 ⚑ $= (2.01, -0.03)$

つまみを動かすと、椀型の谷を上から覗いている感覚がつかめます。谷底の旗が最小二乗解です。谷が細長いのは、傾きと切片で損失の敏感さが違うからです。この「細長さ」が、第5章の勾配降下で効いてきます。

種明かし — 同じ式の3つの顔

この最小二乗解には、別々のコースで出会った3つの顔があります。行列で書くと、

$$\hat{w} = (X^\top X)^{-1} X^\top y$$

• 線形代数第8章では、これは $y$ を列空間へ射影した到達点の係数。射影そのものは $X$ をかけた $\hat{y}=X\hat{w}$ で、$y$ にいちばん近い点
• 統計第10章では、これは最小二乗推定量。データから傾きと切片を推定する式
• 機械学習では、これは損失 $L(w,b)$ を最小にする学習済みパラメータ

$\hat{w} = (X^\top X)^{-1} X^\top y$ という1つの式が、最小二乗推定量でもあり、学習の答えでもある。列空間への射影は $X$ をかけたハット行列 $X(X^\top X)^{-1}X^\top$ で、$\hat{y}=X\hat{w}$ がその射影(いちばん近い点)。分野で名前が変わるだけで同じ計算です。

この式は閉じた形で一発で解けます。行列の逆が計算できる限り、坂を下る必要はありません。これが「解ける回帰」と、次章以降の「解けないので下って探すモデル」の分かれ目です。

試してみよう

• 残差の合計(符号つき)は、最小二乗直線でいくつになるでしょう(ちょうど 0。上側と下側のずれが釣り合います)
• 点を1つだけ大きく外れた位置へ引きずると、直線はどう動きますか(二乗が効いて、外れ値に強く引っ張られます)

理解チェック

逆行列 $(X^\top X)^{-1}$ が計算できないのはどんなとき?

特徴量が1次従属のとき(例えば同じ列が2つある、データ点が足りない)です。$X^\top X$ が正則でなくなり、解が一意に定まりません。第8章の正則化(リッジ回帰)は、まさにこの不安定さに罰則を足して安定させる処方でもあります。

操作チャレンジ

式で確かめる

動かして掴んだ感覚を、式と言葉で確かめます。間違えても、ヒントと解説で戻れます。

確認 1 / 3

最小二乗直線において、符号つきの残差(実測 − 予測)の合計はいくつになりますか。

答え

±√π

確認

ヒントを見る

確認 2 / 3

$(X^\top X)^{-1} X^\top y$ という同じ式が持つ「3つの顔」に含まれないものはどれですか。

最小二乗推定量(統計)射影された予測 $\hat{y}=X\hat{w}$ を生む係数(線形代数)損失を最小にする学習済みパラメータ(機械学習)共分散行列の固有値分解

ヒントを見る

確認 3 / 3

損失に絶対値でなく二乗を使う主な理由はどれですか。

計算が必ず速くなるから外れ値を無視できるから符号を消しつつ、なめらかで微分しやすい形になるから損失を負の値にできるから

ヒントを見る