← コースに戻る

回帰 — 最小二乗をML視点で握り直す

線形代数の第8章と統計の第10章で、あなたはすでに最小二乗法に触れています。ここではその同じ計算を、機械学習の言葉で握り直します。式は増えません。名前と見え方が変わるだけです。

触ってみる — 残差と、その二乗和

橙の点をドラッグすると、青い最小二乗直線と赤い残差が追従します。これは線形代数第8章で見た図そのものです。

予測は $\hat{y} = w x + b$。各点の縦のずれ(残差)$y_i - \hat{y}_i$ を二乗して足したものが損失です。

$$L(w, b) = \sum_{i} \bigl(y_i - (w x_i + b)\bigr)^2$$

なぜ二乗か。符号を消して(上振れも下振れも罰する)、なめらかで微分しやすい形にするためです。絶対値でも符号は消せますが、折れ曲がる分だけ最適化が扱いにくくなります。

損失地形をはじめて描く

パラメータが $w$ と $b$ の2つになりました。横軸 $w$・縦軸 $b$ の平面に損失を高さとして描き、上から見たのが損失地形の等高線です。

傾き w1.00切片 b1.20

損失 SSE(w, b) = 26.820　谷底の旗 ⚑ = (2.01, -0.03)

つまみを動かすと、椀型の谷を上から覗いている感覚がつかめます。谷底の旗が最小二乗解です。谷が細長いのは、傾きと切片で損失の敏感さが違うから — この「細長さ」が第5章の勾配降下で効いてきます。

種明かし — 同じ式の3つの顔

この最小二乗解には、あなたが別々のコースで出会った3つの顔があります。行列で書くと、

$$\hat{w} = (X^\top X)^{-1} X^\top y$$

• 線形代数第8章では、これは $y$ を列空間へ落とす射影でした。$X\hat{w}$ が $y$ にいちばん近い到達点
• 統計第10章では、これは最小二乗推定量。データから傾きと切片を推定する式
• 機械学習では、これは損失 $L(w,b)$ を最小にする学習済みパラメータ

$(X^\top X)^{-1}X^\top$ という1つの式が、射影行列でもあり、推定量でもあり、学習の答えでもある。分野が違うと名前が変わるだけで、中身は同じ計算です。

そして重要なのは、この式が閉じた形で一発で解けること。行列の逆が計算できる限り、坂を下る必要はありません。これが「解ける回帰」と、次章以降の「解けないので下って探すモデル」の分かれ目です。

試してみよう

• 残差の合計(符号つき)は、最小二乗直線でいくつになるでしょう(ちょうど 0。上側と下側のずれが釣り合います)
• 点を1つだけ大きく外れた位置へ引きずると、直線はどう動きますか(二乗が効いて、外れ値に強く引っ張られます)

理解チェック

逆行列 $(X^\top X)^{-1}$ が計算できないのはどんなとき?

特徴量が1次従属のとき(例えば同じ列が2つある、データ点が足りない)です。$X^\top X$ が正則でなくなり、解が一意に定まりません。第8章の正則化(リッジ回帰)は、まさにこの不安定さに罰則を足して安定させる処方でもあります。

操作チャレンジ