定義・定理・公式まとめ

$\hat{y} = f_\theta(x)$

傾き $w$ をスライダーで動かし、データにいちばん合う形を探すのが学習そのもの

$L(w) = \sum_i \bigl(y_i - w x_i\bigr)^2$

各点の縦のずれ(残差)を二乗して足すと、良し悪しが1つの数になる

観測点が完全に一直線に並べば最小損失は0

パラメータを増やせば、訓練データへの当てはまり(訓練誤差)はいくらでも下げられる

点の数を超える自由度があれば訓練誤差を0にできるが、それは既知の点への丸暗記にすぎない

未知データでの成績(汎化)は別問題。第8章の過学習でくわしく扱う

$\theta^{*} = \arg\min_{\theta}\ L(\theta)$

回帰も分類もニューラルネットも、扱う関数と損失の形が違うだけでやることは同じ谷底探し

椀が1つのきれいな形なら閉じた式(正規方程式)で解けるが、複雑な谷は坂を下って探す(勾配降下)

「解ける回帰」と「下って探すニューラルネット」の分かれ目はここにある

$L(w,b)=\sum_i \bigl(y_i-(w x_i+b)\bigr)^2$

符号を消して上振れも下振れも罰し、なめらかで微分しやすい形にするため二乗を使う

$\hat{w}=(X^\top X)^{-1}X^\top y$

線形代数では射影、統計では推定量、機械学習では学習済みパラメータ。同じ式が3つの名前を持つ

$X^\top X$ が正則(=特徴量が1次独立)であることが前提。閉じた式で一発で解ける

最小二乗直線では $\sum_i (y_i-\hat{y}_i)=0$

上側と下側のずれがちょうど釣り合う

切片 $b$ を自由パラメータとして最小化するモデルでのみ成立(切片の正規方程式そのもの)。切片を固定・省略したモデルでは一般に成り立たない

$\hat{y}=\mathbf{w}^\top\mathbf{x}+b=w_1x_1+\cdots+w_dx_d+b$

特徴量が増えても予測は重みと特徴量の内積のまま

$\hat{y}=w_0+w_1x+w_2x^2+\cdots+w_kx^k$

$x^2,x^3$ を新しい特徴量と見れば、重みについては線形のまま

次数を上げすぎると点と点の間で曲線が暴れる(第8章の過学習の芽)

$\mathbf{w}^\top\mathbf{x}+b>0\Rightarrow$ クラス1、$<0\Rightarrow$ クラス0

点がどちら側かは、法線ベクトル $\mathbf{w}$ との内積の符号で決まる

$\sigma(z)=\dfrac{1}{1+e^{-z}},\quad \sigma'(z)=\sigma(z)(1-\sigma(z))$

実数の線形和を0〜1の確率に押し込む。$\sigma(0)=0.5$ がちょうど境界の真上

$\sigma'(z)$ の最大値は $0.25$($z=0$)。深いネットで掛け合わさると勾配消失の原因になる(第7章)

$z=\log\dfrac{p}{1-p}$

ロジスティック回帰の線形和はロジット(オッズの対数)を予測している

$p_k=\dfrac{e^{z_k/T}}{\sum_j e^{z_j/T}}$

指数で正の値にして合計で割るだけ。シグモイドの多クラス版

$T\to0$ の極限は $\arg\max$(勝者総取り)、$T$ を上げると各クラスへなだらかに散る

$\log L(w,b) = -\dfrac{1}{2\sigma^2}\sum_i \bigl(y_i-(w x_i+b)\bigr)^2+\text{(定数)}$

観測が真の直線の周りにガウス雑音で散らばると仮定すると、対数尤度の最大化は残差二乗和の最小化と一致する

$L=-\log(\text{尤度})$

$\log$ は単調増加なので、尤度最大の点と損失最小の点は同じ谷底

$I(p)=-\log p,\quad H(p)=-\sum_k p_k\log p_k$

確実な出来事の情報量は0、珍しい出来事ほど大きい。エントロピーは情報量の期待値

$H(p,q)=H(p)+D_{\mathrm{KL}}(p\,\|\,q)$

$H(p)$ は避けられない下限、学習で減らせるのはKLの部分だけ

KLは非対称($D_{\mathrm{KL}}(p\|q)\neq D_{\mathrm{KL}}(q\|p)$)で距離の公理を満たさない

$\theta \leftarrow \theta - \eta\, \nabla L(\theta)$

勾配は最も急に増える向きを指すので、その逆に進めば最も急に減る

「勾配の逆向きが最も急に減る方向」は $L$ が微分可能かつ $\nabla L\neq0$ のとき、ユークリッド距離で測った向きに限った話(ノルムを変えると最急方向も変わる)。学習率 $\eta$ が大きすぎると谷を飛び越えて発散し、小さすぎると谷底に届かない

$v \leftarrow \mu v - \eta \nabla L,\quad \theta \leftarrow \theta + v$

過去の更新を速度として溜め、谷を横切る振動は打ち消し合い谷に沿う方向は加速する

モメンタム係数 $\mu$(通常0.9前後)が大きすぎると谷底を通り過ぎて行き過ぎる

$\theta \leftarrow \theta - \eta\, \dfrac{\hat{m}}{\sqrt{\hat{v}}+\varepsilon}$

勾配の移動平均(慣性)と勾配二乗の移動平均(方向ごとの歩幅調整)を両取りする

勾配を全データでなく一部(ミニバッチ)だけで近似して更新する

ノイズが乗って軌跡はギザギザになるが、浅い局所解や鞍点から抜け出す助けになり計算も軽い

$a=\sigma(w_1 x_1+w_2 x_2+b)$

重み付き和にバイアスを足しシグモイドに通すだけ。ニューロンは1個のロジスティック回帰

$\mathbf{a}=\sigma(W\mathbf{x}+\mathbf{b})$

層を重ねるとは、この行列変換を次々に合成すること

$W_2(W_1\mathbf{x})=(W_2W_1)\mathbf{x}$

活性化を外すと、何層積んでも1つの行列と同じ表現力しか出ない

非線形(活性化)が空間を折り曲げ、直線では引けない複雑な境界を可能にする

$\sigma(wx+b)$ で $w$ は折り目の急さ、$b$ は折り目の横位置

重み行列は空間の伸縮・回転、バイアスは平行移動。合わせるとアフィン変換そのもの

$\dfrac{\partial L}{\partial(\text{入力})} = \dfrac{\partial L}{\partial(\text{出力})} \cdot \dfrac{\partial(\text{出力})}{\partial(\text{入力})}$

上流から流れてきた勾配に、そのノードのローカル勾配を掛けて下流へ渡すだけ

各ノードの関数がその点で微分可能であることが前提(連鎖律そのものの成立条件)

$\sigma'(z)=\sigma(z)(1-\sigma(z))$、最大値は $0.25$($z=0$)

tanhの入力が飽和したノードではローカル勾配がほぼ0になり、下流の勾配も消えていく

ローカル勾配が層の数だけ掛かると $0.25^n$ のように急速に0へ近づく

深いネットが学習しにくい主因。ReLUや残差接続、正規化が処方になる

パラメータが百万個あっても、順伝播1回・逆伝播1回のたった2パスで全勾配が揃う

数値微分で1つずつ求めるより桁違いに軽い。この効率が大規模な深層学習を現実にした

$\text{誤差} = \text{バイアス}^2+\text{バリアンス}+\text{ノイズ}$

単純なモデルは高バイアス・低バリアンス、複雑なモデルは低バイアス・高バリアンス

成立条件: 二乗誤差損失で、固定した入力点における予測誤差を訓練データとノイズについて期待値化した分解($y=f(x)+\varepsilon$、$E[\varepsilon]=0$、$\varepsilon$は予測と独立)。1回きりの実現誤差や絶対誤差には当てはまらない

$L_{\text{正則化}} = \sum_i (y_i-\hat{y}_i)^2 + \lambda\sum_j w_j^2$

$\lambda$ を大きくするほど係数が0へ引き寄せられ、曲線がなだらかになる

L2は $\sum_j w_j^2$(円)、L1は $\sum_j|w_j|$(菱形)

L1は制約領域の角で損失の等高線と接しやすく、いくつかの係数がぴったり0に落ちる(変数選択)

「係数は0の近くにあるはず」というガウス事前を掛けて最尤推定をMAP推定にすると、罰則 $\lambda\sum_j w_j^2$ が現れる

天下りに見えた罰則の正体は、統計の事前分布だった

共分散行列 $\frac{1}{n}X^\top X$ の第1固有ベクトル

データが最も伸びている方向、情報を最も残す軸

$X$ の各列が中心化済み(平均0)であることが前提(中心化していないと $\frac1nX^\top X$ は共分散行列にならない。次項参照)

全分散は一定なので、残す分散を最大化する向きがそのまま捨てる誤差を最小化する向き

「分散最大」と「再構成誤差最小」は同じ1つの向きの表と裏

すべての方向で分散が等しいときは、捨ててよい方向がなく圧縮できない

分散は平均まわりのばらつき

中心化しないと原点からの距離が方向の分散に混ざり、主成分が平均の向きに歪む

$\text{累積寄与率}(k)=\dfrac{\lambda_1+\cdots+\lambda_k}{\lambda_1+\cdots+\lambda_d}$

寄与率の大きい順に固有値を足し、目標(例えば95%)に届く $k$ で次元を打ち切る

全主成分を残せば再構成誤差は0(何も捨てていない)

$p(y\mid x)$

回帰はガウス分布、分類はベルヌーイ/多項分布として $p(y\mid x)$ を推定していた

$p(\theta\mid\text{データ}) \propto p(\text{データ}\mid\theta) \times p(\theta)$

事前の信念にデータがもたらす尤度を掛けて、事後の信念へ更新する

事後分布のピーク=MAP推定、さらに事前を消すと最尤推定

ベイズという広い枠の中に、これまでの点推定がぜんぶ収まる

$\lambda=\alpha/\beta$(事前の精度 $\alpha$、雑音の精度 $\beta$)

ガウス事前つきMAPの目的関数はリッジ回帰と完全に一致する

$\lambda=0$ にすると事前が消え、MAPは最尤推定(罰則なしの最小二乗)に戻る