機械学習の数学

学習とはパラメータθを動かして損失を最小化する操作であることを、直線あてはめと損失の谷の図から理解する。目安 40分

1. 1-1学習 = パラメータ調整を体感する無料
2. 1-2損失を最小にする — 最適化という共通言語無料

最小二乗解 (X^T X)^{-1}X^T y が射影・推定量・学習済みパラメータの3つの顔を持つことを確かめ、重回帰・多項式回帰を特徴量の内積として扱えるようになる。目安 40分

1. 2-1直線あてはめ、ふたたび無料
2. 2-2重回帰と特徴量 — 行列で書く無料

決定境界を内積の符号として引き、シグモイド・オッズ・ロジットの関係とソフトマックスによる多クラス分類までを計算できるようになる。目安 60分

1. 3-1決定境界を引くプレミアム
2. 3-2ロジスティック回帰を使う — オッズとソフトマックスプレミアム
3. 3-3総合演習① 回帰と分類総合演習プレミアム

二乗誤差はガウス雑音の、交差エントロピーはベルヌーイ・多項分布の最尤推定から導かれることを示し、情報量・エントロピー・KLダイバージェンスの関係を扱えるようになる。目安 40分

1. 4-1損失の正体は尤度プレミアム
2. 4-2交差エントロピーと情報量プレミアム

学習率の大小が発散・停滞を生む仕組みを手で確かめ、モメンタム・Adamが方向ごとの歩幅調整で振動を抑える工夫であることを理解する。目安 40分

1. 5-1学習率を壊してみるプレミアム
2. 5-2モメンタム・Adam — 下り方の改良プレミアム

ニューラルネットの1層をアフィン変換+非線形活性化として捉え、活性化を外すと深さをどれだけ積んでも1つの線形変換に潰れることを確かめる。目安 40分

1. 6-1順伝播 — 行列変換の連鎖プレミアム
2. 6-2層と表現力 — 空間の折り曲げプレミアム

誤差逆伝播が連鎖律にもとづきローカル勾配を掛け合わせて全パラメータの勾配を運ぶ仕組みを理解し、勾配消失が起きる条件まで扱えるようになる。目安 60分

1. 7-1逆伝播 — 勾配が流れる計算グラフ無料
2. 7-2逆伝播を使う — 勾配消失までプレミアム
3. 7-3総合演習② 損失から逆伝播まで総合演習プレミアム

過学習をバイアス・バリアンス分解で捉え、L2正則化がガウス事前つきMAP推定と一致すること、L1正則化がスパース化を起こす傾向を理解する。目安 40分

1. 8-1過学習の正体プレミアム
2. 8-2正則化 — L1・L2の幾何プレミアム

PCAを分散最大化・再構成誤差最小化の2つの見方で再訪し、累積寄与率にもとづいて低ランク近似の次元を選べるようになる。目安 40分

1. 9-1次元を減らす — 主方向への射影プレミアム
2. 9-2低ランク近似とオートエンコーダの入口プレミアム

回帰・分類・正則化を確率モデルとして統一的に見直し、ベイズ的な予測が不確かさの幅を返すことと、MAP推定が正則化と一致することを理解する。目安 60分

1. 10-1モデルは確率分布プレミアム
2. 10-2ベイズ的な学習と生成モデルの入口プレミアム
3. 10-3総合演習③ 頻度論とベイズ総合演習プレミアム