機械学習の数学
回帰・分類からニューラルネットまで。線形代数・微積・統計で触った数学が、機械学習のどこでどう動くかを図の上で確かめる。
- 到達目標
- 回帰・分類・ニューラルネットの誤差逆伝播までの計算が、線形代数・微積・統計のどの道具でできているかを説明できるようになる。
- 初回閲覧の目安
- 約8時間(全23レッスン)操作・計算演習・復習まで含めた習熟には、これ以上かかります。
このコースの前提
定義・定理・公式まとめ
体感したレッスンから引ける、知識の地図です。
計算演習
何度でも新しい数値で練習できます。
第1章 機械学習は関数のあてはめ
学習とはパラメータθを動かして損失を最小化する操作であることを、直線あてはめと損失の谷の図から理解する。目安 40分
第2章 回帰 — 最小二乗をML視点で握り直す
最小二乗解 (X^T X)^{-1}X^T y が射影・推定量・学習済みパラメータの3つの顔を持つことを確かめ、重回帰・多項式回帰を特徴量の内積として扱えるようになる。目安 40分
第3章 分類とロジスティック回帰
決定境界を内積の符号として引き、シグモイド・オッズ・ロジットの関係とソフトマックスによる多クラス分類までを計算できるようになる。目安 60分
第4章 損失と尤度 — なぜその損失関数なのか
二乗誤差はガウス雑音の、交差エントロピーはベルヌーイ・多項分布の最尤推定から導かれることを示し、情報量・エントロピー・KLダイバージェンスの関係を扱えるようになる。目安 40分
第5章 勾配降下の実務
学習率の大小が発散・停滞を生む仕組みを手で確かめ、モメンタム・Adamが方向ごとの歩幅調整で振動を抑える工夫であることを理解する。目安 40分
第6章 ニューラルネットの順伝播
ニューラルネットの1層をアフィン変換+非線形活性化として捉え、活性化を外すと深さをどれだけ積んでも1つの線形変換に潰れることを確かめる。目安 40分
第7章 誤差逆伝播 — 連鎖律が勾配を運ぶ
誤差逆伝播が連鎖律にもとづきローカル勾配を掛け合わせて全パラメータの勾配を運ぶ仕組みを理解し、勾配消失が起きる条件まで扱えるようになる。目安 60分
第8章 正則化とバイアス・バリアンス
過学習をバイアス・バリアンス分解で捉え、L2正則化がガウス事前つきMAP推定と一致すること、L1正則化がスパース化を起こす傾向を理解する。目安 40分
第9章 次元削減 — PCA再訪
PCAを分散最大化・再構成誤差最小化の2つの見方で再訪し、累積寄与率にもとづいて低ランク近似の次元を選べるようになる。目安 40分
第10章 確率的な視点 — 尤度からベイズ、生成へ
回帰・分類・正則化を確率モデルとして統一的に見直し、ベイズ的な予測が不確かさの幅を返すことと、MAP推定が正則化と一致することを理解する。目安 60分