損失を最小にする — 最適化という共通言語

ウォームアップ — 第1章の振り返り

問1 / 1

問1・現在

リセット

傾き $w$ を動かして、原点を通る直線 $\hat{y} = wx$ の損失(残差二乗和)を最小にしてください。

傾き w1.00

損失(残差二乗和) $= 55.620$

前のレッスンでは傾き $w$ を手で動かして損失を下げました。ここでは視点を変えます。損失そのものをパラメータの関数として描くと、機械学習の全体像が1枚の地形図になります。

パラメータ空間と損失の対応

損失を $L(w)$ と書きます。横軸に $w$、縦軸に損失 $L(w)$ を取ると、1本の谷型の曲線が現れます。データへの当てはめ問題が、この谷の底を探す問題に置き換わりました。

パラメータ w0.60

損失 $L(w) = 108.500$

スライダーで傾き $w$ を動かして、橙の点を谷底に落としてみてください。谷底の $w$ が、前のレッスンで「自動最適化」が返したのと同じ最適パラメータです。

種明かし — 最適化がコース全体を貫く

このコースで出てくる手法は、扱う関数 $f_\theta$ と損失 $L$ の形こそ違え、やることは同じ形をしています。

$$\theta^{*} = \arg\min_{\theta}\ L(\theta)$$

• 回帰(第2章): $f_\theta$ は直線、$L$ は残差二乗和
• 分類(第3章): $f_\theta$ はシグモイド、$L$ は交差エントロピー
• ニューラルネット(第6・7章): $f_\theta$ は変換の合成、$L$ は同じく交差エントロピーや二乗誤差

損失の谷が1つのきれいな椀なら、閉じた式で底が求まることもあります(第2章の正規方程式)。谷が複雑で式で解けないときは、坂を下って底を探す(第5章の勾配降下)。ただし閉じた式が存在する場合でも、データが大規模だと行列計算が重く、反復法(勾配降下)のほうが実用上有利なことがあります。「解ける谷」と「下って探す谷」の違いは、このコースの2つの解法の分かれ道であると同時に、どちらを選ぶかはデータ規模しだいの実務判断でもあります。

パラメータが2つ以上になると、谷は平面や高次元空間に広がります。次章では $w$ と切片 $b$ の2つを軸に取り、損失を等高線で見る地形図を初めて描きます。

試してみよう

• 谷の左側と右側では、$w$ を動かしたときの損失の増え方が同じですか(対称な放物線なので、底から等しく離れれば同じだけ増えます)
• パラメータが2つになったら、この谷型の曲線は何に変わるでしょう(2次元の椀。上から見ると等高線 = 次章)

操作チャレンジ

式で確かめる

動かして掴んだ感覚を、式と言葉で確かめます。間違えても、ヒントと解説で戻れます。

確認 1 / 3

このコースの手法に共通する、最適化の目標を表す式はどれですか。

損失 $L(\theta)$ を最小にする $\theta$ を探す($\arg\min$)尤度を最小にするパラメータ数を最大にする$\theta$ をできるだけ大きくする

ヒントを見る

確認 2 / 3

レッスンの対応表で、分類(第3章)の $f_\theta$ と損失 $L$ の組み合わせはどれですか。

シグモイド と 残差二乗和シグモイド と 交差エントロピー直線 と 残差二乗和変換の合成 と 二乗誤差

ヒントを見る

確認 3 / 3

損失の谷が1つのきれいな椀のとき、その底はどう求められますか。

必ず坂を下って探すしかない乱数で当てるしかないけっして求まらない閉じた式で一発で求まることがある(第2章の正規方程式)

ヒントを見る