機械学習は関数のあてはめ — 学習 = パラメータ調整を体感する

このコースは新しい数学を教えません。線形代数・微積・統計で触った道具が、機械学習の現場でそのまま動くのを図の上で確かめていきます。まず、機械学習でいちばん大事な点を1つの図で押さえましょう。

「予測する」とは、入力 $x$ から出力 $y$ を返す関数を用意することです。ただしその関数には調整できるつまみ(パラメータ)$\theta$ がついています。

$$\hat{y} = f_\theta(x)$$

学習とは、このつまみ $\theta$ を動かして、手元のデータにいちばん合う形を探すこと。それだけです。

触ってみる — 傾き1つで直線を合わせる

黒い点が観測データです。青い直線 $\hat{y} = w x$ にはつまみが1つ、傾き $w$ だけあります。スライダーを動かすと、各点から直線までの縦の隔たり(残差、赤い破線)が変わります。

傾き w1.10

損失 $= 45.15$

自動最適化(答え合わせ)

赤い破線の二乗をぜんぶ足したものが損失です。手でいちばん小さくできたと思ったら、「自動最適化」ボタンで答え合わせをしてみてください。あなたの手探りと、計算が出す最適解がどれだけ近いかが分かります。

種明かし — 良し悪しを1つの数で測る

いま起きたことを整理します。

1. パラメータ付きの関数 $f_\theta$ を用意した(直線 $wx$)
2. 予測の外れ具合を損失という1つの数にまとめた(残差二乗和)
3. 損失を最小にする $\theta$ を探した(これが「学習済みモデル」)

損失を1つの数に押し込むのがポイントです。良し悪しが1次元の高さになれば、あとは「その谷底を探す」という単純な問題に化けます。このコースの回帰・分類・ニューラルネットは、すべてこの「関数を決めて、損失を測って、最小化する」の変奏です。

機械学習の地図はふつう3つに分かれます。正解ラベル付きのデータから $f_\theta$ を学ぶ教師あり学習(このコースの主役)、正解なしで構造を見つける教師なし学習(第9章の次元削減)、試行錯誤で報酬を最大化する強化学習。どれも「何かを最適化する」点は共通です。

試してみよう

• 傾きを極端に大きく・小さくすると損失メーターはどうなりますか(両側で増える谷型になります)
• 点が完全に一直線に並んでいたら、最小の損失はいくつになるでしょう(0。残差がすべて消えます)

理解チェック

パラメータを増やせば損失はいくらでも下げられる?

十分に表現力の高いモデル(たとえば次数をどんどん上げていく多項式)なら、手元のデータ上ではその通りです。パラメータを増やすほど「見たことのある点」への当てはまりはよくなり、点の数を超える自由度があれば損失を0にすることさえできます。ただしこれは、入力 $x$ が互いに異なり、設計行列(各データ点の入力から作る特徴量を行として並べた行列)が十分な階数をもつ場合に限ります(同じ $x$ に異なる $y$ が混ざっていれば、いくら自由度を足しても損失は0になりません)。それでも、これは既知の点に合わせているだけ。未知のデータでの成績(汎化)は別問題で、第8章の過学習で扱います。

操作チャレンジ — 図で解く3問

読んで分かったら、手で確かめましょう。3問とも、スライダーだけで解けます。

式で確かめる

動かして掴んだ感覚を、式と言葉で確かめます。間違えても、ヒントと解説で戻れます。

確認 1 / 3

このレッスンでいう「学習」とは、何をすることですか。

パラメータ $\theta$ を調整して、手元のデータに最も合う形を探すこと入力 $x$ をそのまま出力すること損失を意図的に大きくすること新しい数学の公式を導くこと

ヒントを見る

確認 2 / 3

観測点が完全に一直線に並んでいるとき、直線あてはめで達成できる最小の損失(残差二乗和)はいくつですか。

答え

±√π

確認

ヒントを見る

確認 3 / 3

第9章で扱う次元削減は、機械学習の3分類のどれに属しますか。

強化学習教師あり学習教師なし学習どれにも属さない

ヒントを見る