← コースに戻る

積・商・合成 — 微分の文法

前章までで $(x^n)' = nx^{n-1}$ が手に入りました。 でも実際の関数は $x \sin x$ や $\sin(3x)$ のように部品の組み合わせでできています。 組み合わせの微分規則 — いわば微分の文法 — は3つだけです。

触ってみる — 積の法則は長方形

$f(x) \cdot g(x)$ を「縦 $g$、横 $f$ の長方形の面積」だと思ってください。 スライダーで $x$ を動かすと、面積の増え方が2つの帯に分解されて見えます。

x1.20

種明かし

$x$ が $dx$ 進むと、横が $f'dx$ 伸び、縦が $g'dx$ 伸びます。面積の増分は:

$$\underbrace{f' g \, dx}_{\text{縦帯}} + \underbrace{f g' \, dx}_{\text{横帯}} + \underbrace{f'g' \, dx^2}_{\text{角(無視できる)}}$$

$dx \to 0$ で角は消え、積の法則が残ります:

$$(fg)' = f'g + fg'$$

商の法則 $\left(\dfrac{f}{g}\right)' = \dfrac{f'g - fg'}{g^2}$ は、積の法則を $f = \frac{f}{g} \cdot g$ に適用すれば導けます(暗記は1つでいい)。

連鎖律 — 速さの掛け算

合成 $y = f(g(x))$ の微分は変化率の掛け算です:

$$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$$

第10章のパイプ図を思い出してください。$x$ が動くと中間変数 $u$ が $g'$ 倍速で動き、 $u$ が動くと $y$ が $f'$ 倍速で動く。直列につないだ速さは掛け算 — それだけです。 たとえば $y = \sin(3x)$ なら、中身が3倍速なので $y' = 3\cos(3x)$。

機械学習の誤差逆伝播は、この掛け算を何百層も続けているだけです。

理解チェック

$y = (x^2 + 1)^3$ を微分してください。

答えを見る

外の速さ $3u^2$ × 中の速さ $2x$ で、$y' = 3(x^2+1)^2 \cdot 2x = 6x(x^2+1)^2$。 展開してから微分しても同じ答えになりますが、計算量が段違いです。