定義・定理・公式まとめ

$\vec{a}+\vec{b} = (a_1+b_1,\ a_2+b_2)$

赤い点と青い点をドラッグすると、和は先端を継ぎ足した到達点として動く

$k\vec{a}$

スライダーで $k$ を動かすと、$k<0$ で矢印が反対向きに裏返る

※ $k=0$ はどんなベクトルも零ベクトルに潰す

$\vec{a}\cdot\vec{b} = |\vec{a}||\vec{b}|\cos\theta = a_1b_1+a_2b_2$

幾何の顔(影・射影)と成分の顔(掛けて足す)が常に一致する

$|\vec{a}| = \sqrt{\vec{a}\cdot\vec{a}},\quad \vec{a}\perp\vec{b} \iff \vec{a}\cdot\vec{b}=0$

自分自身との内積がピタゴラスの定理そのものになっている

$c_1\vec{a}+c_2\vec{b}$ の届く点全体がスパン

係数スライダー2本で到達点が動き、届く範囲が塗られていく

片方が他方のスカラー倍 $\iff$ 1次従属(平行)

2本を平行に寄せると、塗られていた平面が1本の直線に潰れる瞬間が見える

※ 1次独立なら張る空間は平面のまま(退化しない)

$\vec{p} = c_1\vec{b}_1+c_2\vec{b}_2$ の $(c_1,c_2)$ が基底 $\{\vec{b}_1,\vec{b}_2\}$ での座標

座標は「基底ベクトルを何杯ずつ混ぜるか」のレシピ

$c_1\vec{b}_1+c_2\vec{b}_2=\vec{p}$ を成分で書き下すと連立方程式になる

同じ点でも基底を替えれば座標は変わる。標準基底は数ある基底の1つにすぎない

$A=\begin{pmatrix} a & c \\ b & d \end{pmatrix}$ の1列目は $\hat{\imath}$、2列目は $\hat{\jmath}$ の行き先

赤い点・青い点をドラッグすると格子と単位正方形が連動して変形する

$A\begin{pmatrix} x \\ y \end{pmatrix} = x(\text{1列目})+y(\text{2列目})$

基底の行き先さえ決まれば、他の全ベクトルの行き先も線形性から自動的に決まる

$(AB)\vec{x} = A(B\vec{x})$

$AB$ の列は「$B$ で送ってから $A$ で送った」基底の行き先そのもの

一般に $AB \neq BA$

「回転してからせん断」と「せん断してから回転」で格子の変形結果が変わる

※ 結合法則 $(AB)C=A(BC)$ は常に成り立つ。壊れるのは交換法則だけ

$AI=IA=A$

単位行列は何もしない変換、零行列はすべてを原点に潰す変換

行の見方=直線の交点、列の見方=線形結合で $\vec{b}$ に届くか

同じ式を「制約の共通部分」と「材料の混ぜ方」の2通りに読む

解は「一意 / 不能(平行) / 不定(一致)」の3通りしかない

スライダーで直線を動かし、平行にすると交点が消える瞬間を確かめる

行の定数倍 / 行に他行の定数倍を足す / 行の入れ替え、の3種類のみ

どの手も解の集合を変えない。直線は回るが交点(解)を軸に回る

各行の先頭の1(ピボット)が階段状に並ぶ形

ピボットのない列は自由変数(不定)、矛盾行 $0=c\ (c\neq0)$ は不能

$\det\begin{pmatrix} a & c \\ b & d \end{pmatrix} = ad-bc$

大きさ=面積の拡大率、符号=向きの反転、0=潰れの3つの顔を持つ

$\det(AB) = \det A \cdot \det B$

拡大率を続けて掛けるだけ。$AB\neq BA$ でも行列式は等しい

※ $\det(AB)=\det(BA)$ は常に成り立つ(スカラーの積は可換なため)

1つの行(列)について線形。2つの行(列)を入れ替えると符号が反転

赤と青をすれ違わせると平行四辺形の色(向き)が変わる瞬間が符号反転

行の入れ替え→符号反転 / 行に他行の定数倍を加える→不変 / 行を $k$ 倍→行列式も $k$ 倍

せん断(行の加減)は面積を保つから、掃き出しの途中経過から det を追える

$\det A = 0 \iff$ 列ベクトルが1次従属 $\iff$ 平面が直線・点に潰れる

潰れた面積の情報は逆再生できない——次章「逆行列」の出発点

$A^{-1}A = AA^{-1} = I$

スライダーで巻き戻すと格子が元のマス目にぴったり戻る

$A^{-1} = \dfrac{1}{\det A}\begin{pmatrix} d & -c \\ -b & a \end{pmatrix}\ (\det A \neq 0)$

先頭の $1/\det A$ は「$\det A$ 倍された面積を元に戻す」係数

※ $\det A = 0$ だとゼロ除算——潰れた面積は戻せないことの式での表れ

$\mathrm{rank}\,A = \dim(\mathrm{Im}\,A)$(変換後の空間=像の次元)

2次なら rank 2=平面のまま、rank 1=直線に潰れる、rank 0=原点に潰れる

$\dim(\ker A) + \mathrm{rank}\,A = n$

潰れて消えた次元の分だけ、零空間がちょうど受け取っている

$\det A \neq 0 \iff A^{-1}$ が存在 $\iff \mathrm{rank}\,A = n \iff \ker A=\{\vec{0}\} \iff$ 列が1次独立

どれか1つ確かめれば、残り全部が無料でついてくる

足し算とスカラー倍が定義され、公理を満たせばベクトル空間

多項式 $p(x)=c_1x+c_2x^2$ の係数 $(c_1,c_2)$ が「点」になる

※ 中身が矢印である必要はない。多項式・関数もベクトルになれる

次元=基底の本数(独立な生成元の最大個数)

2次以下の多項式全体は基底 $\{1,x,x^2\}$ の3次元空間

$\vec{0}\in W$、$\vec{u},\vec{v}\in W\Rightarrow\vec{u}+\vec{v}\in W$、$\vec{u}\in W\Rightarrow k\vec{u}\in W$

原点を通る直線だけが部分空間になれる。3条件のどれか1つでも破れたら失格

張る空間(スパン)・零空間はつねに部分空間

第2章のスパン、第6章の零空間——実はどちらも部分空間の実例だった

$P = \dfrac{\vec{u}\vec{u}^{\mathsf T}}{\vec{u}^{\mathsf T}\vec{u}}$

方向 $\vec{u}$ をドラッグすると、格子全体が直線の上へ潰れていく

※ $\vec{u}\neq\vec{0}$ が前提。射影は線形変換で $\mathrm{rank}\,P=1$、$\det P=0$(逆行列なし)

$P^2=P$、$\vec{a}=P\vec{a}+(\vec{a}-P\vec{a})$

影の影は影。残った成分(残差)はいつも射影先と直交する

$\vec{u}_2=\vec{v}_2-\dfrac{\vec{v}_2\cdot\vec{u}_1}{\vec{u}_1\cdot\vec{u}_1}\vec{u}_1$

1本ずつ「射影を引いて残差を取る」を繰り返すと正規直交基底が組み上がる

※ 各ベクトルを長さ1に正規化すればQR分解の $Q$ になる

$A^{\mathsf T}A\hat{x} = A^{\mathsf T}\vec{b}$

解けない $A\vec{x}=\vec{b}$ を、列空間へ $\vec{b}$ を射影した点で妥協する

※ $A$ の列が1次独立(=$A^{\mathsf T}A$ が正則)なら $\hat{x}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}\vec{b}$ で一意に定まる

$\vec{r}=\vec{b}-A\hat{x}$ について $A^{\mathsf T}\vec{r}=\vec{0}$

「残差²の合計が最小」と「残差が列空間と直交」は同じことの言い換え

$A\vec{v}=\lambda\vec{v}\ (\vec{v}\neq\vec{0})$

$\vec{v}$ をぐるっと回し、$A\vec{v}$ と向きが揃う瞬間を探す

※ 固有ベクトルの定義から零ベクトルは除く(零ベクトルを含めると任意の $\lambda$ が条件を満たしてしまう)

$\det(A-\lambda I)=0$

「$\lambda$ をいくつ引いたら空間が潰れるか」を探す方程式

$A=PDP^{-1}$ $\iff$ $A$ が $n$ 個の1次独立な固有ベクトルを持つ(固有ベクトルが基底を組む)

固有方向を新しい座標軸に選ぶと、変換はただの軸ごとの伸縮になる

※ 固有値がすべて相異なれば十分条件(必要条件ではない)。重解でも本数さえ揃えば対角化できる(単位行列など)

$\det A=\det D=\lambda_1\lambda_2$(対角化できるとき)

面積の拡大率は、各固有方向の伸縮率の積として合流する

$A^n=PD^nP^{-1}$(対角化できるとき)

100回の行列積が、対角成分を100乗するだけの計算に化ける

$q(x,y)=\begin{pmatrix} x & y \end{pmatrix}\begin{pmatrix} a & b \\ b & c \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix}$

$a,b,c$ を動かすと等高線 $q=1$ が回転したり双曲線に裂けたりする

実対称行列 $A$ は $A=Q\Lambda Q^{\mathsf T}$ と直交対角化できる($Q$ は直交行列)

楕円の長軸・短軸(主軸)がそのまま固有ベクトルの方向になっている

※ 実対称であることが前提。固有値はすべて実数、固有ベクトルは直交する。対称でない一般の行列には成り立たない

固有値が両方正→正定値(楕円) / 正と負→不定値(双曲線) / 片方が0で残りが正→半正定値(谷底が直線)

「ヘッセ行列が正定値なら極小」は、この符号の表がそのまま使われている

※ 符号をすべて逆にすれば負定値・半負定値。判定はあくまで固有値の符号で行う

$\Sigma=\begin{pmatrix} s_x^2 & s_{xy} \\ s_{xy} & s_y^2 \end{pmatrix}$、固有値 $\geq 0$

相関楕円の傾き=$\Sigma$の第1固有ベクトル=データが最も散らばる方向

$\sqrt{\vec{x}^{\mathsf T}\Sigma^{-1}\vec{x}}$

楕円の等高線を「単位」にして測り直した距離

※ $\Sigma$ が正則(=半正定値かつ退化していない)であることが前提

$A=U\Sigma V^{\mathsf T}$

単位円が回転→軸方向の伸縮→回転の3段変身で楕円になる

※ 正方でない行列を含め、どんな行列にも必ず存在する($U,V$は直交行列、$\Sigma$は対角で非負)

$A^{\mathsf T}A$ の固有値の平方根が特異値 $\sigma_i$

$A^{\mathsf T}A$ は対称・半正定値だから、前章のスペクトル定理がそのまま使える

上位 $k$ 個の特異値だけで再構成した行列は、ランク $k$ の行列の中でフロベニウスノルム最小の近似

$k$ を絞ると画質は落ちるが、大まかな形から先に残る

※ 切り捨て誤差は $\sqrt{\sigma_{k+1}^2+\sigma_{k+2}^2+\cdots}$ に等しい

$\max_{|\vec{u}|=1}\vec{u}^{\mathsf T}\Sigma\vec{u}$ の解は $\Sigma$ の第1固有ベクトル

点群が一番伸びている方向を手で探すと、答えは共分散行列の固有ベクトルと一致する

$\lambda_1/(\lambda_1+\lambda_2)$

第1主成分だけで98%なら、データは実質1次元とみなせる

※ PCAはデータ行列 $X$(中心化済み)の SVD と同じもの($\Sigma=X^{\mathsf T}X/n$)

固有値の重複度に対して1次独立な固有ベクトルの本数が足りないと対角化できない

せん断は固有値1(重解)なのに固有ベクトルは $(1,0)$ 方向の1本だけ

※ 「固有値が重解だから」ではない。単位行列のように重解でも対角化できる例がある。決め手は固有ベクトルの本数(幾何的重複度)

$(A-\lambda I)\vec{w}=\vec{v}$($\vec{v}$ は固有ベクトル)

1回かけると固有ベクトルに変わる「補欠」を、足りない本数だけ探して補う

$P^{-1}AP=\begin{pmatrix} \lambda & 1 \\ 0 & \lambda \end{pmatrix}$

対角化の「完全な伸縮」には届かないが、「伸縮+最小限の横流し」まで整理できる

※ 任意の正方行列は複素数の範囲でジョルダン標準形に相似という一般定理の、2次の具体例

$\begin{pmatrix} \lambda & 1 \\ 0 & \lambda \end{pmatrix}^n=\begin{pmatrix} \lambda^n & n\lambda^{n-1} \\ 0 & \lambda^n \end{pmatrix}$

何度かけても右上の項は消えない。微分方程式の解に現れる $te^{\lambda t}$ の正体