定義・定理・公式まとめ

$\bar{x}=\dfrac{1}{n}\sum_{i=1}^n x_i$

全データを足して個数で割ると、ばらつきを均した重心の位置になる

$\sum_{i=1}^n (x_i-\bar x) = 0$

平均より大きい分と小さい分がちょうど打ち消し合う。平均の定義そのものから出る恒等式

この恒等式のせいで偏差をそのまま足しても常に0になり、ばらつきの指標にならない(だから2乗する)

$\dfrac{1}{n}\sum_{i=1}^n (x_i-\bar x)^2$

偏差を2乗してから平均すると、正負が打ち消し合わずにばらつきの大きさだけが残る

$n$ で割った値を標本分散と呼ぶ(データ全体を母集団とみなせば母分散 $\sigma^2$)。標本から母分散を推定するときは $n-1$ で割る不偏分散 $s^2$ を使う(第7章)。本コースの $s^2$ は不偏分散

$s=\sqrt{s^2}$

分散は単位が2乗になってしまうので、平方根を取って元データと同じ単位に戻す

$CV=\dfrac{s}{\bar x}$

標準偏差を平均で割ると単位に依存しない「ばらつきの相対的な大きさ」になり、単位が違うデータ同士も比較できる

$\bar x=0$ に近いデータには使えない(分母が不安定)

$s_{xy}=\dfrac{1}{n}\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y)$

xとyがそろって平均より大きい(小さい)ほど積が正になり、共分散が大きくなる

$r=\dfrac{s_{xy}}{s_xs_y}$

共分散を両方の標準偏差で割って単位を消し、$-1$ から $1$ の間に収める

コーシー・シュワルツの不等式から常に $-1\le r\le 1$。$r=\pm1$ は全点が1本の直線上にあるとき

$|r|$ が1に近いほど直線的な関係が強く、0に近いほど弱い

あくまで「直線関係」の強さの指標であって、曲線的な関係の強さは測れない

$r$ が大きくても $x\to y$ の因果を意味しない

第三の変数(交絡因子)が両方を動かしているだけの見かけの相関がありうる

典型例: 気温とアイスの売上とプールの事故。両方とも「夏」という交絡因子で動く

$r$ は2乗誤差ベースの指標なので外れ値の影響を強く受ける

1点だけ大きく外れたデータが、相関係数の値を大きく引きずってしまう

$0\le P(A)\le 1,\quad P(\Omega)=1$

確率は0(絶対起こらない)から1(必ず起こる)までの目盛りで測る

$P(A\cup B)=P(A)+P(B)-P(A\cap B)$

単純に足すと重なった部分(共通部分)を2回数えてしまうので、1回分を引く

$A,B$ が排反($A\cap B=\varnothing$)なら $P(A\cap B)=0$ で単純な足し算になる

$P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}\ (P(B)>0)$

起こったと分かった $B$ を新しい全体(分母)に取り直して、その中で $A$ が占める割合を測り直す

$P(A\cap B)=P(A)P(B) \iff A,B$ は独立

独立なら $B$ が起きたと知っても $A$ の確率の見積もりは変わらない($P(A\mid B)=P(A)$)

独立と排反は別物。排反な事象は(両方とも確率が正なら)むしろ強く従属している

$P(B)=\sum_i P(B\mid A_i)P(A_i)$

原因 $A_i$ で場合分けしてから、それぞれの起こりやすさで重み付けして足し戻す

$A_1,\dots,A_n$ が全体を排反に分割していることが前提

$P(A\mid B)=\dfrac{P(B\mid A)P(A)}{P(B)}$

結果 $B$ を見た後で、原因 $A$ の確率を「尤もらしさ×事前の確率」で更新し直す

分母 $P(B)$ は全確率の定理で展開して計算することが多い

$E[X]=\sum_i x_iP(X=x_i)$

起こりうる値を、その起こりやすさで重み付けした平均

$V(X)=E[X^2]-(E[X])^2$

定義通り $E[(X-E[X])^2]$ を展開すると、2乗の期待値から期待値の2乗を引く形に整理できる

常に $V(X)\ge 0$。展開の途中式は $E[X^2]-2E[X]E[X]+(E[X])^2$

$E[aX+b]=aE[X]+b$

$X,Y$ が独立でなくても、和や定数倍の期待値は常にこの通りに分解できる

$E[X+Y]=E[X]+E[Y]$ も独立性を仮定しない一般法則

$V(aX+b)=a^2V(X)$

定数 $b$ を足しても散らばり方(分散)は変わらない。$a$ 倍すると散らばりは $a^2$ 倍になる

$X\sim B(n,p)$ のとき $E[X]=np,\ V(X)=np(1-p)$

1回の試行(ベルヌーイ)の平均 $p$・分散 $p(1-p)$ を、独立な $n$ 回分だけ単純に $n$ 倍・足し合わせている

各試行が独立で成功確率 $p$ が一定であることが前提

$X,Y$ が独立なら $V(X+Y)=V(X)+V(Y)$

独立なら共分散の項がゼロになるので、分散はそのまま足し算できる

独立でない場合は $V(X+Y)=V(X)+V(Y)+2\mathrm{Cov}(X,Y)$

$z=\dfrac{x-\mu}{\sigma}$

平均からのズレを標準偏差の単位で測り直す。異なる分布同士でも同じものさしで比較できる

正規分布は $x=\mu$ を軸に左右対称

平均・中央値・最頻値がすべて一致する、山が1つのつり鐘型

$\mu\pm\sigma,\ \mu\pm2\sigma,\ \mu\pm3\sigma$ の範囲にそれぞれ約68%・95%・99.7%が入る

z値がだいたい $\pm1,\pm2,\pm3$ の範囲にどれだけのデータが収まるかの経験則

$X\sim N(\mu,\sigma^2)$ なら $aX+b\sim N(a\mu+b,\ a^2\sigma^2)$

正規分布を1次変換しても、形は正規分布のまま。平均と分散だけがスケール則通りに変わる

分布の形は平均ベクトルと分散共分散行列 $\Sigma$ だけで決まる

等高線は楕円になり、傾きと形は相関係数 $r$ が決めている

$r=0$ かつ2変数が正規分布なら独立(一般の分布では無相関は独立を意味しないので注意)

$n\to\infty$ のとき $\bar X_n \to \mu$

サイコロを振る回数を増やすほど、出た目の平均は理論上の期待値に近づいていく

成立条件: $X_1,\dots,X_n$ が独立同分布(iid)で期待値 $\mu$ が存在すること

$\bar X_n \approx N\!\left(\mu,\ \dfrac{\sigma^2}{n}\right)$($n$ が大きいとき)

元の分布がどんな形でも、たくさん平均すると分布の形が正規分布に近づいていく

成立条件: iid かつ分散 $\sigma^2$ が有限であること。統計的推測の大半がこの近似の上に成り立つ。標準化すると $\sqrt n(\bar X_n-\mu)/\sigma \xrightarrow{d} N(0,1)$

$SE=\dfrac{\sigma}{\sqrt n}$

標本平均自身のばらつき(標準偏差)。サンプルサイズを増やすほど、標本平均は真の平均の周りに集まっていく

誤差を半分にするにはサンプルサイズを4倍にする必要がある($\sqrt n$ で効くため)

元の分布が一様分布でも二項分布でも、標本平均の分布は正規分布に近づく

「平均する」という操作そのものが分布を丸めてつり鐘型に近づける

$E[\hat\theta]=\theta$

同じ手続きで標本を取り直すことを繰り返したとき、推定値の平均が真の値からズレない

$s^2=\dfrac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)^2$

標本平均 $\bar x$ は母平均より標本自身に近づきやすく、$n$ で割ると母分散を系統的に過小評価してしまう。その分を補正するのが $n-1$

成立条件: 補正後の $s^2$ は母分散 $\sigma^2$ の不偏推定量になる($E[s^2]=\sigma^2$)

自由度 $=n-1$

$n$ 個の偏差 $x_i-\bar x$ には「合計が0」という制約が1本あるので、自由に決まるのは $n-1$ 個だけ

正規母集団・母分散未知のとき $\dfrac{\bar X-\mu}{s/\sqrt n}\sim t_{n-1}$

$\sigma$ の代わりに標本から推定した $s$ を使う分だけ、標準正規分布よりすそが重くなる

成立条件: 正規母集団からの iid 標本のとき厳密に $t_{n-1}$。母集団が非正規でも $n$ が大きければ近似的に成立。自由度 $n-1\to\infty$ で $N(0,1)$ に収束する

標準正規分布に従う独立な変数の2乗和が従う分布

分散の推定・検定で「2乗して足す」計算をするたびに顔を出す分布

自由度は通常 $n-1$(平均を推定した分だけ1つ引かれる)

点推定=1つの値、区間推定=幅を持たせた範囲

1点だけで言い切るより、「だいたいこの範囲」と幅を持たせる方が推定の不確実性を正直に表せる

$\bar x \pm z_{\alpha/2}\dfrac{\sigma}{\sqrt n}$

標本平均を中心に、標準誤差の何倍かの幅を両側に取る

「真の母数がこの区間に入る確率が95%」ではない

正しくは「同じ手続きで区間を何度も作ったとき、その約95%が真の値を含む」という、手続き自体の性質

1回作った区間について、真の値が入っているかどうかはもう確率的ではない(入っているか、いないかのどちらか)

幅は $\sigma$ に比例し、$\sqrt n$ に反比例し、信頼水準を上げると広がる

サンプルサイズを増やすと $1/\sqrt n$ で幅が縮むが、自信の度合い(信頼水準)を上げると逆に幅は広がる

$\bar x \pm t_{\alpha/2,\,n-1}\dfrac{s}{\sqrt n}$

$\sigma$ の代わりに不偏分散の平方根 $s$ を使う分、$z$ ではなく自由度 $n-1$ の $t$ 分布を使う

成立条件: 正規母集団を仮定(または $n$ が大きく中心極限定理が効くとき近似)。$s$ は不偏分散の平方根

$H_0$(帰無仮説、否定したい主張)と $H_1$(対立仮説)

「差がない」を一旦正しいと仮定しておいて、データがそれと矛盾するほど極端かどうかを調べる

有意水準 $\alpha$(よく0.05や0.01)

「$H_0$ が正しいのに誤って棄却してしまう確率」をあらかじめどこまで許容するかの基準線

$p<\alpha$ なら $H_0$ を棄却

「$H_0$ が正しいと仮定したとき、今回観測した以上に極端な結果が出る確率」がp値

p値は「$H_0$ が正しい確率」ではない。よくある誤解なので注意

第一種: $H_0$ が真なのに棄却/第二種: $H_1$ が真なのに棄却できない

有意水準を下げて第一種の過誤を減らそうとすると、その分第二種の過誤(見逃し)が増えやすい

両方を同時にいくらでも小さくすることはできない(トレードオフ)

$t=\dfrac{\bar x-\mu_0}{s/\sqrt n}$(自由度 $n-1$)

標本平均が仮説の値 $\mu_0$ から、標準誤差の何個分ズレているかを測る統計量

$b=\dfrac{S_{xy}}{S_{xx}}$

xが1増えたときyがどれだけ増減するかを、共分散(向き)とxの分散(スケール)の比で求める

$a=\bar y-b\bar x$

回帰直線は必ず点 $(\bar x,\bar y)$ を通るという条件から切片が決まる

誤差項の平均0・等分散・(検定には)正規性・独立性を仮定

誤差にこれらの性質を仮定して初めて、最小二乗推定量が「最良」だと言える

成立条件: これらが崩れる(不等分散・自己相関など)と推定量は不偏でも標準誤差の評価が歪む

$R^2=\dfrac{\text{回帰による変動}}{\text{全変動}}$

yのばらつきのうち、回帰直線(xの情報)でどれだけ説明できたかの割合

単回帰では $R^2=r^2$(相関係数の2乗)

残差の和は常に0、残差とxの相関も常に0

最小二乗解は「これ以上残差をxと相関させない」ちょうどの位置で係数を止めている

説明変数を増やすと $R^2$ は単調に増加する

意味のない変数を追加してもR²は下がらないため、モデル比較には自由度で調整したR²を使う

$P(\theta\mid D)\propto P(D\mid\theta)P(\theta)$

データを見る前の信念(事前分布)に、データの尤もらしさ(尤度)を掛けて信念を更新する

事後分布 = 事前分布 × 尤度 ÷ 正規化定数

事前分布は「観測前にどれだけ確信していたか」、事後分布は「データを見た後の確信」

二項尤度に対してベータ分布は共役事前分布

事前分布と事後分布が同じ分布族に収まるので、パラメータの更新だけで事後分布が求まる

共役性が使えない一般のモデルでは、事後分布を解析的に求められないことが多い

事後分布 $\propto$ 尤度×事前分布 からマルコフ連鎖でサンプリングする

事後分布の式は分かっても直接サンプルできないとき、その分布に収束するような乱数の連鎖を回して代わりに使う

頻度論: 母数は定数、データが確率変数/ベイズ: 母数も確率変数

頻度論の信頼区間は「手続きの性質」、ベイズの信用区間は「母数そのものの確率」として直接解釈できる

分散共分散行列 $\Sigma$ の固有ベクトルのうち、固有値が最大の方向を第1主成分にする

点群が一番大きく散らばっている方向を、新しい座標軸として選び直す

$\dfrac{\lambda_1}{\lambda_1+\lambda_2+\cdots+\lambda_p}$

全体の分散のうち、その主成分1本がどれだけ説明しているかの割合

群間分散/群内分散を最大化する方向を探す(フィッシャーの判別)

群同士は遠く、群の中はまとまっているような方向に射影すると、群がよく分離して見える

距離が最も近い個体・クラスタから順に併合していく

併合の履歴を木構造(デンドログラム)として記録すると、どの高さで切るかでクラスタ数を選べる

各点を最も近い重心のクラスタに割り当て→重心を再計算、を収束するまで繰り返す

「割り当て」と「重心の更新」を交互に繰り返すことでクラスタが安定していく

初期値(最初の重心の位置)に結果が依存する。局所最適に落ちることがある

時系列 = トレンド + 季節性 + 不規則変動(残差)

長期的な傾き・周期的な繰り返し・それ以外のノイズに分けて捉える

$r_k=\dfrac{\sum_t (x_t-\bar x)(x_{t-k}-\bar x)}{\sum_t (x_t-\bar x)^2}$

$k$ 時点離れた自分自身とどれだけ似ているか(相関係数の時系列版)

平均・分散・自己共分散が時間によらず一定

「今日も明日も分布の性質が変わらない」という、多くの時系列モデルの前提条件

$x_t=\phi x_{t-1}+\varepsilon_t$

直前の値に係数 $\phi$ を掛けたものへ、ランダムなノイズを足して次の値を作る

定常であるための条件は $|\phi|<1$。それ以上だと値が発散する

$x_t=\varepsilon_t+\theta\varepsilon_{t-1}$

直前のノイズの残り香を引きずって次の値が決まる、というモデル

$F=\dfrac{\text{群間の平均平方}}{\text{群内の平均平方}}$

群同士の差(群間)が、同じ群内のばらつき(誤差)に比べて大きいかどうかを比で判定する

成立条件: 各群が独立な標本で、群内が正規分布かつ等分散のとき、帰無仮説(全群の母平均が等しい)の下で $F$ は自由度 $(df_A,df_E)$ のF分布に従う。臨界値を超えても『母平均が等しくない』と断定できるわけではなく、有意水準 $\alpha$ で帰無仮説を棄却するにとどまる

$S_T=S_A+S_B+S_{A\times B}+S_E$

全体のばらつきを、要因A・要因B・交互作用・誤差の4つに仕分けする

成立条件: 各セルの標本数が等しいバランス(釣合い)のとれた直交計画のときにこの単純な加法分解が一意に成り立つ。不釣合いデータでは各要因の平方和が投入順序や平方和の型(Type I/II/III)に依存する

$F=\dfrac{S_A/df_A}{S_E/df_E}$

平方和をそのまま比べるのではなく、自由度で割った「平均平方」同士を比べる

$F$ が大きいほど、要因Aの効果が誤差に比べて無視できないと判断する

一方の要因の効果がもう一方の水準によって変わること

主効果だけを見ていると、交互作用があるケースでは結論を誤ることがある

交互作用が有意なときは、主効果を単独で解釈すべきではない

反復・無作為化・局所管理(ブロック化)

誤差を評価するために繰り返し、偏りを消すためにランダムに割り付け、条件をそろえたブロックでノイズを抑える

確率分布(正規・二項・ポアソン等)・線形予測子・リンク関数

普通の線形回帰は「正規分布+恒等リンク」という特別な場合にすぎない

確率分布は指数型分布族に属することが前提(正規・二項・ポアソンはその例で、任意の分布を自由に組み合わせられるわけではない)

$g(\mu)=\beta_0+\beta_1x_1+\cdots+\beta_px_p$

平均 $\mu$ を直接線形予測子に結びつけるのではなく、関数 $g$ を1つ挟んで値の範囲の制約(0〜1など)を守る

$\log\dfrac{p}{1-p}=\beta_0+\beta_1x$

確率 $p$ をオッズの対数(ロジット)に変換すると、範囲の制約なく線形回帰と同じ形で扱える

リンク関数がロジット関数であるGLMがロジスティック回帰

$AIC=-2\log L+2k$

対数尤度(当てはまりの良さ)とパラメータ数 $k$(複雑さ)のトレードオフを1つの数字にする

値が小さいモデルほど良いと判断する。あくまでモデル間の相対比較の指標

AICは当てはまりの絶対的な良さを保証しない

候補に挙がったモデルの中で相対的にマシなものを選んでいるだけで、候補全部が悪いモデルということもありうる