第 2 回

事象により、確率変数

$X$ はある値をとる。

$X$ の変域として実数を考える。

$X$ が

$x$ 以下の値を取る確率

$Pr (X \leq x)$ を累積分布関数

$F (x)$ という。累積分布関数

$F$ の導関数

$f$ を確率密度関数といい、

$F (x) = \int_{-∞}^{x} f (t) ⅆ t$ で定義する。これは

$F (-∞) = 0$ 、

$F (∞) = \int_{-∞}^{∞} ⅆ F (t) = \int_{-∞}^{∞} f (t) ⅆ t = 1$ を満たす。

$Pr (X < a, Y < b) = Pr (X < a) Pr (Y < b)$ のとき、

$X$ と

$Y$ は独立であると言う。

平均

$μ = Ex (X)$ は

$\int_{-∞}^{∞} x ⅆ F (x) = \int_{-∞}^{∞} x f (x) ⅆ x$ である。分散は

$σ^{2} = Var (X) = Ex ({(x - μ)}^{2})$

$Ex (a X + Y + b) = a Ex (X) + Ex (Y) + b$

$Var (X) = \int_{-∞}^{∞} {(x - μ)}^{2} f (x) ⅆ x = \int_{-∞}^{∞} x^{2} f (x) ⅆ x - 2 μ \int_{-∞}^{∞} x f (x) ⅆ x + μ^{2} = Ex (X^{2}) - {Ex (X)}^{2}$

$Var (a X + b) = Ex ({(a X + b)}^{2}) - {Ex (a X + b)}^{2} = a^{2} Ex (X^{2}) + 2 a b Ex (X) + b^{2} - a^{2} {Ex (X)}^{2} - 2 a b Ex (X) - b^{2} = a^{2} Var (X)$

確率変数

$X$ が平均 0、分散1のとき、

$Y = σ X + μ$ は平均

$μ$ 、分散

$σ^{2}$ になる。

$X$ の確率密度関数が

$f (x)$ であるとき、

$Y$ の確率密度関数は

$Pr (Y \leq y) = Pr (σ X + μ \leq y) = \int_{-∞}^{\frac{y - μ}{σ}} f (t) ⅆ t = \int_{-∞}^{y} \frac{1}{σ} f (\frac{s - μ}{σ}) ⅆ s$ より

$\frac{1}{σ} f (\frac{x - μ}{σ})$ となる。

特性関数を

$φ_{X} (t) = Ex (e^{i t X}) = \int_{-∞}^{∞} e^{i t x} ⅆ F (x) = \int_{-∞}^{∞} e^{i t x} f (x) ⅆ x$ とする。これは確率密度関数のフーリエ変換になるので、逆フーリエ変換を考えると次が成り立つ。

$f (x) = \frac{1}{2 π} \int_{-∞}^{∞} e^{i t x} φ_{X} (t) ⅆ t$

中心極限定理と正規分布

$X_{1}, ..., X_{n}$ を独立で、平均が

$μ$ で分散が

$σ^{2}$ となる、任意の同じ確率分布の確率変数とする。このとき、

$S_{n} = X_{1} + ... + X_{n}$ は

$n$ が大きくなると平均

$n μ$ 、分散

$n σ^{2}$ の正規分布に収束する。

証明

$Z_{n} = \frac{S_{n} - n μ}{\sqrt{n σ^{2}}}$ が平均0, 分散 1 の正規分布に従うことを示す。

$M_{Z_{n}} (t) = Ex (e^{t Z_{n}}) = Ex (e^{t \frac{X_{1} - μ}{\sqrt{n σ^{2}}}}) \cdot ... \cdot Ex (e^{t \frac{X_{n} - μ}{\sqrt{n σ^{2}}}}) = {Ex (e^{t \frac{X - μ}{\sqrt{n σ^{2}}}})}^{n}$

$= {Ex (1 + \frac{1}{1!} \frac{X - μ}{\sqrt{n σ^{2}}} t + \frac{1}{2!} {(\frac{X - μ}{\sqrt{n σ^{2}}})}^{2} t^{2} + O (n^{- \frac{3}{2}}))}^{n}$

$= {(1 + \frac{t}{\sqrt{n σ^{2}}} (Ex (X) - μ) + \frac{1}{2} {(\frac{t}{\sqrt{n σ^{2}}})}^{2} Ex ({(X - μ)}^{2}) + O (n^{- \frac{3}{2}}))}^{n}$

$= {(1 + \frac{t}{\sqrt{n σ^{2}}} (μ - μ) + \frac{1}{2} \frac{t^{2}}{n σ^{2}} σ^{2} + O (n^{- \frac{3}{2}}))}^{n}$

$= {(1 + 0 + \frac{\frac{t^{2}}{2}}{n} + O (n^{- \frac{3}{2}}))}^{n}$

$\to e^{\frac{t^{2}}{2}}$

特性関数は

$φ_{Z_{n}} (t) = M_{Z_{n}} (i t) = e^{- \frac{t^{2}}{2}}$ となるので、これを逆フーリエ変換して確率密度関数関数を求める。

$f (x) = \frac{1}{2 π} \int_{-∞}^{∞} e^{i x t} e^{- \frac{t^{2}}{2}} ⅆ t = \frac{1}{2 π} \int_{-∞}^{∞} e^{- \frac{x^{2}}{2}} e^{- \frac{{(t - i x)}^{2}}{2}} ⅆ t = \frac{1}{2 π} e^{- \frac{x^{2}}{2}} \int_{-∞}^{∞} e^{- s^{2}} \sqrt{2} ⅆ s = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}}$

平均

$μ$ 分散

$σ^{2}$ の正規分布を

$N (μ, σ^{2})$ で表す。確率密度関数は

$\frac{1}{\sqrt{2 π} σ} e^{- \frac{1}{2} {(\frac{x - μ}{σ})}^{2}}$ 。

$Φ (x) = \frac{1}{\sqrt{2 π}} \int_{-∞}^{x} e^{- \frac{t^{2}}{2}} ⅆ t$ とすると、累積分布関数は

$Φ (\frac{x - μ}{σ})$ 。

モーメント母関数は

$Ex (e^{X t}) = \int_{-∞}^{∞} e^{x t} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x - μ)}^{2}}{2 σ^{2}}} ⅆ x$

$= \frac{1}{\sqrt{2 π σ^{2}}} e^{μ t + \frac{σ^{2}}{2} t^{2}} \int_{-∞}^{∞} e^{- s^{2}} \sqrt{2 σ^{2}} ⅆ s$

$= e^{μ t + \frac{σ^{2}}{2} t^{2}}$

様々な確率分布(1)

再生性

確率分布族に含まれる確率分布

$F_{1}$ ,

$F_{2}$ に従う確率変数

$X_{1}$ ,

$X_{2}$ に対して、

$Y = X_{1} + X_{2}$ の確率分布が同じ確率分布族に含まれるとき、その確率分布族は再生性があると言います。

直接確率分布を計算する他に、モーメント母関数から求める方法があります。

$Y$ のモーメント母関数は

$Ex (e^{Y t}) = Ex (e^{(X_{1} + X_{2}) t}) = = Ex (e^{X_{1} t}) Ex (e^{X_{2} t})$ より、モーメント母関数の積が同じ確率分布族になる場合、再生性があると言える。

2-2. Q-Qプロット

Q-Qプロットの Q は quantiles分位数を意味します。累積分布関数

$F$ を持つ確率分布に従うとき、

$q$ 分位数

$Q_{q}$ は

$q = F (Q_{q})$ となる値である。 Q-Qプロットは定義とすれば、2つの確率分布

$D_{1}$ ,

$D_{2}$ について、

$q$ 分位数がそれぞれ

$Q_{1} (q)$ ,

$Q_{2} (q)$ とすると、

$q$ をパラメータとして

$(Q_{1} (q), Q_{2} (q))$ をプロットしたものが Q-Qプロットになる。もし、

$D_{1}$ と

$D_{2}$ が同じ分布のとき、このグラフは

$y = x$ のグラフになる。

$n$ 個のデータ

$x_{1}, ..., x_{n}$ , (

$x_{1} \leq ... \leq x_{n}$ ) の

$i$ 番目のデータを

$\frac{i}{n}$ 分位数とみなし、また、このデータが従う確率分布の累積分布関数が

$F (X)$ のとき、

$(x_{i}, F^{-1} (\frac{i}{n}))$ をプロットすると、

$y = x$ 上に並ぶ。もし、このデータ系列がまた、このデータが従う確率分布の累積分布関数が

$F (σ X + μ)$ に従っているとき、

$(x_{i}, F^{-1} (\frac{i}{n}))$ をプロットすると、

$y = σ x + μ$ 上に点が並ぶ。つまり、平均、分散をパラメータとして与えられる確率分布に従うデータに関しては、平均0、分散1の確率分布の分位数を考えることで、 Q-Qプロットで直線が得られる。

特に、

$N (0, 1)$ の累積分布関数

$Φ$ に関して、

$(x_{i}, Φ^{-1} (\frac{i}{n}))$ をプロットするのを正規確率プロットと呼ぶ。

Q-Qプロットをすると、与えられたデータが仮定した確率分布とどの程度類似しているかを可視化できる。なお、仮定する確率分布として、正規分布の他、指数分布や対数正規分布など、様々なものが使われる。

課題

以下のデータをダウンロードし、何らかの確率分布を仮定し、Q-Qプロットで類似性を可視化すること。また、Q-Qプロットから確率分布を推定しなさい。

第 2 回 Q-Qプロット、第2回課題

本日の内容

2-1. 確率(1)

定義

中心極限定理と正規分布

証明

様々な確率分布(1)

再生性

2-2. Q-Qプロット

課題