独立とは、簡単に言って、2つ以上の確率変数が互いに影響しあっていないことを言います。
この独立性が、期待値と分散の計算をする上で、とても有用なものであることを理解しましょう。
独立であるときの統計量
独立な確率変数 $X$ と $Y$ について次が成り立つ;
- $E[X+Y] = E[X] + E[Y]$
- $E[XY] = E[X]E[Y]$
- $E[X+Y] = E[X] + E[Y]$
- $V[XY]=V[X] \cdot V[Y] + E[X]^2 \cdot V[Y] + V[X] \cdot E[Y]^2$
ただし, 1. については独立でない時も成り立つ.
独立性と統計量の関係
次の同時確率分布について、期待値と分散を検証していきます。
| ($X$,$Y$) | $y_1$ | $\cdots$ | $y_m$ | 計 |
| $x_1$ | $p_{11}$ | $\cdots$ | $p_{1m}$ | $p_1$ |
| $\vdots$ | $\vdots$ | $\ddots$ | $\vdots$ | $\vdots$ |
| $x_n$ | $p_{n1}$ | $\cdots$ | $p_{nm}$ | $p_n$ |
| 計 | $q_1$ | $\cdots$ | $q_m$ | $1$ |
独立な確率変数の定義
確率変数 $X$ と $Y$ が独立である定義は、任意の $i$ と $j$ について, $p_{ij} = p_i q_j$ が成り立つことです。
確率変数の和の期待値について
2つの確率変数 $X$ と $Y$ について、独立であるかに関わらず、次が成り立ちます。
$$E[X+Y] = E[X] + E[Y]$$
確率変数 $X+Y$ とは、２次元の確率分布から、１つの実数値を返す関数と理解します。
例えば、2×2の同時確率分布表からは次のように計算ができることが確かめられます。
| $y_1$ | $y_2$ | 計 | |
| $x_1$ | $p_{11}$ | $p_{12}$ | $p_1$ |
| $x_2$ | $p_{21}$ | $p_{22}$ | $p_2$ |
| 計 | $q_1$ | $q_2$ | $1$ |
証明すること→$E[X + Y] = E[X] + E[Y]$
証明．期待値の定義から計算していく;
$\displaystyle \begin{aligned}
E[X+Y] &= \displaystyle \sum_{i = 1}^{n} \sum_{j = 1}^{m} (x_i + y_j)p_{ij} \\
&= \displaystyle \sum_{i = 1}^{n} \sum_{j = 1}^{m} (x_i p_{ij} + y_j p_{ij}) \\
&= \displaystyle \sum_{i = 1}^{n} x_i \sum_{j = 1}^{m} p_{ij} + \sum_{j = 1}^{m} y_j \sum_{i = 1}^{n} p_{ij} \\
&= \displaystyle \sum_{i = 1}^{n} x_i p_i + \sum_{j = 1}^{m} y_j q_j \\
&= \displaystyle E[X] + E[Y]
\end{aligned}$
示せた. ■
確率変数の積の期待値について
2つの確率変数 $X$ と $Y$ について、独立であるとき、次が成り立ちます。
$$E[XY] = E[X] \cdot E[Y]$$
ここでも、確率変数 $XY$ とは、２次元の確率分布から、１つの実数値を返す関数と理解します。
証明すること→$E[X + Y] = E[X] + E[Y]$
証明．$p_{ij} = p_i q_j$ を利用して, 期待値の定義を計算していく;
$\displaystyle \begin{aligned}
E[XY] &= \displaystyle \sum_{i = 1}^{n} \sum_{j = 1}^{m} (x_i y_j)p_{ij} \\
&= \displaystyle \sum_{i = 1}^{n} \sum_{j = 1}^{m} (x_i y_j) (p_{i} q_{j}) \\
&= \displaystyle \left( \sum_{i = 1}^{n} x_i p_i \right) \cdot \left( \sum_{j = 1}^{m} y_j q_j \right) \\
&= \displaystyle E[X] \cdot E[Y]
\end{aligned}$
示せた. ■
確率変数の和の分散について
2つの確率変数 $X$ と $Y$ について、独立であるとき、次が成り立ちます。
$$V[X+Y] = V[X] + V[Y]$$
証明すること→$V[X + Y] = V[X] + V[Y]$
証明．期待値の性質を利用して, 計算していく;
$\displaystyle \begin{aligned}
V[X + Y] &= E[((X+Y)-(m_x+m_y))^2] \\
&= E[((X -m_x) +(Y-m_y))^2] \\
&= E[(X -m_x)^2 +(Y-m_y)^2 + (X-m_x)(Y-m_y)] \\
&= E[(X -m_x)^2] +E[(Y-m_y)^2] + E[(X-m_x)(Y-m_y)] \\
&= V[X] +V[Y] + E[(X-m_x)(Y-m_y)] \\
&= V[X] +V[Y] + E[XY]-m_xE[Y]-m_yE[X] + E[m_xm_y] \\
&= V[X] +V[Y] + m_xm_y-m_xm_y-m_ym_x + m_xm_y \\
&= V[X] +V[Y]
\end{aligned}$
示せた. ■
確率変数の積の分散について
2つの確率変数 $X$ と $Y$ について、独立であるとき、次が成り立ちます。
$$V[XY]=V[X] \cdot V[Y] + E[X]^2 \cdot V[Y] + V[X] \cdot E[Y]^2$$
証明すること→$V[XY]=V[X] \cdot V[Y] + E[X]^2 \cdot V[Y] + V[X] \cdot E[Y]^2$
証明．これまでに示した公式を利用して計算していく.
下の計算の中で, $X$ と $Y$ は独立であるから $E[(XY)^2] = E[X]^2E[Y]^2$ が成り立つが, 例えば, $X$ と $X$ 同士は独立でないから $E[X^2] = E[X]^2$ は成り立たないことに注意する.
$\displaystyle \begin{aligned}
V[XY] &= E[(XY)^2] - E[XY]^2 \\
&= E[X^2]E[Y^2] - (E[X]E[Y])^2 \\
&= E[X^2]E[Y^2] - E[X]^2E[Y]^2 \\
& \ \ - E[X]^2E[Y^2] + E[X]^2E[Y^2] - E[X^2]E[Y]^2 + E[X^2]E[Y]^2 \\
& = (E[X^2]-E[X]^2)(E[Y^2] - E[Y]^2) \\
& \ \ + E[X]^2(E[Y^2]-E[Y]^2) + (E[X^2]-E[X]^2)E[Y^2] \\
&= V[X] \cdot V[Y] + E[X]^2 \cdot V[Y] + V[X] \cdot E[Y]^2
\end{aligned}$
示せた. ■
