中心極限定理
サイコロを一つ振ると、どの面も同じ確率で、確率のグラフは平らである。二つ振って足すと、和 7 がいちばん起こりやすく、グラフは三角形になる。十個、三十個、百個と振ると、和のグラフはしだいに釣鐘の形になっていく。サイコロのかわりに硬貨やルーレットや測定誤差を足しても同じことが起こる。この驚くべき事実が中心極限定理である。
ド・モアブルとラプラス
1733 年、アブラーム・ド・モアブルは硬貨についてこの現象を示した。何度も投げたときの表の回数は、曲線 $e^{-x^2}$ に近い分布をもつ。ラプラスは 1810 年の論文で、この結果を任意の偶然の和に広げた。偶然どうしが独立で、どれか一つがほかを圧倒しなければよい。
現代の言葉で言えば次のようになる。$X_1, X_2, \ldots, X_n$ をすべて同じ分布に従う独立な偶然とし、平均を $\mu$、分散を $\sigma^2$ とする。和 $S_n = X_1 + \cdots + X_n$ の平均は $n\mu$、標準偏差は $\sigma\sqrt{n}$ で、
$$\frac{S_n - n\mu}{\sigma\sqrt{n}}$$の分布は、$n$ が大きいとき、密度 $\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ の標準正規分布にどんどん近づく。
サイコロ
サイコロ一つでは $\mu = 3.5$ で、
$$\sigma^2 = \frac{1^2 + 2^2 + \cdots + 6^2}{6} - 3.5^2 = \frac{91}{6} - \frac{49}{4} = \frac{35}{12}.$$$n$ 個のサイコロの和の平均は $3.5\,n$、標準偏差は $\sqrt{\frac{35n}{12}}$ である。図は和の正確な分布と、同じ平均と標準偏差をもつ正規曲線を比べている。つまみを動かすと、ほんの数個のサイコロで二つがほとんど重なることがわかる。
サイコロ 100 個では、平均は 350、標準偏差は $\sqrt{\frac{3500}{12}} \approx 17.1$ である。和が 330 から 370 のあいだ、つまり両側にそれぞれ約 1.2 標準偏差の範囲に入る確率はおよそ 76% になる。$6^{100}$ 通りの組み合わせを数える必要はない。
なぜ誤差は正規分布になるのか
ラプラスはこの定理に、天文学のある事実の説明を見た。どんな測定にも誤差があり、誤差は多くの小さな原因の和である。器械のふるえ、空気、観測者の目、温度。各原因が独立に少しずつ寄与するなら、各原因の分布がどうであれ、全体の誤差は正規曲線に従う、と定理は言う。1809 年にガウスは誤差が正規分布に従うと仮定して最小二乗法を正当化していたが、その翌年のラプラスの定理が、この仮定に理由を与えたのである。
証明でラプラスは新しい道具を使った。確率をそのまま扱うかわりに、確率のある変換、今日特性関数と呼ばれるものを扱ったのである。独立な和の変換は各変換の積になり、積は和より扱いやすい。ラプラスの証明には今日のような厳密さはなく、正確な条件はアレクサンドル・リャプノフが 1901 年に、ヤール・リンデベルグが 1922 年に確立した。
練習:百枚の硬貨
公正な硬貨を 100 枚投げる。中心極限定理を使って、表の枚数が 40 から 60 のあいだになる確率を見積もれ。
各硬貨は 1(表)か 0(裏)で、$\mu = \frac{1}{2}$、$\sigma^2 = \frac{1}{4}$ である。和の平均は 50、標準偏差は $\sqrt{100 \cdot \frac{1}{4}} = 5$。40 から 60 は $-2$ から $+2$ 標準偏差の範囲で、正規分布ではこの範囲におよそ 95% が入る。組み合わせを数えた正確な値は 96.5% である。和は整数値しかとらないことを考えて 39.5 から 60.5 の範囲を使えば、差は小さくなる。
練習:たくさんの測定の平均
ある器械は長さを標準偏差 2 mm の誤差で測る。独立な 25 回の測定の平均の標準偏差はいくらか。
25 回の測定の和の標準偏差は $2\sqrt{25} = 10$ mm である。平均は和を 25 で割ったもので、標準偏差も 25 で割られるから $\frac{10}{25} = 0.4$ mm となる。一般に $n$ 回の測定の平均の標準偏差は $\frac{\sigma}{\sqrt{n}}$ である。精度を小数一けた上げるには、百倍多く測らなければならない。
出典: Pierre-Simon Laplace、「Mémoire sur les approximations des formules qui sont fonctions de très grands nombres et sur leur application aux probabilités」、Mémoires de la classe des sciences mathématiques et physiques de l’Institut(1809、1810 年刊) · Abraham de Moivre、Approximatio ad summam terminorum binomii (a+b)ⁿ in seriem expansi(1733) · George Pólya、「Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem」、Mathematische Zeitschrift 8(1920) · Hans Fischer、A History of the Central Limit Theorem(2011)。