統計の勉強してると仮設検定が多く、標本分散があまり出てこない気がしてます
果たして実務で使われる例はあるのか？
そのあたりも込みで調べてみました
一言でいうと
標本分散とは、一言でいうと、
「手元にあるデータそのもののばらつきを表す、n で割る分散」
のことです。
各データの値が「手元の平均値」からどれくらい離れているかを計算し、そのズレを2乗して平均した数値を指します。
ここで「不偏分散」という似た言葉が出てきますが、こちらは標本から母集団全体の分散を推定するために、n-1 で割る分散です。
名前が似ているのでややこしいですが、まずは
「標本分散は手元のデータのばらつきを見るもの、不偏分散は母集団の分散を推定するためのもの」
と考えておくと整理しやすそうです。
標本分散の計算式
標本分散は、通常 S^2 などで表され、計算式は以下の通りです。
S^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2- n：データの個数（サンプルサイズ）
- x_i：個々のデータ
- \bar{x}：手元データの平均値（標本平均）
計算のステップは非常にシンプルで、次の3段階で行います。
- 全体の「平均値」を求める
- 各データから平均値を引き、その数値を「2乗」する（偏差の2乗）
- それらをすべて足し合わせ、データの個数 n で割る
要するに、「平均からどれくらい離れているのか」を2乗して、その平均を取っているわけです。
実際に標本分散を計算してみる
例えば、5人のテストの点数が、
「2点、4点、5点、7点、7点」
だったとします。
まず平均値を求めます。
\bar{x} = \frac{2 + 4 + 5 + 7 + 7}{5} = 5平均は5点です。
次に、それぞれの点数が平均からどれくらい離れているかを求め、それを2乗します。
- (2 - 5)^2 = 9
- (4 - 5)^2 = 1
- (5 - 5)^2 = 0
- (7 - 5)^2 = 4
- (7 - 5)^2 = 4
これらをすべて足すと、
9 + 1 + 0 + 4 + 4 = 18……ではなく、ここは計算をよく確認すると、
9 + 1 + 0 + 4 + 4 = 18となります。
したがって、標本分散は、
S^2 = \frac{18}{5} = 3.6となります。
このように、標本分散は「偏差を2乗して、その平均を取ったもの」と考えるとイメージしやすいです。
なぜ偏差を2乗するのか？
ここで「そもそも、なんで2乗するの？」という疑問も出てきます。
例えば、平均からのズレをそのまま足し合わせてみると、
(2-5)+(4-5)+(5-5)+(7-5)+(7-5)となり、
-3-1+0+2+2=0になってしまいます。
平均より小さいデータはマイナス、大きいデータはプラスになるため、お互いに打ち消し合ってしまうわけです。
そこで偏差を2乗します。
(x_i-\bar{x})^2こうすることで、すべての値が0以上になり、平均からどれくらい離れているかを「ばらつき」として計算できるようになります。
これが「分散」が2乗を使っている理由です。
標本分散と不偏分散の違い
統計学には「標本分散」と「不偏分散」という、よく似た2つの分散が登場します。
決定的な違いを表で整理してみました。
| 項目 | 標本分散（S^2） | 不偏分散（s^2） |
|---|---|---|
| 目的 | 手元にあるデータそのもののばらつきを知りたいとき | 手元のデータから母集団全体のばらつきを推測したいとき |
| 割り算の分母 | データの個数 n | 自由度 n-1 |
| 計算式 | \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2 | \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2 |
| 特徴 | 手元のデータのばらつきをそのまま表す。母分散の推定量としては平均的に小さくなる | 母分散を平均的に正しく推定できる（不偏性を持つ） |
どちらを使えばよいのか？
ここは統計検定でも混乱しやすいところです。
手元にあるデータそのもののばらつきを記述したいのであれば、n で割る標本分散を使うことがあります。
一方で、手元のデータが母集団の一部であり、そこから母集団全体の分散を推定したいのであれば、不偏分散を使います。
例えば、クラス全員のテスト結果を「そのクラスのデータ」としてまとめたいのであれば標本分散を使う考え方ができます。
一方、全国の学生から一部の学生を抽出して、全国の学生のばらつきを推測したいのであれば、不偏分散を使うことになります。
つまり、単純に「どちらが正しい」という話ではなく、何を知りたいのかによって使い分けるわけです。
標本分散はなぜ「n」で割るのか？
標本分散で n で割る理由は、かなりシンプルです。
標本分散は、手元にあるデータについて「偏差の2乗の平均」を求めているからです。
偏差の2乗を全部足しただけでは、データの個数が増えるほど数値も大きくなってしまいます。
そこで、データの個数 n で割って、1個あたりの平均的なばらつきを求めます。
S^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2ただし、ここで重要なのが「この標本分散を、そのまま母集団の分散として使っていいのか？」という問題です。
標本分散には「小さめに出る」という性質がある
標本分散は、手元のデータそのもののばらつきを表すには便利です。
しかし、手元の標本から母集団全体の分散を推測するという目的になると、少し問題があります。
標本分散は、平均的に見ると母分散よりも小さめの値になってしまうのです。
これは、分散を計算するときに母平均ではなく、標本から計算した標本平均 \bar{x} を使っていることが関係しています。
標本平均は、当然ながら手元のデータの中心になるように決まります。
そのため、各データから標本平均までの距離を測ると、母平均からの距離を測る場合よりも、ばらつきが小さく見えやすくなります。
この小さく見積もってしまう問題を補正したものが、不偏分散です。
標本分散の期待値
ここまでの話を数学的に表すと、標本分散には非常に重要な性質があります。
母平均を \mu、母分散を \sigma^2 とすると、標本分散 S^2 の期待値は、
E[S^2] = \frac{n-1}{n}\sigma^2となります。
つまり、標本分散を何度も計算して、その平均を取ったとしても、
母分散 \sigma^2 より平均的に小さくなる
ということです。
例えば n=10 なら、
E[S^2] = \frac{9}{10}\sigma^2となります。
平均的には母分散の90%になってしまうわけです。
この「平均的に真の値より小さくなる」という性質が、標本分散の大きな特徴です。
では、なぜ「n-1」で割るのか？
標本分散が平均的に小さくなるのであれば、少しだけ大きく補正してあげればよいことになります。
標本分散の期待値は、
E[S^2] = \frac{n-1}{n}\sigma^2でした。
そこで、その逆数である \frac{n}{n-1} を掛けます。
\frac{n}{n-1}S^2すると、期待値は、
E\left[\frac{n}{n-1}S^2\right] = \frac{n}{n-1}\cdot\frac{n-1}{n}\sigma^2 = \sigma^2となります。
つまり、平均的に母分散と一致するようになります。
これを式として整理すると、
\frac{n}{n-1}S^2 = \frac{n}{n-1} \left( \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2 \right) = \frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2となります。
これが、「不偏分散は n-1 で割る」理由です。
以前の記事で「なぜ n-2 ではなく n-1 なのか？」という話をしましたが、結局のところ、母分散を平均的に正しく推定できるように数学的にちょうどよい補正をすると n-1 になるということです。
実務上の標本分散の使いどころ
標本分散は、実務では「手元にあるデータそのもののばらつきを確認したい」という場面で使います。
特に、母集団の分散を推定することよりも、「今回集めたデータがどれくらいバラついているのか」を把握することが目的なら、標本分散は十分役に立ちます。
1. 手元のデータ全体を評価するとき
例えば、ある会社で社員全員のテスト結果を集計したとします。
この場合、「今回集計した社員全員」の点数のばらつきを知りたいのであれば、標本分散を使ってデータの特徴を整理できます。
- 社員全員のテスト結果
- クラス全員のテスト結果
- 店舗ごとの売上データ
- 1か月分のアクセス数
- 製品の測定データ
など、分析対象となるデータがすでに揃っている場合に使いやすいです。
2. データのばらつきを比較するとき
例えば、A店舗とB店舗の1か月間の売上データがあるとします。
平均売上がどちらも同じくらいでも、
「A店舗は毎日ほぼ同じ売上なのに、B店舗は日によって売上が大きく違う」
ということがあります。
このような違いを確認するときに、分散や標準偏差を使うことができます。
つまり、標本分散は単純に「平均値を見るだけではわからないデータのバラつき」を数値化するためにも使われます。
3. データ分析・機械学習の前処理など
実際のデータ分析では、分散は単独で使うだけでなく、標準偏差や標準化などの計算の土台として登場することがあります。
例えば、データの単位やスケールを揃えるために標準化を行う場合、
z = \frac{x-\bar{x}}{s}
のように標準偏差を利用します。
このように考えると、標本分散そのものを直接見る機会がなくても、データのばらつきを扱う処理の中では間接的に登場することがあります。
実務ではどのくらい使う？
ここは少し注意が必要です。
実務では「標本分散」という名前を意識して手計算する機会は、それほど多くありません。
ExcelやPythonなどの統計処理ソフトを使えば、分散や標準偏差は簡単に計算できるためです。
また、「手元の標本から母集団の性質を推測する」ことが目的なら、不偏分散が使われる場面が多くなります。
そのため、ざっくり整理すると、
| シーン | 標本分散の出番 |
|---|---|
| 手元のデータそのものを整理・要約 | ◎ |
| データのばらつきの比較 | ◎ |
| 全数調査したデータの分析 | ◎ |
| 機械学習・データ分析の計算過程 | ○ |
| 母集団の分散を推定 | △ |
| 統計的推定・仮説検定 | △〜○ |
というイメージっぽさそうです。
「標本分散＝実務では使わない」というわけではありません。
むしろ、データそのものの特徴を整理するという意味では普通に使われます。
ただし、「この標本から日本人全体の身長のばらつきを推測したい」というように、手元のデータを使って母集団について推測する場合には、不偏分散のほうが重要になります。
この違いを、
手元のデータをそのまま見る → 標本分散
手元のデータから全体を推測する → 不偏分散
と覚えておくと、使い分けがかなりわかりやすくなります。
練習問題
理解度を確認するための4択問題です。
【問題】
ある小テストを実施したところ、5人の生徒（n = 5）の点数はそれぞれ「2点、4点、5点、7点、7点」でした。
このデータにおける「標本分散」の値として正しいものを1つ選んでください。
① 3.2
② 3.6
③ 4.5
④ 18.0
解答・解説
正解：②
解説
まず平均値を求めます。
次に、それぞれの偏差を2乗します。
- (2-5)^2=9
- (4-5)^2=1
- (5-5)^2=0
- (7-5)^2=4
- (7-5)^2=4
偏差の2乗を合計すると、
9+1+0+4+4=18したがって、標本分散は、
S^2=\frac{18}{5}=3.6となります。
ちなみに、もし n-1=4 で割った場合は、
\frac{18}{4}=4.5となり、こちらは不偏分散です。
まとめ
今回は「標本分散」について解説しました。
- 標本分散は「手元にあるデータそのもののばらつきを表す分散」
- 各データの平均からのズレ（偏差）を2乗し、データの個数 n で割る
- 標本分散は「偏差の2乗の平均」と考えることができる
- 標本分散の期待値は E[S^2] = \frac{n-1}{n}\sigma^2 となり、母分散より平均的に小さくなる
- 母集団全体の分散を推定したい場合は、偏りを補正した不偏分散（n-1 で割る）を使う
「手元のデータのばらつきをそのまま見るなら n で割る標本分散、そこから母集団全体の分散を推測するなら n-1 で割る不偏分散」と整理しておくと、かなり分かりやすくなります。
ただ「n と n-1 のどっちだっけ？」と暗記するより、「何を知りたいのか？」を考えるほうが覚えやすそうです。
参考 関連用語
| 用語 | 簡易的な説明 |
|---|---|
| 標本分散 | 手元の標本データそのもののばらつきを表す分散。n で割る。 |
| 不偏分散 | 標本データから母分散を偏りなく推定するための分散。n-1 で割る。 |
| 母分散 | 母集団全体のデータにおける真の分散。\sigma^2。 |
| 期待値 E[X] | 確率変数が取る値について、確率で重み付けした理論上の平均値。 |
| 標準偏差 | 分散の正の平方根。元のデータと同じ単位でばらつきを表す指標。 |
| 偏差 | 各データの値と標本平均との差。x_i-\bar{x}。 |
| 標本平均 | 抽出したデータ（標本）の平均値。\bar{x}。 |
| 母平均 | 母集団全体の平均値。\mu。 |
| 記述統計 | 収集したデータの特徴や傾向を整理・要約する統計手法。 |
| 推測統計 | 一部の標本データから、母集団全体の性質を推測する統計手法。 |
参考：標本分散の期待値 E[S²] の数学的導出
ここからは少し難しくなります。
「なぜ標本分散の期待値が \frac{n-1}{n}\sigma^2 になるのか？」を数学的に確認してみます。
準備（前提となる知識）
互いに独立な標本 X_1, X_2, \dots, X_n が、母平均 \mu、母分散 \sigma^2 の母集団から抽出されているとします。
このとき、以下の関係が成り立ちます。
- E[X_i] = \mu
- V[X_i] = \sigma^2
- 標本平均 \bar{X} について、E[\bar{X}] = \mu
- 標本平均の分散は、V[\bar{X}] = \frac{\sigma^2}{n}
また、分散の公式
V[Y]=E[Y^2]-(E[Y])^2を変形すると、
E[Y^2]=V[Y]+(E[Y])^2なので、
- E[X_i^2]=\sigma^2+\mu^2
- E[\bar{X}^2]=\frac{\sigma^2}{n}+\mu^2
となります。
ステップ1：偏差平方和を変形する
標本分散の分子である偏差平方和、
\sum_{i=1}^{n}(X_i-\bar{X})^2を展開します。
\begin{aligned} \sum_{i=1}^{n}(X_i-\bar{X})^2 &=\sum_{i=1}^{n}(X_i^2-2X_i\bar{X}+\bar{X}^2)\\ &=\sum_{i=1}^{n}X_i^2 -2\bar{X}\sum_{i=1}^{n}X_i +\sum_{i=1}^{n}\bar{X}^2 \end{aligned}ここで、
\sum_{i=1}^{n}X_i=n\bar{X}であり、
\sum_{i=1}^{n}\bar{X}^2=n\bar{X}^2なので、
\begin{aligned} \sum_{i=1}^{n}(X_i-\bar{X})^2 &=\sum_{i=1}^{n}X_i^2 -2n\bar{X}^2+n\bar{X}^2\\ &=\sum_{i=1}^{n}X_i^2-n\bar{X}^2 \end{aligned}となります。
したがって、標本分散は、
S^2 =\frac{1}{n}\sum_{i=1}^{n}X_i^2-\bar{X}^2と表すことができます。
ステップ2：両辺の期待値を取る
両辺に期待値を取ります。
\begin{aligned} E[S^2] &=E\left[ \frac{1}{n}\sum_{i=1}^{n}X_i^2-\bar{X}^2 \right]\\ &=\frac{1}{n}\sum_{i=1}^{n}E[X_i^2] -E[\bar{X}^2] \end{aligned}ステップ3：前提となる式を代入する
先ほど確認した、
E[X_i^2]=\sigma^2+\mu^2と、
E[\bar{X}^2] =\frac{\sigma^2}{n}+\mu^2を代入します。
\begin{aligned} E[S^2] &=\frac{1}{n}\sum_{i=1}^{n}(\sigma^2+\mu^2) -\left(\frac{\sigma^2}{n}+\mu^2\right)\\ &=\frac{1}{n}\cdot n(\sigma^2+\mu^2) -\frac{\sigma^2}{n}-\mu^2\\ &=\sigma^2+\mu^2-\frac{\sigma^2}{n}-\mu^2\\ &=\sigma^2-\frac{\sigma^2}{n}\\ &=\left(1-\frac{1}{n}\right)\sigma^2\\ &=\frac{n-1}{n}\sigma^2 \end{aligned}これで、
\boxed{E[S^2]=\frac{n-1}{n}\sigma^2}となることが確認できました。
つまり、標本分散は平均的に見ると母分散より少し小さくなります。
そして、この偏りを取り除くために n-1 で割ったものが不偏分散というわけですね。
コメント