今回は不偏推定量です。「不変」ではありません。
「不偏」とは何か？
今回追求したいのはここです。
基礎から合わせて調べます
※やはり調べると同じ内容が出てきますねぇ。
一言でいうと
不偏推定量とは、一言でいうと、
「平均的に見ると、真の値（母数）に一致する推定量」
のことです。
手元の標本データから計算した推定量について、その期待値（理論上の平均）が、推定したい母集団の真の値（母平均や母分散など）と一致する性質を「不偏性」と呼びます。
重要なのは、1回の推定結果が必ず真の値と一致するという意味ではないことです。標本を何度も抽出して推定を繰り返したとき、その推定量の平均が真の母数と一致することを意味します。
推定量と推定値の違い
不偏推定量を理解するためには、まず「推定量」と「推定値」の違いを押さえておく必要があります。
母集団の真の値を推測するために使う計算式や確率変数を「推定量（Estimator）」と呼びます。
一方、その推定量に実際の標本データを代入して得られた具体的な数値を「推定値（Estimate）」と呼びます。
例えば、母平均 \mu を推定するために標本平均を使う場合、
\bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_iという確率変数としての標本平均 \bar{X} が推定量です。
そして、実際に「10、12、14」というデータが得られた場合、
\bar{x} = \frac{10+12+14}{3}=12という具体的な数値「12」が推定値になります。
つまり、簡単に整理すると、
- 推定量：母数を推定するための計算式・確率変数
- 推定値：実際のデータを使って計算した具体的な数値
という違いがあります。
推定量の「不偏性」とは？
統計学において、母集団の真の値である母平均 \mu や母分散 \sigma^2 などを総称して「母数（パラメータ）」と呼びます。
そして、手元の標本データから母数を推測するために使う計算式や確率変数を「推定量」と呼びます。
母数を \theta（シータ）、その推定量を \hat{\theta}（シータハット）と表すとき、不偏性の定義式は以下の通りです。
E[\hat{\theta}] = \thetaつまり、標本抽出を何度も繰り返し行ったとき、その推定量の期待値が真の母数 \theta と一致するなら、その推定量 \hat{\theta} は「\theta の不偏推定量である」と言います。
このとき、推定量の偏り（バイアス）は、
Bias(\hat{\theta}) = E[\hat{\theta}] - \thetaと表されます。
したがって、不偏推定量では、
Bias(\hat{\theta})=0となります。
不偏推定量の代表例
実務や研究でよく登場する代表的な不偏推定量には、以下のようなものがあります。
| 推定したい母数 | 不偏推定量 | 数式 | 期待値の関係 |
|---|---|---|---|
| 母平均 \mu | 標本平均（\bar{X}） | \bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i | E[\bar{X}] = \mu |
| 母分散 \sigma^2 | 不偏分散（s^2） | s^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2 | E[s^2] = \sigma^2 |
1. 母平均の不偏推定量：標本平均
標本平均 \bar{X} の期待値を取ると、母平均 \mu に一致します。
E[\bar{X}] = \muそのため、標本平均は母平均 \mu の不偏推定量です。
特別な補正をしなくても、標本平均は平均的に見て母平均から偏りません。
2. 母分散の不偏推定量：不偏分散
一方、データ数 n で割る「標本分散 S^2」は、母分散 \sigma^2 の不偏推定量ではありません。
通常の条件のもとでは、標本分散の期待値は、
E[S^2] = \frac{n-1}{n}\sigma^2となり、母分散より小さく偏ります。
そこで、標本分散に \frac{n}{n-1} を掛けることで偏りを補正します。
s^2 = \frac{n}{n-1}S^2これを整理すると、
s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2となります。
この「不偏分散」が、母分散 \sigma^2 の不偏推定量です。
なぜ「n」ではなく「n-1」で割るのか？
不偏分散を学ぶと、多くの人が疑問に感じるのが、
「なぜ普通に n で割らず、n-1 で割るのか？」
という点です。
理由の一つは、標本分散を計算するときに母平均ではなく、標本から計算した標本平均 \bar{X} を使っていることです。
標本平均を使うことでデータのばらつきが少し小さく見積もられるため、そのまま n で割ると母分散を平均的に過小評価してしまいます。
そこで、分母を n-1 とすることで、この偏りを補正します。
この n-1 は「自由度」とも関係しています。
標本平均 \bar{X} が決まると、偏差
(X_1-\bar{X}), (X_2-\bar{X}), \dots, (X_n-\bar{X})の合計は必ず0になります。
そのため、自由に決められる偏差は n 個ではなく、実質的に n-1 個となります。
これが、不偏分散の分母に n-1 が登場する背景の一つです。
不偏推定量の実務上の使いどころ
不偏推定量は、単独の用語として意識する機会はそれほど多くありませんが、統計的な推定を行うさまざまな場面で重要な役割を持っています。
1. 母平均・母分散を標本から推定するとき
最も基本的な使いどころです。
例えば、工場で生産される製品の品質を調べる場合、すべての製品を調査するのではなく、一部の製品を標本として取り出して分析することがあります。
このとき、母平均を推定するためには標本平均、母分散を推定するためには不偏分散などを利用します。
2. 区間推定や仮説検定の基礎として
不偏推定量は、単に「母数を推定する」だけでなく、区間推定や仮説検定などの推測統計にも関係します。
例えば、母分散が未知の場合に、標本から計算した不偏分散を利用して母分散の推定を行ったり、母平均に関する推定や検定を行ったりします。
3. データ分析・統計ソフトで分散を計算するとき
統計ソフトやプログラミング言語で分散を計算する場合も、「母集団の分散を計算したいのか」「標本から母分散を推定したいのか」によって、分母が異なる場合があります。
そのため、単に「分散を計算する」のではなく、どのような目的で計算しているのかを確認することが重要です。
特に、データが母集団そのものなのか、母集団から抽出した標本なのかによって、母分散と不偏分散を使い分ける必要があります。
不偏推定量を選ぶメリット・注意点
推定量に「不偏性」を求めることには明確なメリットがありますが、不偏であれば必ず最も優れた推定量になるわけではありません。
メリット：系統的なズレ（偏り）が発生しない
不偏推定量を使用すれば、「平均的に真の値よりも高めに出てしまう」「平均的に低めに出てしまう」といった系統的な偏りを避けることができます。
標本抽出を繰り返したときの推定量の平均が、真の母数と一致するという点が大きな特徴です。
注意点：毎回の推定値が真の値に近いとは限らない
「不偏性」はあくまで「推定量の期待値が真の値と一致する」という性質です。
たった1回の標本抽出で得られた推定値が、真の値に近いことを保証するものではありません。
例えば、不偏推定量であっても、推定量自体の分散が大きければ、実際の推定値が真の値から大きく離れる可能性があります。
注意点：不偏性と一致性は別の性質
ここは統計学を学ぶうえで重要なポイントです。
不偏性は、
E[\hat{\theta}] = \thetaという「平均的に偏っていない」という性質です。
一方、一致性は、標本サイズ n が大きくなるにつれて、推定量が真の母数に近づいていく性質です。
つまり、
- 不偏性：平均的に見て真の値から偏っていない
- 一致性：データ数を増やすと真の値に近づいていく
という違いがあります。
そのため、「不偏推定量だから、必ずデータ数を増やせば真の値に近づく」という意味ではありません。
実際の統計分析では、不偏性だけでなく、推定量の分散や一致性なども考慮して推定方法を選択します。
練習問題
【問題】
「不偏推定量」に関する記述として、最も適切なものを1つ選んでください。
① 推定量から計算された値が、毎回必ず母集団の真の値と完全に一致する。
② 推定量によって得られる値の期待値（理論上の平均）が、母集団の真の値と一致する。
③ 手元のデータの個数（サンプルサイズ）で割ることで得られる値である。
④ 母分散 \sigma^2 の不偏推定量は、標本分散 S^2（分母が n の分散）である。
解答・解説
正解：②
解説
不偏推定量とは、推定量の期待値 E[\hat{\theta}] が、推定したい真の母数 \theta と一致する推定量のことを指します。
- ①：1回の推定値が必ず真の値と一致するわけではありません。何度も標本抽出を行ったときの「平均（期待値）」が一致するという意味です。
- ③：必ずしも個数 n で割るものとは限りません。不偏分散のように n-1 を使う場合もあります。
- ④：母分散 \sigma^2 の不偏推定量は、分母を n-1 に補正した「不偏分散 s^2」です。標本分散 S^2 は母分散を平均的に小さく見積もるため、不偏推定量ではありません。
まとめ
今回は「不偏推定量」について解説しました。
- 不偏推定量とは「期待値（理論上の平均）が推定したい真の値（母数）に一致する推定量」
- 推定量が持つ「平均的に偏りがない」という性質を不偏性と呼ぶ
- 標本平均 \bar{X} は母平均 \mu の不偏推定量
- 不偏分散 s^2 は母分散 \sigma^2 の不偏推定量
- 不偏性は「1回の推定が真の値に近い」という意味ではない
- 不偏性と一致性は異なる性質であり、推定量の評価では両方を考えることがある
手元の標本から母集団の性質を推測する推測統計では、推定量がどのような性質を持っているのかを理解することが重要です。
特に「標本平均は母平均の不偏推定量」「不偏分散は母分散の不偏推定量」という関係を押さえておくと、標本分散と不偏分散の違いも理解しやすくなります。
参考 関連用語
| 用語 | 簡易的な説明 |
|---|---|
| 推定量（Estimator） | 母数を推測するために使う計算式や確率変数のこと。 |
| 推定値（Estimate） | 推定量に具体的なデータを代入して得られた実際の数値。 |
| 不偏性（Unbiasedness） | 推定量の期待値が真の母数と一致する性質。 |
| 母数（Parameter） | 母集団の特徴を表す未知の値。母平均 \mu や母分散 \sigma^2 など。 |
| 一致性（Consistency） | 標本サイズ n が大きくなるにつれて、推定量が真の母数に近づいていく性質。 |
| 標本平均（\bar{X}） | 標本データの平均。母平均 \mu の不偏推定量となる。 |
| 標本分散（S^2） | 標本データの偏差平方和を n で割った分散。母分散の推定では平均的に小さく偏る。 |
| 不偏分散（s^2） | 母分散の不偏推定量となるように、分母を n-1 とした分散。 |
| 母平均（\mu） | 母集団全体における真の平均値。 |
| 母分散（\sigma^2） | 母集団全体における真のばらつきを表す値。 |
参考：標本平均・不偏分散が不偏推定量であることの数学的証明
ここでは、代表的な不偏推定量である「標本平均 \bar{X}」と「不偏分散 s^2」について、それぞれの期待値が真の母数（母平均 \mu、母分散 \sigma^2）に一致することを確認します。
以下では、標本 X_1,X_2,\dots,X_n が母集団から独立に同じ分布に従って抽出され、母平均 \mu と母分散 \sigma^2 が存在することを前提とします。
1. 標本平均の証明
標本平均を、
\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_iとします。
各 X_i は母平均 \mu を持つため、
E[X_i]=\muが成り立ちます。
期待値の線形性を利用すると、
\begin{aligned} E[\bar{X}] &= E\left[\frac{1}{n}\sum_{i=1}^{n}X_i\right] \\ &= \frac{1}{n}\sum_{i=1}^{n}E[X_i] \\ &= \frac{1}{n}\underbrace{(\mu+\mu+\dots+\mu)}_{n個} \\ &= \frac{1}{n}\cdot n\mu \\ &= \mu \end{aligned}したがって、
E[\bar{X}]=\muとなります。
期待値が母平均 \mu と等しくなるため、標本平均 \bar{X} は母平均 \mu の不偏推定量です。
2. 不偏分散の証明
まず、標本分散を、
S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2とします。
標本分散の期待値は、
E[S^2]=\frac{n-1}{n}\sigma^2となります。
一方、不偏分散 s^2 は、
s^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2と定義されます。
したがって、標本分散 S^2 との関係は、
s^2=\frac{n}{n-1}S^2となります。
この両辺の期待値を取ると、
\begin{aligned} E[s^2] &=E\left[\frac{n}{n-1}S^2\right] \\ &=\frac{n}{n-1}E[S^2] \\ &=\frac{n}{n-1}\cdot\frac{n-1}{n}\sigma^2 \\ &=\sigma^2 \end{aligned}したがって、
E[s^2]=\sigma^2となります。
期待値が母分散 \sigma^2 に一致するため、不偏分散 s^2 は母分散 \sigma^2 の不偏推定量です。
3. なぜ標本分散の期待値が小さくなるのか
もう少し踏み込むと、標本分散が母分散より小さく偏る理由は、標本データ自身から計算した標本平均 \bar{X} を基準にしていることにあります。
母平均 \mu は母集団における真の中心ですが、標本平均 \bar{X} は手元の標本に合わせて変化します。
そのため、各データと標本平均との距離は、母平均との距離を使った場合よりも平均的に小さくなります。
この影響によって、n で割った標本分散は母分散を過小評価する傾向を持ちます。
そこで n-1 で割ることで補正し、母分散に対して不偏となるようにしています。
コメント