参数估计的基本原理

在大多数的研究中，我们无法获取研究对象的总体数据，或者能获取但是成本非常大。实际情况中，我们往往是通过抽样的方法，在总体中进行随机抽样。根据获取的这部分样本数据去推断总体的一些属性。比如通过抽样人群的平均身高去估计所有人群的平均身高，通过抽样人群中的男女比例，去估计我国当前的男女比例状况。

参数估计：即如何用样本统计量与估计总体参数。
比如用样本均值去估计总体的均值

估计方法

统计参数估计的方法有两类：

1. 点估计
2. 区间估计。 比如问男性平均身高是多少，167cm就是一个点估计，160-170就是区间估计。

**置信区间**就是在进行区间估计的时候，由样本估计量构造出来的总体参数在一定置信水平下的估计区间。

评价估计量的标准

用于估计总体参数$\theta$ 的估计量$\hat \theta$ 会有很多，比如可以用样本均值作为总体的均值估计量，也可以用样本中位数、用本众数等等。那么用哪种方式更好呢？所以我们需要有针对统计量好坏的评估标准：

无偏性

这个比较好理解，即估计量的期望等于被估计的总体参数$E(\hat \theta) = \theta$

有效性

有效性是指估计量的方差尽可能小，两个无偏统计量，谁的方差越小谁就越有效。

一致性/相合性

是指随着样本量的增大，点估计量的值越来越接近被估计的总体的参数。即一个大样本给出的估计量要比一个小样本给出的估计量更接近总体的参数。

单总体参数估计

1. 总体均值的区间估计

我们做置信区间或者参数估计，最终目的是希望通过样本的数据去获得总体的信息。常见的就是对总体集中趋势的估计，而这种”集中趋势“根据数据本身的分布情况，可能会采取均值、中位数、众数做为其估计

1. 大样本估计

在大样本量(n》30)的情况下，根据中心极限定理，样本均值近似服从正态分布。此时可以用总体均值的置信区间是
$<span class="arithmatex"><span class="MathJax_Preview">\bar x ± z_{\alpha/2}\frac{\sigma}{\sqrt n}</span><script type="math/tex">\bar x ± z_{\alpha/2}\frac{\sigma}{\sqrt n}$
如果总体标准差未知，可以用样本标准差代替估计

2. 小样本估计

在样本量小于30的小样本情况下，且总体分布为正态分布时候才可以估计，其他分布暂时未知
- 如果总体标准差一致，则还是正态分布，同大样本下的置信区间
- 如果总体标准差未知，则样本均值经过标准化处理后服从t分布，即
- $<span class="arithmatex"><span class="MathJax_Preview">t=\frac{\bar x-\mu}{s/\sqrt n}-t(n-1)</span><script type="math/tex">t=\frac{\bar x-\mu}{s/\sqrt n}-t(n-1)$

2. 比例的置信区间

例：假设抛掷一枚不均匀的硬币，其正面朝上的真实概率P位置，每次实验结果只有X=1表示正面，X=0表示反面两种结果。现在实验了n次，其中正面向上个数是k次，想估计下这个硬币正面朝上的概率是多少。

2.1 大样本的比例估计

经典的Wald区间

如果用点估计，自然的会用频率$\hat p=\frac{k}{n}$去估计真实的频率。而区间估计的主要步骤如下：

$<span class="arithmatex"><span class="MathJax_Preview">E(\hat p)=p, V(\hat p)=p(1-p)/n</span><script type="math/tex">E(\hat p)=p, V(\hat p)=p(1-p)/n$
所以有$<span class="arithmatex"><span class="MathJax_Preview">\hat p - N(p, p(1-p)/n)</span><script type="math/tex">\hat p - N(p, p(1-p)/n)$
$<span class="arithmatex"><span class="MathJax_Preview">\frac{\hat p -p}{\sqrt\frac{p(1-p)}{n}} - N(0,1)</span><script type="math/tex">\frac{\hat p -p}{\sqrt\frac{p(1-p)}{n}} - N(0,1)$

Wald估计是用样本比例替代整体比例，比例估计的置信区间是

$$\hat p \pm z_{1-\alpha/2} \sqrt\frac{\hat p(1-\hat p)}{n}$$

以上的置信区间是有个前提的：样本量比较大的时候，np>5且n(1-p)>5，二项分布才会近似是正态分布。

2.2小样本的比例估计

在样本量比较小，或者是真实的p值接近0或者1的时候，二项分布就不会近似成正态分布了，估计的就不是很准确了。

在实际的问题中，这种情况也是经常存在的。以搜索为例，一个具体的搜索策略上线前，通常都会对实验组和对照组进行一些人工评估。因为人力成本问题，一般是评估100或200qu。可能里面的good或者bad的case占比非常少，那么在估计good或badcase的比例的时候置信度就不是很高。

下面介绍几种常用的修正的区间估计

精确区间

所谓精确区间，其实就是不其齐分布进行近似，而是直接使用原始的真实分布。我们知道正面朝上的个数k其真实分布是二项分布。这个一开始是Clopper和Pearson在1934年研究出来的，所以也叫做C-P 置信区间

$<span class="arithmatex"><span class="MathJax_Preview">P(x=s) =C_n^s p^s(1-p)^{n-s}</span><script type="math/tex">P(x=s) =C_n^s p^s(1-p)^{n-s}$

最终可以反解出来这个置信下限和置信上限，这里就不在列出具体公式了。

Wilson区间/Wald矫正区间

注意Wilson和wald两种方法上的区别，wald在设置置信区间的时候是简化了问题，用样本比例近似了真实的比例。wilson认为$\frac{\hat p -p}{\sqrt\frac{p(1-p)}{n}} - N(0,1)$

简单的推理过程如下

最终推导出来的置信区间是

（2）wald矫正区间

上述的置信区间有一个简单的计算方式-加2法，即在数据中增加2个成功案例和2个失败案例,然后再用传统的wald区间估计方法

这是因为

3.总体方差的区间估计

在估计总体方差时候，首先假设总体服从正态分布，由于
$<span class="arithmatex"><span class="MathJax_Preview">\frac{(n-1)s^2}{\sigma^2}-X^2(n-1)</span><script type="math/tex">\frac{(n-1)s^2}{\sigma^2}-X^2(n-1)$而卡方分布不是对称分布，所以需要找到一个卡方值使其满足$X^2_{1-a/2} <X^2 < X^2_{a/2}$

4. 其他集中趋势量

基于均值的

基于均值的估计，一般是在假设其分布比较对称的时候，均值是很好的对”集中趋势“的度量。根据样本量的大小，均值的置信区间可以用t分布或者z分布。

基于中位数的

很多时候，数据本身的分布是不对称的，比如用户的网页结果的停留时长、用户点击的位置分布等。这个时候均值就不是一个很好的对总体集中趋势的估计了。实际中用的较多的是中位数。

但是中位数本身也存在一些问题。
* 变异性。中位数可以抵挡异常值对整体分布的影响，但是当从一个连续分布中抽样样本时候，中位数要比均值的变异性更大。均值可能相对比较稳定的，但是中位数可能跳动会很大。
* 偏倚性。平均值的一个好的性质就是估计的无偏性，

基于几何均值的

可以参考Sauro and Lewis2010年的一篇论文。

这里简单说下论文的主要结论吧：
* 样本中位数是总体中位数的有偏估计
* 作者主要比较了，均值，中位数，几何均值，调和平均值，截断均值(去掉最高和最低的topN)。 通过蒙特卡洛模拟的方法，对于n>25时候，样本中位数是个比较好的估计，对于n<25的时候，几何均值是一个比较好的估计

• 中位数的置信区间
  特定类型的数据(比如任务时长，用户在搜索结果的停留时间)，要找到中位数的置信区间，中位数即p=0.5的那个分界点。其实相当于要找到p的置信区间。
  $$\hat p \pm z_{1-\alpha/2} \sqrt\frac{\hat p(1-\hat p)}{n} $$

得到置信区间[p1, p2]之后，去找到数据中位于[p1,p2]分界点的数据点即为中位数的置信区间了。

双总体

1. 两个总体均值之差的区间估计

独立大样本

此时有：$<span class="arithmatex"><span class="MathJax_Preview">z=\frac{\bar x_1-\bar x_2-(\mu_1 - \mu_2)}{\sqrt{\sigma_1^2/n_1 + \sigma_2^2/n_2}}</span><script type="math/tex">z=\frac{\bar x_1-\bar x_2-(\mu_1 - \mu_2)}{\sqrt{\sigma_1^2/n_1 + \sigma_2^2/n_2}}$
因此可以估计出其置信区间，对于总体方差未知的情况，可以使用样本的方差代替

独立小样本- 正态分布条件下

(1) 总体方差已知。结果同独立大样本

(2) 方差未知，但是两个方差相同，此时需要将两个数据合并对总计方差进行估计，联合估计的方差
$<span class="arithmatex"><span class="MathJax_Preview">s_p^2=\frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1+n_2-2}</span><script type="math/tex">s_p^2=\frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1+n_2-2}$
这时，标准化之后的统计量服从自由度是n1+n2-2的t分布，即
$<span class="arithmatex"><span class="MathJax_Preview">t=\frac{\bar x_1-\bar x_2-(\mu_1 - \mu_2)}{s_p\sqrt{1/n_1+1/n_2}}</span><script type="math/tex">t=\frac{\bar x_1-\bar x_2-(\mu_1 - \mu_2)}{s_p\sqrt{1/n_1+1/n_2}}$
(3) 当总体未知并且不相等的时候，标准化之后的统计量近似服从自由度为v的t分布，其中v的计算方式
$<span class="arithmatex"><span class="MathJax_Preview">v=\frac{(s_1^2/n_1+s_2^2/n_2)^2}{(s_1^2/n_1)^2/(n_1-1) +(s_2^2/n_2)^2/(n_2-1) }</span><script type="math/tex">v=\frac{(s_1^2/n_1+s_2^2/n_2)^2}{(s_1^2/n_1)^2/(n_1-1) +(s_2^2/n_2)^2/(n_2-1) }$
对应的置信区间是
$<span class="arithmatex"><span class="MathJax_Preview">\bar x_1-\bar x_2 \pm t_{a/2}(v)\sqrt{s_1^2/n_1 + s_2^2/n_2}</span><script type="math/tex">\bar x_1-\bar x_2 \pm t_{a/2}(v)\sqrt{s_1^2/n_1 + s_2^2/n_2}$

配对样本

将对应样本的差值当做但总体的即可，按照单总体的逻辑进行计算

2.两总体比例之差

3.两总体方差之比

两个样本的方差比例服从F(n1-1, n2-1)
因为两个卡方分布相比可以产出F分布，根据前面的 3 总体方差的区间估计，可以有$<span class="arithmatex"><span class="MathJax_Preview">\frac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2} - F(n_1-1, n_2-1)</span><script type="math/tex">\frac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2} - F(n_1-1, n_2-1)$
所以对应的置信区间是
$<span class="arithmatex"><span class="MathJax_Preview">\frac{s_1^2/s_2^2}{F_{a/2}}《 \frac{\sigma_1^2}{\sigma_2^2} 《 \frac{s_1^2/s_2^2}{F_{1-a/2}}</span><script type="math/tex">\frac{s_1^2/s_2^2}{F_{a/2}}《 \frac{\sigma_1^2}{\sigma_2^2} 《 \frac{s_1^2/s_2^2}{F_{1-a/2}}$

样本量确定

参数估计-样本量的确定

参考资料

维基百科 https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Wilson_score_interval
https://indico.ihep.ac.cn/event/6182/contribution/4/material/slides/0.pdf