假设检验其实与参数估计类似，只是描述的角度不同

1. 假设检验的基本原理

简单说：就是先对总体的参数提出某种假设，然后根据抽取的样本数据来判断假设是否成立。

基本步骤

step1: 提出原假设与备择假设。比如
$$ H_0: \mu =\mu_0, H_1: \mu > \mu_0 $$

两类错误

一类错误

也叫做$\alpha$ 错误，原假设为真而拒绝原假设的概率。第一类错误也叫做 显著性水平

二类错误

也叫做$\beta$ 错误，原假设为假而接受原假设的概率

1. 均值的比较 t检验

均值的比较一般可以用t检验，根据设计方式的不同可分为如下两类

1.配对样本t检验

配对样本，即相同的用户参与了不同的测试。采用相同的用户分别参加两种不同的测试好处就是排除了用户的个体干扰，面临的问题就是需要对用户先接触哪个后接触哪个做好平衡，不能让两个之间有影响。比如测试两种药品，先服用A药后，已经对用户产生了影响，再去服用B药物的话就无法准确的看出效果了。

美食评判中，美食专家们都是品尝完一道菜之后需要漱嘴然后才开始品尝下一道菜，就是这个原因。

其中D表示两个不同测试之间的差别。

$$t=\frac{\hat D}{S_D/\sqrt n}$$

2双总体t检验

即不同的用户参与了不同的测试，一个A组，一个B组。通过两组效果的差异进行比较。

假设两个总体分别为X, Y

假设条件：

• 两组样本不相关
• 两组样本近似服从正态分布

在以上的前提假设下，Z=X-Y 也应该近似服从正态分布。且有
$$ E(X) = E(X)- E(Y)$$
$$ Var(Z) = Var(X-Y)= Var(X) + Var(Y)$$

均值的估计可以用样本的均值差$\bar x - \bar y$， 而方差的估计就需要分情况讨论了。

• $\sigma_1,\sigma_2$已知，

$$Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}~ N(0,1)$$

• $\sigma_1,\sigma_2$ 未知

  • 已知 $\sigma_1=\sigma_2$
    这个时候需要根据样本1和样本2的方差去联合估计总体的方差
    $$ Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{S_w\sqrt{1/n_1+1/n_2}}\sim N(0,1)$$
    其中联合估计方差$s_w=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n1+n_2 -2}$

  • 已知 $\sigma_1\ne\sigma_2$
    $$ Z=\frac{\bar x-\bar y -(\mu_1 - \mu_2)}{\sqrt{s_1^2/n_1+s_22/n_2}}~ t_{df'}$$

  其中t分布的自由度是$df'=\frac{(s_1^2/n_1+s_2^2/n_2)^2}{\frac{(s_1^2/n1)^2/n_1}{n_1} + \frac{(s_2^2/n2)^2/n_2}{n_2}}$

差异的效应(effect size)
除了差异是否显著以外，在实际中我们还需要注意差异的效应，即这个差异究竟有多大

2.比例的比较

双比例检验

双总体的比例检验，比例其实可以看做是均值的一种特殊情况，所以双总体的比例的比较也可以转化为均值的比较。

$$Z=\frac{\bar p_1-\bar p_2 }{\sqrt{PQ(\frac{1}{n_1}+\frac{1}{n_2})}}\sim N(0,1)$$

卡方检验
对于分类型变量，另一个常用的检验方法就是卡方检验。卡方检验首先是一种非参数检验方法，其并不依赖于原始数据的分布假定，卡方检验主要应用于分类变量的关联性分析（关于卡方检验的后续再详细介绍)。

对于2x2的列联表来说

	通过	失败	总计
实验A	a	b	m
实验B	c	d	n
总计	r	s	N

$$\chi^2 = \frac{(ad-bc)^2N}{mnrs}$$

fisher精确检验

上述说的卡方检验和双比例的检验其实都是一种近似，fisher精确检验依据超几何分布，根据排列组合的概率来进行计算。