作者回复: t检验可以用pairwise的t检验,一般用于两组对比,而f检验可以进行多组(多个水平)的检验
作者回复: 是的,可以进行采样数据可视化来初版判断
作者回复: 这个问题比较复杂,简单的来说,基于一些假设我们可以画出在不同的自由度之下,不同的F值曲线。和正态分布类似,根据这个曲线,我们可以确定某个α的值,让F曲线在α值右侧的面积小于0.05或者0.01等等。
作者回复: (a均值-b均值) / (b均值),是相对百分比
作者回复: 这是个好问题,0.05是业界的常见标准,约定俗成。也不一定要取0.05,0.1或者是0.02,0.01,只要不是太大都可以。至于多“大”算“大”,看你愿意接受偶然性的程度,没有明显的界定,当然0.3,0.5这种就肯定太大了。
作者回复: 量纲在物理学里用得比较多,我的理解是它代表了不同的含义,比如这里代表转化率的单位。假设转化率的定义是#click/#pageview,那么这里的两个水平的量纲都是这种次数的比例,量纲应该是相同的。
对于自由度的计算,如果平均值发生了变化,那么方差就要重新计算了。