《比较测试的设定和分析》的评论

作者：李乐

李乐 — Thu, 07 Aug 2014 08:20:05 +0000

你好，我现在正在做AB test，遇到一个问题，我用最优检验推导的那个估算样本容量大小的公式，估算的样本容量值大致都是万以上得量级。而我实际的AB test 测试的样本都是一千以下的量级，我的OEC是网页的转化率，把每个点击进入网页的人购买或者离开看成一个随机变量，服从二点分布。
我想问一下，对于这种小样本量的（样本大小通常在一千以下）AB test有必要用假设检验和置信区间那套理论去计算吗？我总感觉计算出来的结果和我们直观上拍脑袋做决定一样。

作者：joegh

joegh — Tue, 02 Oct 2012 16:25:25 +0000

@nian: 嗯，用户的增长和流失确实是同时存在的，但文中统计的用户数的变化其实已经包含了用户增长、流失等个方面因素共同影响之后用户数的变化情况。其实我这边只是想说明有时间先后顺序的组内比较分析需要屏蔽数据自然变化的影响，而具体这些变化由哪些诸多因素的影响其实并不是这里的重点。

作者：nian

nian — Sat, 29 Sep 2012 03:47:11 +0000

你好，我想问的是既然考虑到日均增长率，那为什么不也加上日均流失率呢？用户有增长，但其实也伴随着流失啊。？

作者：joegh

joegh — Tue, 15 May 2012 14:52:12 +0000

@左左: 你好，因为数据存在波动性我们才需要去验证排除随机波动之后的显著差异。我们去比较本周数据和上周数据的差异不是为了说明本周数据好于上周数据（本身就是总体数据，直接比较就能说明问题），而为了说明本周数据的提升具备长久保持这个优势的可能，你可以认为这一周数据是长期数据（总体）的一段抽样，我们要验证的是优化是否具备长期的效果，而不仅仅是在这一周中表现出差异。至于你说的不确定因素因素比较多，所以文章里面罗列了“前提和影响因素”，使用A/B测试也正是为了控制这些无关因素的影响。假设检验本身就是为了说明差异是由系统误差引起，而不是由于随机误差所引起的。

作者：左左

左左 — Tue, 15 May 2012 11:58:10 +0000

我有个疑问，像T检验最早是用在传统行业的生产吧？比如从生产线上抽一组样本，平均数跟标准的误差很小（譬如正常均值是100，今日抽样的均值是100.5），但可以用T检验来判断生产线是不是正常。
我自己的理解，像统计学的显著性检验，感觉一般用的范围不是是分布很稳定、差异很小的时候判断？如果说数据本身变化已经很大了，其实已经很明显比如（上周均值100，本周均值110），其实很明显有显著差异了，那再做T检验意义何在呢？
在过来实际的网络数据，基本浮动还是很大的，一般不用T检验只看均值都知道存在显著差异了。另一个角度，如果差异小到需要动用T检验来判定的时候，实际如3%左右的影响，实际工作中影响又多大呢？甚至可能是其他误差引起的（这也很难避免）。
所以我的困惑就是，明显不一样的，一眼就看出来，费得着用T检验吗？差异很小的变化，在互联网的实际环境，因为影响的不确定因素太多，即使T检验是显著的也没多大的说服力。

作者：joegh

joegh — Mon, 26 Dec 2011 11:04:36 +0000

@sean_zhou: 是的，文章只是介绍比较测试的方法，实际使用不止局限于举例的转化率，很多指标可以借鉴这些方法。

作者：sean_zhou

sean_zhou — Sun, 25 Dec 2011 13:54:47 +0000

就是比较转化率，还可以考虑新老用户流失率等指标，不知是否正确，新手

作者：行走在互联网路上——UE之旅 » 比较测试的设定和分析

行走在互联网路上——UE之旅 » 比较测试的设定和分析 — Wed, 14 Dec 2011 14:15:40 +0000

[...] 　　这篇文章可能写得有点长，本来想分两篇发布，但因为内容不太好分段，也怕影响内容的连贯性，所以最终都整合到了一篇，希望大家有耐心能够看完。当然期间的一些看法如果有问题，或者大家有自己的其他见解，都可以在下面评论留言，非常欢迎大家提出其他的看法。一边在看羽毛球世锦赛男单决赛一边更新了这篇博客，希望文中不要存在过多地错误或者错别字　» 本文采用 BY-NC-SA 协议，转载请注明来源：网站数据分析 » 《比较测试的设定和分析》 [...]

作者：行走在互联网路上——UE之旅 » T检验和卡方检验

行走在互联网路上——UE之旅 » T检验和卡方检验 — Wed, 14 Dec 2011 14:15:18 +0000

[...] 比较测试的设定和分析 [...]

作者：joegh

joegh — Tue, 25 Oct 2011 13:14:23 +0000

@bobo: 你好，很好的想法，不过订单数和用户数做线性回归可能没什么必要，一般而言网站的人均订单是相对恒定的（在运营环境未作出大调整的前提下），所以一般拟合的结果是y=ax，如果是基于这种结果，其实跟我文中提到的方法得到的最终结果的差异不会很大。当然，你的建议非常不错，在其他的应用环境下可能会非常有效。