注册 | 登录
吆喝科技，AB测试云服务。
产品经理就业培训班，12周特训，测、练、实战，22位导师全程带班，200+名企内推，保障就业
刚哥风趣幽默，以一个硕大无比的搪瓷缸闻名。刚哥懂历史，也晓风月，更关键的是：他是A/B测试界里最懂统计学的；统计学界里A/B测试实战经验最为丰富的老兵。本文是浓缩了刚哥多年行业经验与A/B测试的精髓，涨知识走起！
刚哥声名在外，记得刚到公司第一周，见他用一套《A/B测试与统计学300题》虐遍了整个公司（哦，不，刚哥说30题就够虐了）。后来有幸跟刚哥交流，他端起了标志性的搪瓷缸。
抿口水，语重心长地对我说：“小张，你以为我是故意要虐大家吗？身为咱们数据分析人，懂A/B测试与统计学是我们的基本修养呀。”我听后，深以为然，对刚哥的崇敬愈深。
后来需要刚哥交一篇关于A/B测试的文章，他笔下生花，交出了这份浓缩着多年行业经验与A/B测试精髓的帖子。
你到底是怎样的A/B测试？
有放回？无放回？
从总体中随机抽取一个容量为n的样本，当样本容量 n足够大(通常要求n ≥30)时，无论总体是否符合正态分布，样本均值都会趋于正态分布。期望和总体相同，方差为总体的1/n。这即是中心极限定理，是A/B测试数据分析的基础。
然而抽样分为有放回和无放回两种。样本均值的方差是总体方差的1/n（n为样本容量），这个结论是针对有放回抽样的。实际试验中，大部分是无放回的，这样流程比较简单。无放回抽样，样本均值方差见下。观察公式可知道，当总体容量比样本容量大很多倍时，样本均值的方差可以近似为总体方差的1/n。
配对样本？独立样本？
当两个样本的获取存在关联时，称为配对样本。例如比较人早晚身高变化，如果早上身高的样本包含了张三，则晚上身高的样本也要包含张三。
某些情况下配对样本比较难实现，比如药物双盲试验，患者不能既服用安慰剂又服用药物。这时只能使用独立样本，随机分配个体进入两个样本，认为2个样本的个体统计上不存在差别。同时患者不知道自己服用的是安慰剂还是药物，消除心理作用的影响。
互联网产品的A/B测试和新药试验类似，理论上说应该让同一组用户同时看到多个版本进行比较，或者是看完一个版本后用时间机器倒回去再看另一个版本。显然无法做到，只能选取试验用户时足够的随机，让两组用户从统计意义上相同，认为偏差都是产品版本造成的。
样本方差？总体方差？
A/B测试计算置信区间的公式：
置信区间计算公式中的方差项，理论上应该使用总体方差。而总体方差没法知道，只能用样本方差来代替了。好在样本方差是总体方差的无偏估计。样本方差和总体方差的比值，符合χ2分布。
时变？时不变？
A/B测试需要假设产品用户的访问习惯不会随着时间的推移而发生变化。很遗憾在某些情况下并不是这样。某些产品存在很明显的季节因素，例如旅游。一般的A/B测试周期会包含休息日和工作日，但很难包含多个季节，在外推测试结论时要十分谨慎。另外，强烈的外部事件会对用户产生刺激，要避免在这种情况下进行A/B测试，尽量在平稳时期进行。
A/B测试存在哪些误区？
A/B测试里犯错不可怕，可怕的是不知道自己犯错了。
误区1：P-value 是犯第一类错误的概率
P-value 是根据统计数据计算得来的，多次试验的话会得到不同的 P-value ，究竟哪个值才是犯第一类错误的概率呢？所以， P-value 和犯第一类错误的概率无关。犯第一类错误的概率应该只和实验系统有关，是在开始试验之前就知道的，显著性检验标准 α 才是犯第一类错误的概率。显著性检验标准 α 是试验者设置的，作为试验者可以有效的控制犯第一类错误的概率，是不是更加合理呢？
95%置信区间为[x,y]意味着被估计参数有95%可能属于区间[x,y]，且在区间中间的概率更高一些。
传统的假设检验基于频率学派。对于频率学派来说被估计的参数没有不确定性，它就是一个固定的值。有不确定性的是抽样，是试验数据，所以95%置信区间真实的意思是做100次试验，得到100个区间，其中有95个区间能包含被估计参数的值，[x,y]只是众多区间中的一个而已，下次试验得出的置信区间就不是它了。
误区2：脱离具体情况只关注 P-value 绝对数值的大小
P-value 是当原假设为真时，得到比目前更加极端试验数据的概率。P-value 无法描述原假设成立的概率，因为对于频率学派来说原假设是否成立是不存在不确定性的。频率学派在进行试验前对所有的原假设一视同仁，先验知识无用武之地。实际情况下，我们对不同原假设的信心显然是不同的。所以同样是 P-value 为0.01，如果试验用来证实增大网页上的一个按钮能提高点击率，产品经理会欣然接受，如果试验想推翻动量守恒定律，根本不会有人正眼看一下这个结果。
误区3：试验过程中随意调节不同版本的试验流量比例
一般进行A/B测试时，会先做小流量试验，之后逐渐增大。这是业界常规的做法。需要注意的是，在均值数据仅根据 UV 平均没有进行天数平均的情况下，新进入的流量会拉低均值数据。这很好理解，新进入试验用户贡献的点击量必然不如已经进入试验若干天的用户。如果各试验版本的流量是同步放大的，这种新用户效应对不同试验版本统计数据的影响是相同的。如果流量放大不同步，比如一个试验版本5%－10%，另一个试验版本5%－20%，后一个版本的均值数据会受到更大的拖累。对于转化率指标，情况会好不少，因为一个用户最多贡献一个转化，最先进入试验的用户对指标的贡献不会比新用户更大。
误区4：反复进行A/A测试，A/A测试观测多个指标
在A/B测试之前进行A/A测试，避免工具有 bug ，这也是业界常规的做法。预期的结果当然是统计不显著。然而，犯第一类错误的概率总是存在的，无论多么小。在一次试验中，小概率事件几乎不会发生；不停试验，小概率事件几乎一定会遇到。A/A测试中偶然出现的统计显著结果并不能断定测试工具存在 bug ，可能仅是概率使然。
误区5：干涉试验流量的分配
A/B测试是通过给相同的用户群体看不同的版本，来进行比较，最大程度的保证结果的科学性和准确性。这是由随机分配流量来保证的，而试验者人为的进行流量分配，给不同来源的用户看不同的版本，则比较结果可能会不准确。如果最终目的就是想让2个来源的用户看到不同的版本。则建立2个定向试验，分别进行验证，如果确实胜出的版本不同，结束试验后，由前端程序把这种个性化方案固定下来。A/B测试的目的是测试，测试总有结束的一天，测试结束后去掉测试代码，把胜出方案固定下来，通过A/B测试平台来实现产品功能是不合适的。
作者：刚哥@吆喝科技（微信：appadhoc）数据分析老兵，统计学专家
本文由 @ 刚哥 原创发布于人人都是产品经理。未经许可，禁止转载。
赞赏是对原创者的最大认可3人打赏
收藏已收藏 | 13赞已赞 | 6
吆喝科技，AB测试云服务。
产品经理群
运营交流群
数据分析群
文案交流群
Axure交流群
关注微信公众号
大家都在问
14个回答20人关注
17个回答60人关注
19个回答24人关注
16个回答21人关注
7个回答34人关注
89个回答78人关注查看： 回复：12
求教奔驰gla A B级，三台如何选？[待解决]
rel="nofollow" href="http://my.pcauto.com.cn/9836367/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836367/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
您好，精华帖至少要有15张图片，文字不少200个字！并且是原创内容，布局合理。
楼主 电梯直达 楼
求教奔驰glaAB级，三台如何选？差距又在哪里？为毛AB级这么便宜，我擦，我是小白，不懂车！
如果你对以下车友回答满意，请设置一个推荐答案！
申请精华帖
您的申请已经提交，请耐心等待审核
1、审核通常是1-3个工作日 2、审核结果我们会通过系统消息给您答复
申请精华帖
您已经超过申请限制，不可再申请
您的申请连续三次被驳回，已经无法再申请精华帖，谢谢你对我们的支持！如有疑问，可以 投诉/建议&&
申请精华帖
您有发现精华的慧眼，赞一个！
1、我们会在1-3个工作日内完成审核
申请精华帖
此贴已经申请精华中，谢谢您的支持！
1、我们会在1-3个工作日内完成审核
申请精华帖
您好，该帖子经过审核后，发现内容不符合精华要求，无法申请成为精华，谢谢你的支持！
申请精华帖
抱歉，帖子还没达到精华标准
精华帖至少要有15张图片，文字不少于200个字！您的帖子未达到要求，不能申请精华。 查看精华帖标准
rel="nofollow" href="http://my.pcauto.com.cn/9836427/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836427/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
功能性差异，居家实用选b，想玩改装选a，gla。gla性能比a强，底盘高，220以上有四驱2.0。缺点，b底盘低，改装件少。a底盘低，空间小，gla空间小。
rel="nofollow" href="http://my.pcauto.com.cn/9836367/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836367/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
那几万果然只是牵涉到大小问题
rel="nofollow" href="http://my.pcauto.com.cn/9836413/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836413/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
果断选进口B，国产奔驰gla除了外观好看，其他不敢恭维，车子里味重，你可以拿进口车比一比
rel="nofollow" href="http://my.pcauto.com.cn/9836367/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836367/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
rel="nofollow" href="http://my.pcauto.com.cn/7651614/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/7651614/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
有的人是买牌子有的人买面子有的人买给别人看有的人买给自己开家人享看上b200的都是居家和实在的人有眼光的人
rel="nofollow" href="http://my.pcauto.com.cn/9836427/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836427/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
你说对了，B是最丑的，但是最实用的！看怎么舍去了
rel="nofollow" href="http://my.pcauto.com.cn/9836384/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836384/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
自己一个人上下班代步、玩车，A级，GLA，居家用车载娃载家人，B级。
rel="nofollow" href="http://my.pcauto.com.cn/7651408/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/7651408/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
总结奔驰B级：大牌，价格优（当然横向比较豪华牌子当中），配置丰富，空间给力，操控和乘坐都比较舒适，可能唯一不被大众看好的就是外形，但有哪里一部车是十全十美的呢？所以B级我打90分，十全九美！
rel="nofollow" href="http://my.pcauto.com.cn/9836998/fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn/9836998/pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
gla好看，空间小，虽然外形暴力，但你看官方给的加速数据，反而略逊于b，油耗略高，个人认为是气动外形的原因。但gla的通过性要好于b，毕竟是suv，这个不好选，看自己需要。至于a没考虑过，如果买a的话，我当年就买mini了。
rel="nofollow" href="http://my.pcauto.com.cn//fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn//pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 192.168.240.195/61.145.113.113
以上?的都很正?了。但是如果真要玩?，同等??A3比A?可值得玩。
rel="nofollow" href="http://my.pcauto.com.cn//fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn//pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 183.30.222.91/14.152.68.210
&发表于&功能性差异，居家实用选b，想玩改装选a，gla。gla性能比a强，底盘高，220以上有四驱2.0。缺点，b底盘低，改装件少。a底盘低，空间小，gla空间小。
我试驾了B200，发动机噪音太大，车像没什么力，车太丑了。GLA开起来舒服，动力强劲
rel="nofollow" href="http://my.pcauto.com.cn//fan/"
target="_blank" rel="nofollow" id="follow粉丝
rel="nofollow" href="http://my.pcauto.com.cn//pick/"
target="_blank" rel="nofollow" id="fan精华
最后修改IP： 183.30.222.91/192.168.236.202
B200太丑了
#(┬＿┬) 帖子被删或被屏蔽了...
只可添加一张图片，多张图片请选高级模式
您需要登录后才可以发帖&&&&&&│&&&&│&&&&
奔驰B级更多相关问题如何用EXCEL输入a的平方加b的平方等于c的平方的数学公式_百度知道
如何用EXCEL输入a的平方加b的平方等于c的平方的数学公式
我有更好的答案
以单元格A1（代表a） 和单元格B1（代表b） 的为例则公式可以这样写：c = A1^2+B1^2或者c = SUM(A1^2,B1^2)
采纳率：33%
只是单纯的输入可以像楼上那样， 但是如果你要求解的话是不能那样弄的哈
本回答被网友采纳
//f.hiphotos.baidu.com/zhidao/pic/item/5fdf8db1cbc65d4eaaa.jpg" target="_blank" title="点击查看大图" class="ikqb_img_alink"><img class="ikqb_img" src="http://f.hiphotos在“插入”选项下的“公式”中，选择“勾股定理”.baidu.baidu.com/zhidao/wh%3D600%2C800/sign=44f8e38a9c2bd4074292dbfb4bb9b269/5fdf8db1cbc65d4eaaa.jpg" esrc="http://f.hiphotos，即可得到相应公式。<a href="http
a^2+b^2=c^2
为您推荐：
其他类似问题
数学公式的相关知识
&#xe675;换一换
回答问题，赢新手礼包&#xe6b9;
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。大家都在搜：
扫描二维码安装房天下APP
手机浏览器访问房天下
> > 问题详情
你会找出不同类的一项吗?a写字台 b沙发 c电视 d桌布
浏览次数：0
小伙伴们还在答题的路上，先看看下面这些内容吧~
不疑例外,电视柜和沙发是客厅里的主角,一个舒适的客厅氛围离不开它们两个的搭配,那么电视柜和沙发的尺寸要如何的选择,在选择的时候要注意哪些呢?今天小编就为大家介绍一下关于电视柜沙发选择的相关信息。 []
浏览量：579
请选择房屋所在省份
装修总预算0万元
卫生间：0元
扫一扫下载房天下装修
扫码即获10000套家居设计案例
手机动态登录
请输入用户名/邮箱/手机号码！
请输入密码！
没有房天下通行证，
ask:2,asku:1,askr:84,askz:19,askzx0:346,ask0:0,RedisW:161askR:796,askD：161 mz:hit,askU:0,askT:0askA:1334
Copyright &
北京拓世宏业科技发展有限公司
Beijing Tuo Shi Hong Ye Science&Technology Development Co.,Ltd 版权所有
违法信息举报邮箱：我的问题如下现有A公司和B公司，A是台资B是美资，法人代表也是俩人如果不去B公司员工应该怎样维权？--在线法律咨询|律师365(64365.com)
大家都在搜：
微信扫一扫 免费问律师
手机扫一扫 法律兜里装
我的问题如下现有A公司和B公司，A是台资B是美资，法人代表也是俩人如果不去B公司员工应该怎样维权？
1分钟提交法律咨询 2000多位 信得过的好律师 为您提供专业解答
（咨询请说明来自律师365）
地区：河北 保定|解答问题：3306条
要看对工作地点的约定，如果变更了合同规定的地址，员工可以要求单位支付。
相关法律咨询
律师您好。我是05年4月进入昆山一家台资公司服务至今，现在公司跟我谈资遣，请教两个问题：怎样的条件下可以争取到2倍的赔偿金？再有就是赔偿标准有最低保障吗？好像听说满十年赔偿标准较没满十年有不同，有这说法吗？谢谢。
您好，单位违法解除，你可以争取双倍的，以你前12个月平均为基数，十年和非十年并没有特别区别，都是按照工作年限折算。
关注此问题的人还看了
相关法律知识
热门百科7小时前
相关律师回复
郑汉东律师 最近回复：
胡珊律师 最近回复：
周边专业律师
扫描二维码
更多惊喜等着您！
立即提问、免费短信回复
律师365，优质法律服务平台
400-64365-60服务时间：周一至周六8：00~22:00服务指南平台保障律师入驻常见问题
Copyright(C) 成都六四三六五科技有限公司 版权所有 蜀ICP备号 增值电信业务经营许可证(川B2-)
660律师在线
587今日解答