s********n 发帖数: 80 | 1 一般公司具体怎么做AB Test? 好比new design vs. current design? 如果目标
metric是CTR,那只要sample size足够大,那两个design对应的CTR总是有significant
的difference的。
对于很多公司,数据不是问题,sample size要多大就能给多大。这个时候怎么做决定
呢?感觉这个时候Testing已经不重要了(反正是significant的),就看估计值了。那
这个时候一般公司是怎么决定要不要采用new design呢? |
h***i 发帖数: 3844 | 2 这话说的。sample size要多大就能给多大?
significant
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一般公司具体怎么做AB Test? 好比new design vs. current design? 如果目标 : metric是CTR,那只要sample size足够大,那两个design对应的CTR总是有significant : 的difference的。 : 对于很多公司,数据不是问题,sample size要多大就能给多大。这个时候怎么做决定 : 呢?感觉这个时候Testing已经不重要了(反正是significant的),就看估计值了。那 : 这个时候一般公司是怎么决定要不要采用new design呢?
|
E********t 发帖数: 418 | 3 我也有同样的问题 AB Testing 只要sample size足够大 总是有significant
的difference的 |
J*X 发帖数: 1001 | 4 奇了怪了,如果null正确的话,large n难道不是使得的x_bar converge 到mu_0了,怎
么会一定sinificant呢? |
N**N 发帖数: 1713 | 5 可以看看这个,可能有点帮助:
https://blog.kissmetrics.com/your-ab-tests-are-illusory/
significant
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一般公司具体怎么做AB Test? 好比new design vs. current design? 如果目标 : metric是CTR,那只要sample size足够大,那两个design对应的CTR总是有significant : 的difference的。 : 对于很多公司,数据不是问题,sample size要多大就能给多大。这个时候怎么做决定 : 呢?感觉这个时候Testing已经不重要了(反正是significant的),就看估计值了。那 : 这个时候一般公司是怎么决定要不要采用new design呢?
|
s********n 发帖数: 80 | 6 就好比,current design 10个人里面1个点了广告,new design 10个人里面2个点了广
告。 那这两个相比,一般会认为两个design没有significant difference,sample
size小,估计值的方差大。
但是如果sample size达到一定的值,好比1M, 那current design 里面有10k的人点了
广告,new design里面有20k的人点了广告,这个时候再做test,就significant了,因
为样本打了,估计的准了,方差小了。
【在 J*X 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 奇了怪了,如果null正确的话,large n难道不是使得的x_bar converge 到mu_0了,怎 : 么会一定sinificant呢?
|
h***i 发帖数: 3844 | 7 实话,样本没那么大。
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 就好比,current design 10个人里面1个点了广告,new design 10个人里面2个点了广 : 告。 那这两个相比,一般会认为两个design没有significant difference,sample : size小,估计值的方差大。 : 但是如果sample size达到一定的值,好比1M, 那current design 里面有10k的人点了 : 广告,new design里面有20k的人点了广告,这个时候再做test,就significant了,因 : 为样本打了,估计的准了,方差小了。
|
w*******9 发帖数: 1433 | 8 是这个意思,关键看你想测试的effect size是多大,如果size给定了,真正的效果达
不到这个size的话,sample size越大越容易得到不显著的结果
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 就好比,current design 10个人里面1个点了广告,new design 10个人里面2个点了广 : 告。 那这两个相比,一般会认为两个design没有significant difference,sample : size小,估计值的方差大。 : 但是如果sample size达到一定的值,好比1M, 那current design 里面有10k的人点了 : 广告,new design里面有20k的人点了广告,这个时候再做test,就significant了,因 : 为样本打了,估计的准了,方差小了。
|
s*****t 发帖数: 119 | 9 significance / pvalue是一个重要参考
如果不显著,那么difference再大,也可能是noise
如果显著,那么接下来比pvalue更重要的就是difference 和 difference CI了,这些
决定了是否采用new design
所以significance是第一道门槛
对于sample size来说,一方面 sample size 可以很大,另一方面要test 的
difference一般很小,比如1%的revenue difference也是影响很大的
举个例子,如果一个metric的mean是1,std是2,在power=0.8, alpha=0.05的情况下,
要检测1%的difference in mean,那么一共需要 1200k (600k test, 600k control)
数据点才可以有足够的power。就算我们有1200k用户,产品团队是否愿意冒风险让600k
用户看到充满不确定的新页面,就另说了。
所以,sample size的大小只是相对的。
significant
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一般公司具体怎么做AB Test? 好比new design vs. current design? 如果目标 : metric是CTR,那只要sample size足够大,那两个design对应的CTR总是有significant : 的difference的。 : 对于很多公司,数据不是问题,sample size要多大就能给多大。这个时候怎么做决定 : 呢?感觉这个时候Testing已经不重要了(反正是significant的),就看估计值了。那 : 这个时候一般公司是怎么决定要不要采用new design呢?
|
s********n 发帖数: 80 | 10 嗯, effect size也是一个考虑的因素。
【在 w*******9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是这个意思,关键看你想测试的effect size是多大,如果size给定了,真正的效果达 : 不到这个size的话,sample size越大越容易得到不显著的结果
|
s********n 发帖数: 80 | 11 嗯,说的太好了。
所以是要
1. 先确定一个sample size(如果不太需要担心effect size的话),这个值可能不会
太大。
2. 做test,看是不是significant
2.1 如果significant,那就看看difference,以及其CI再做决定。
2.2 如果不significant,那就不考虑new design.
不过我觉得在确定sample size的时候是能大致知道多大的difference是能significant
的。如果test是significant的,那这个difference是要大于这个临界值的。
600k
【在 s*****t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : significance / pvalue是一个重要参考 : 如果不显著,那么difference再大,也可能是noise : 如果显著,那么接下来比pvalue更重要的就是difference 和 difference CI了,这些 : 决定了是否采用new design : 所以significance是第一道门槛 : 对于sample size来说,一方面 sample size 可以很大,另一方面要test 的 : difference一般很小,比如1%的revenue difference也是影响很大的 : 举个例子,如果一个metric的mean是1,std是2,在power=0.8, alpha=0.05的情况下, : 要检测1%的difference in mean,那么一共需要 1200k (600k test, 600k control) : 数据点才可以有足够的power。就算我们有1200k用户,产品团队是否愿意冒风险让600k
|
c*********g 发帖数: 21 | 12 sample size要多大就有多大?感觉财大气粗的样子。既然有sample size那么大,那你
加power试试咯? |
E**********e 发帖数: 1736 | 13 同意。A/B test 的一个优点就是sample size 收集到一定数量,test显是significant
的时候就可以停下来,这样就可以节约成本。公司marketing的时候,不可能无限至的
进行test的。
我最近也在学,test 本身就是个binomial 分布。样品大,可以NORMAL 近似。个人觉
得A/B test 还是需要真正的marketing 经验。这需要产品设计,广告宣传。最近公司
招marketing manager,一个条件就是需要在这个行业10年以上的工作经验。
:sample size要多大就有多大?感觉财大气粗的样子。既然有sample size那么大,那
你加power试试咯? |
b*****s 发帖数: 11267 | 14 这个,一个是statistical significant 但是它们之间的差异是不是足够达到
practical significant呢?
回答第一个问题是hypothesis testing,第二个问题可以参考effect size之类的
significant
【在 s********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一般公司具体怎么做AB Test? 好比new design vs. current design? 如果目标 : metric是CTR,那只要sample size足够大,那两个design对应的CTR总是有significant : 的difference的。 : 对于很多公司,数据不是问题,sample size要多大就能给多大。这个时候怎么做决定 : 呢?感觉这个时候Testing已经不重要了(反正是significant的),就看估计值了。那 : 这个时候一般公司是怎么决定要不要采用new design呢?
|