p****e
发帖数: 165 | 1 在工作中经常会遇到做产品的AB test (or split test)来比较不同的结果，我准备用z
-test进行比较，H0设为Control, A,B,C组没有差别，以下为数据：
说明一下，要比较的内容为conversion rate (转化为注册用户的访客数量/访客数量）
，Control为原始网页设计，Test A/B/C分别为不同的测试网页
Treatment | # of Visitors | # of Registered Visitors | Conversion Rate |
Z-
score
Control | 182 | 35 | 19.23%| N/A
Test A | 180 | 45 | 25.00%| 1.33
Test B | 189 | 28 | 14.81%| -1.13
Test C | 188 | 61 | 32.45%| 2.94
Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc] （文本不知道怎
么输入数学公式，大家见附件中的截图吧）
这个例子就是Test C比control,A,B都好，所以可以采纳Test C.
我现在的问题是：
1）还有没有其他在日常工作中实用的AB test方法? 要split test同时进行的，排除时
间因素。
2）如果t-test检验出好几个测试组都显著好于control组，是不是取ratio结果最大的
那个？但是如果样本容量不一样也可以这样比吗？（和第3问有联系）
3）第2问牵扯到另一个小问题：AB test是不是要控制每组的traffic差不多呢？如果工
程师不能控制每组一样多，就是像如下的网页访客量# of visitors差别很大，那用什
么方法看A/B/C中哪一个比Control group好呢？
Treatment | # of Visitors | # of Registered Visitors | Conversion Rate
Control | 2182 | 235 | 10.76%|
Test A | 1180 | 145 | 12.20%|
Test B | 11189 | 328 | 3.81%|
Test C | 5125 | 261 | 5.10%|
大家看我打的这么辛苦，也来说说你们怎么用统计方法进行有效的AB test的，以及给
我上面方法一些建议。欢迎拍砖，共同学习。谢谢！ | i****e
发帖数: 46 | 2 用 Z test, 你的 H0为Control,和 A/B/C组没有差别 和 2×2 table chi-square test
结果应该是很接近的。H0设为Control, A,B,C组没有差别， 用4×2 table chi-
square test。
用t
【在 p****e 的大作中提到】
: 在工作中经常会遇到做产品的AB test (or split test)来比较不同的结果，我准备用z
: -test进行比较，H0设为Control, A,B,C组没有差别，以下为数据：
: 说明一下，要比较的内容为conversion rate (转化为注册用户的访客数量/访客数量）
: ，Control为原始网页设计，Test A/B/C分别为不同的测试网页
: Treatment | # of Visitors | # of Registered Visitors | Conversion Rate |
: Z-
: score
: Control | 182 | 35 | 19.23%| N/A
: Test A | 180 | 45 | 25.00%| 1.33
: Test B | 189 | 28 | 14.81%| -1.13
| t*********o
发帖数: 143 | 3 请问用Z-score的原理是什么 - Z test？
Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
如果Na, Nc比较小，是不是应该用t-test? | p****e
发帖数: 165 | 4 也是参考别人的例子的，自己正在plan我工作中要用的AB test方法，看到一个blog
http://sixrevisions.com/user-interface/an-introduction-to-website-split-testing/
写了这个z-score的方法，就放过来问一下大家意见。实际工作中N是很大的，不会像这
个例子中为180左右。
【在 t*********o 的大作中提到】
: 请问用Z-score的原理是什么 - Z test？
: Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
: 如果Na, Nc比较小，是不是应该用t-test?
| p****e
发帖数: 165 | 5 你说是chi-square test?
我以前有用过简单的chi-square test,但觉得不适合我这个例子
我的对比对象是连续数(conversion rate)，分不了组，treatment是可以分4组，可那4
*2那个2指什么呢？
谢谢赐教~
test
【在 i****e 的大作中提到】
: 用 Z test, 你的 H0为Control,和 A/B/C组没有差别 和 2×2 table chi-square test
: 结果应该是很接近的。H0设为Control, A,B,C组没有差别， 用4×2 table chi-
: square test。
:
: 用t
| a****u
发帖数: 95 | 6
那4
2 is for registered and non-registered
【在 p****e 的大作中提到】
: 你说是chi-square test?
: 我以前有用过简单的chi-square test,但觉得不适合我这个例子
: 我的对比对象是连续数(conversion rate)，分不了组，treatment是可以分4组，可那4
: *2那个2指什么呢？
: 谢谢赐教~
:
: test
| i****e
发帖数: 46 | 7 Z-score 的原理就是 normal approximation. 如果Na, Nc等比较小，用 fisher exact
test.
【在 t*********o 的大作中提到】
: 请问用Z-score的原理是什么 - Z test？
: Z-score = (Pa-Pc)/square root of [Pa(1-Pa)/Na + Pc(1-Pc)/Nc]
: 如果Na, Nc比较小，是不是应该用t-test?
| i****e
发帖数: 46 | 8 4-->control, A,B,C.
2-->converged Yes, No
那4
【在 p****e 的大作中提到】
: 你说是chi-square test?
: 我以前有用过简单的chi-square test,但觉得不适合我这个例子
: 我的对比对象是连续数(conversion rate)，分不了组，treatment是可以分4组，可那4
: *2那个2指什么呢？
: 谢谢赐教~
:
: test
| p****e
发帖数: 165 | 9 非常感谢你的解答。那这样如果每个组别数量不一也都是可以的对吧？
【在 i****e 的大作中提到】
: 4-->control, A,B,C.
: 2-->converged Yes, No
:
: 那4
| i****e
发帖数: 46 | 10 正常情况下，没什么问题
【在 p****e 的大作中提到】
: 非常感谢你的解答。那这样如果每个组别数量不一也都是可以的对吧？
|
|
