t*****w 发帖数: 254 | 1 【 以下文字转载自 Biology 讨论区 】
发信人: KeeVan (Kevin), 信区: Biology
标 题: 原来还有too much statistical power这么一说
发信站: BBS 未名空间站 (Fri May 24 20:42:58 2013, 美东)
以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical
power的时候都是感叹,靠,还要多做那么多个实验才能出结果。
最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式
角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。
真是天上地下啊。 |
t*****w 发帖数: 254 | 2 从我实际数据分析来看, too much statistical power来自, 1,数据没有经过data
cleaning. 主要发现的是outlier effect. 没有什么生物医学和药物意义。2, data
inappropriate normalization. some normalization method just put a cap on the
large observed values. This basically reduces the variance drastically,
which leads to large t scores.3,multiple comparison 也是一个重要原因。现在
的生物试验样品其实不多,只有十几个,或上百个, 但是每个样品的变量是30
thousand to 20 million variables.There would be some small p values over 1
million comparison even if the multiple comparison adjustment is applied.
【在 t*****w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 【 以下文字转载自 Biology 讨论区 】 : 发信人: KeeVan (Kevin), 信区: Biology : 标 题: 原来还有too much statistical power这么一说 : 发信站: BBS 未名空间站 (Fri May 24 20:42:58 2013, 美东) : 以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical : power的时候都是感叹,靠,还要多做那么多个实验才能出结果。 : 最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式 : 角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。 : 真是天上地下啊。
|
s***h 发帖数: 357 | 3 是原帖中的原因,数据太多,difference即使magnitude很小也会statistically
significant。但因为difference magnitude 太小,这个difference not
scientifically meaningful。
outlier和non-normal大部分时候只是锦上添花,不起决定性作用 |
t*****w 发帖数: 254 | 4 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢,还是太
多的comparison test for small samples? 如能举例说明那就更好了。若sample size
N是上百万的, 当然outlier就不重要了。
【在 s***h 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是原帖中的原因,数据太多,difference即使magnitude很小也会statistically : significant。但因为difference magnitude 太小,这个difference not : scientifically meaningful。 : outlier和non-normal大部分时候只是锦上添花,不起决定性作用
|
s***h 发帖数: 357 | 5 我是指sample size N太大。80%,90%是比较正常的power。有时候sample
size有power之外的考虑,end up with e.g. 99%power,called over power,这时候
就很容易significant。你说的第三点multiplicity也很重要,不过一般不会归到power
范畴
【在 t*****w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢,还是太 : 多的comparison test for small samples? 如能举例说明那就更好了。若sample size : N是上百万的, 当然outlier就不重要了。
|
A*******s 发帖数: 3942 | 6 俺记得上统计推断的第一节课老师就说了
statistical significance ^= practical significance
不过有时候老板就是不想见到significance...
那就只能扔多点covariates进model咯
希望能conditioned out那个讨人嫌的variable
没办法,搞统计的就是这么苦逼...
【在 t*****w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢,还是太 : 多的comparison test for small samples? 如能举例说明那就更好了。若sample size : N是上百万的, 当然outlier就不重要了。
|