t*****w
发帖数: 254 | 1 【 以下文字转载自 Biology 讨论区 】
发信人: KeeVan (Kevin), 信区: Biology
标 题: 原来还有too much statistical power这么一说
发信站: BBS 未名空间站 (Fri May 24 20:42:58 2013, 美东)
以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
真是天上地下啊。 |
t*****w
发帖数: 254 | 2 从我实际数据分析来看， too much statistical power来自, 1,数据没有经过data
cleaning. 主要发现的是outlier effect. 没有什么生物医学和药物意义。2， data
inappropriate normalization. some normalization method just put a cap on the
large observed values. This basically reduces the variance drastically,
which leads to large t scores.3,multiple comparison 也是一个重要原因。现在
的生物试验样品其实不多，只有十几个，或上百个， 但是每个样品的变量是30
thousand to 20 million variables.There would be some small p values over 1
million comparison even if the multiple comparison adjustment is applied.
【在 t*****w 的大作中提到】
: 【 以下文字转载自 Biology 讨论区 】
: 发信人: KeeVan (Kevin), 信区: Biology
: 标 题: 原来还有too much statistical power这么一说
: 发信站: BBS 未名空间站 (Fri May 24 20:42:58 2013, 美东)
: 以前苦逼做生物实验，都是苦恼为啥不significantly different，算statistical
: power的时候都是感叹，靠，还要多做那么多个实验才能出结果。
: 最近被逼研究啥big data，泥马随机搞点儿数据就significantly different，从公式
: 角度倒是很好理解，但是还是觉得奇怪，搜索了一下，原来也是有人苦恼数据太多的。
: 真是天上地下啊。
|
s***h
发帖数: 357 | 3 是原帖中的原因，数据太多，difference即使magnitude很小也会statistically
significant。但因为difference magnitude 太小，这个difference not
scientifically meaningful。
outlier和non-normal大部分时候只是锦上添花，不起决定性作用 |
t*****w
发帖数: 254 | 4 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢，还是太
多的comparison test for small samples? 如能举例说明那就更好了。若sample size
N是上百万的， 当然outlier就不重要了。
【在 s***h 的大作中提到】
: 是原帖中的原因，数据太多，difference即使magnitude很小也会statistically
: significant。但因为difference magnitude 太小，这个difference not
: scientifically meaningful。
: outlier和non-normal大部分时候只是锦上添花，不起决定性作用
|
s***h
发帖数: 357 | 5 我是指sample size N太大。80%，90%是比较正常的power。有时候sample
size有power之外的考虑，end up with e.g. 99%power，called over power，这时候
就很容易significant。你说的第三点multiplicity也很重要，不过一般不会归到power
范畴
【在 t*****w 的大作中提到】
: 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢，还是太
: 多的comparison test for small samples? 如能举例说明那就更好了。若sample size
: N是上百万的， 当然outlier就不重要了。
|
A*******s
发帖数: 3942 | 6 俺记得上统计推断的第一节课老师就说了
statistical significance ^= practical significance
不过有时候老板就是不想见到significance...
那就只能扔多点covariates进model咯
希望能conditioned out那个讨人嫌的variable
没办法，搞统计的就是这么苦逼...
【在 t*****w 的大作中提到】
: 数据太多是事实。 但请你详细说说“数据太多”是指sample size N太大了呢，还是太
: 多的comparison test for small samples? 如能举例说明那就更好了。若sample size
: N是上百万的， 当然outlier就不重要了。
|
