d*****y
发帖数: 1058 | 1 我做了One-Way ANOVA,然后跑 post-hoc multiple group comparison
我选了Bonferroni来correct multiple comparison
我的问题是
按照我之前的理解，如果是4组之间两两比较，应该是corrected p<0.05/6
才能认为是significant
但是我SPSS输出后发现很多p=1，少数p<0.05的就被认为是significant，
这和我之前学的Bonferroni修正不一样啊，
请教一下这个是怎么回事啊，是我理解错了吗？ |
|
o****o
发帖数: 8077 | 2 【 以下文字转载自 Statistics 讨论区 】
发信人: sir ( 郎), 信区: Statistics
标 题: Re: Question about Bonferroni method
发信站: BBS 未名空间站 (Sat Dec 4 12:52:02 2010, 美东)
Pepperoni does use pork variants |
|
h******3
发帖数: 190 | 3 The bonferroni method uses pooled variance. What if some pairs of sample
have much larger variance than others?
Do we have to use pooled variance? |
|
l*********s
发帖数: 5409 | 4 bonferroni has nothing to do with pooled variance.
and there are various tests for checking heteroscadesticity |
|
h******3
发帖数: 190 | 5
Are you sure? Bonferroni does use pooled variance! |
|
s**m
发帖数: 340 | 6 两组病人A and B， 每组又按时间分为Event 和 Ctrl,也就是共有4组数据：Event_A,
Ctrl_
A, Event_B, Ctrl_B. 然后进行了如下比较:
Event_A vs. Event_B
Event_A vs. Ctrl_A
Event_B vs. Ctrl_B
Ctrl_A vs. Ctrl_B
在上述比较中，每组数据被比较了2次，共4次比较。在进行Bonferroni correction的
时候，比较次数应该是2还是4？
|
|
A*******s
发帖数: 3942 | 7 why? if my memory serves me right Tukey should be more conservative than
Bonferroni if the number of tests is small. |
|
k*******a
发帖数: 772 | 8 不是很了解楼主的情况，假设这4组是独立的， 那么一共4组，所以可能的pair数是6组
. 如果同时比较这6组，那么Tukey最好，不过楼主只比较其中的4组，所以得具体计算
，假设error的df=20
B=qt(1-.05/(2*4),20)=2.74
T=qt(.95,4,20)/sqrt(2)=2.80
所以Bonferroni的确好点：）
不过如果 df比较小，比如6，那么T会比B小 |
|
S********f
发帖数: 36 | 9 Spherical surface samples are measured for their radii (R) and imaged by a
camera. The image is not a numerical value, but m different quantities (Q1,
Q2,..., Qm) are derived from it using different models. Now if I want to
analyze the correlation between R and each Qi (i = 1,..., m), should
Bonferroni correction be applied to adjust the significance level? Thanks! |
|
y***i
发帖数: 11639 | 10 两个事件A, B的几率分别是a, b，他们相互独立的时候(请注意这个前提)，不出现AB
中任何一个的几率是1-(1-a)(1-b)，这是你说的情况。所以1-（1-0.005）^10这个公式
必须有独立前提.
但是当他们两个相互排斥的时候，也就是只要出现A，必然不出现B，只要出现B，必然
不出现A，那么不出现AB中任何一个的几率当然是 1-a-b, 对应于十个0。005的几率事
件， 不出现任何一个的几率是 1-0.005 X 10，这就是Bonferroni correction的极限
情况。这个极限情况独立前提不成立----这点你能想明白么？
所以Bonferroni correction是没有独立前提的。而Sidak correction才需要独立的
前提。
说Bonferroni correction保守是因为它在最极端的情况下也成立。而一般情况没这
么极端。
10
5%
than
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
这句话不对。如果事件之间是相互排斥的，如上面所述，可以到0.005x |
|
b******l
发帖数: 1632 | 11 凭印象说一句，p-value > 0.05 只说明该方法未检出足够显著的区别，并不能说明事
实上没有显著区别，也并不能说明别的方法得不到 p < 0.05。恰恰相反，如果某种检
验方法得到 p < 0.05，那 p 一定 < 0.05。所以第二条的最后一句话不成立。检测方
法的 power 很重要。
举一个不相关的例子说明一下这个概念：Bonferroni correction 得到的 p > 0.05，
经常 Holm-Bonferroni correction 就可以得到 p < 0.05 了。
response
TYPE |
|
s*****0
发帖数: 357 | 12 Not quite sure the "connection" you are referring to, but here are my 2cents
, hopefully they will be helpful.
GWAS tests a huge number of SNPs. To control the global significance at
level of 0.05, usually the local significance is calculated through
Bonferroni correction. For example, for a million SNPs to be tested, the
local significance will be set at magnitude of 1e-7. However, not all SNPs
are independent. LD would be observed from nearby SNPs on the same
chromosome, which means the Bonfer... 阅读全帖 |
|
s*****0
发帖数: 357 | 13 Step 1: one-way ANOVA
| |-->如果不显著，STOP.
|
|-->如果显著,说明至少有两组间存在显著性差异，GOTO Step 2。
Step 2: Multiple comparison, 必须控制overall significance level (假设0.05）
。很多选择，比如Bonferroni，Scheffé, Tukey等等。各自都有各自的适用情况和优
缺点，懒得费笔墨，自己翻翻书或者网上搜搜吧，比如Bonferroni在comparison增多的
情况下会太严苛，Tukey最适合pairwise comparison(在你的例子中即4选2,会有6个对
照).
Step 2会得到你想要的答案，既那些组存在显著性差异。
设每组100只老鼠。然后所有检测值都满足equal variance和normal distribution。
（2
。这种设计应该用one-way ANOVA pairwise comparison吧？有些文章用的是t test。
2vs1, 3vs1, 4vs1,然后 |
|
n******7
发帖数: 12463 | 14 我赞同LZ的说法。
不是说不要尝试，问题是很多人，不用进行任何稍微复杂一点推理，就是傻试，还能混
下去，还觉得自己很牛B。
我们组的大姐就是一个很好的例子。她连充要条件，随机，mutual effect的概念都没
有，还要对我的计划指手画脚。她理解问题的方式就是看别人怎么弄就也要怎么弄，根
本不看合不合适。看到别人说P value > 0.05，所以没有correlation，就以为统计测
试就是一个分类器，遇到问题就用一下，PV <= 0.05就取一类，PV> 0.05就取另一类。
看到别人用bonferroni correction，所以遇到pv就说要做bonferroni correction。
偏偏老板还挺喜欢她，因为她愿意做任何老板让她做的事情，至少表面上不会有意见。
代价是她自己的方向在两年时间过后，进度还是0。 不过她还是会因为没有功劳也有苦
劳的缘故，会成为我们课题的共同一作。 |
|
l*h
发帖数: 4124 | 15 为什么做bonferroni？难道bonferroni不是multi-test correction里最老且没有理论
和模拟依据的方法吗？为什么不用FDR？ |
|
A*******s
发帖数: 3942 | 16 what is ur purpose?
using Bonferroni means u test a family of hypotheses simultaneously. Say if
you would like to see which pair of groups are more/less different, then do
pairwise comparison one by one and rank the P-values. If you would like to
test a hypothesis that all/some pairs are equal, then do simultaneous test
with Bonf/Tukey/Scheffe.
From what u said before, i think u just want to find out the significantly
different pairs. u don't need Bonferroni.
Just my 2 cents. |
|
T**********e
发帖数: 29576 | 17 http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.p
Abstract
We found a relative preference for pinker genital images with redder
genitalia rated significantly less sexually attractive. This effect was
independent of raters' prior sexual experience and variation in female
genital morphology.
Results
We found that men presented with images digitally manipulated to show a
gradation in colour from light pink to red, rated the reddest shade least
attractive. Colour exerted a significant ... 阅读全帖 |
|
h*******r
发帖数: 909 | 18 你说的是统计归纳在临床上的应用。对不对？
我有一定的统计基础，做过一些临床研究，使用过一些统计方法。
这么说把，bonferroni correction,你应该知道吧？我当初就这个问题hopkins统计系
的一个副教提出一些疑问，讨论的结论就是，统计的很多原则和方法都是缺乏理论基础
，而在很大程度上是任意的和经验性的。
我的前一任mentor就明确说过，统计不是科学。人家可是fellow级别的牛人啊。
不是想否定统计，不过想提供一些谦虚的基础。 |
|
c******r
发帖数: 3778 | 19 不要总是拿hopkins，harvard什么什么的牛校来说。科学跟牛校无关。
统计的核心价值就是排除非控制因素的干扰。理论就是概率论。
统计学本来也是数学的一个分支，是不断发展的，不是一成不变的。bonferroni
correction本来就是有局限性的，这个在整个统计上也不是什么秘密。连wiki都有详细
描述：
http://en.wikipedia.org/wiki/Bonferroni_correction
但是这不是说，就不需要统计了。如果你发明一种方法，不适用统计手段，可以有效控
制无关因素，进行样本对比，只要能够说服大家也是可以的。
统计只是手段而不是目标。目标是临床上排除跟某个具体治疗无关的其他因素。 |
|
r****t
发帖数: 10904 | 20 Bonferroni inquality, 概率的第一章应该有。 |
|
|
|
|
|
|
l***a
发帖数: 5114 | 26 数据，说得恰恰是 不论你是不是艺术生，在抽象表现派画作没label的时候，两个人群
在judgements方面 没 （统计上的显著）差别，p=.775。 艺术生和普通人的差别在于
，他们受label的影响很小。
另外，在统计上，
H0：人其实看不出抽象表现派画大师和动物画的差别，in other words 正确率=50%
Ha：人其实看得出抽象表现派画大师和动物画的差别，in other words 正确率〉50%
所有12组tests，H0都被reject了。哪怕是（非艺术人群+错label）来说，60% 和 50%
差别是很显著的，p〈0.004 after Bonferroni correction. |
|
C**o
发帖数: 10373 | 27 【 以下文字转载自 Military 讨论区 】
发信人: TravisBickle (Travis), 信区: Military
标 题: 科学论文：粉木耳最受欢迎
发信站: BBS 未名空间站 (Sat Apr 28 16:22:01 2012, 美东)
http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.p
Abstract
We found a relative preference for pinker genital images with redder
genitalia rated significantly less sexually attractive. This effect was
independent of raters' prior sexual experience and variation in female
genital morphology.
Results
We found that men presented with images digitally manipu... 阅读全帖 |
|
f**r
发帖数: 70 | 28 First of all, if you could find a biostatistician in your department or your
school you can let him/her do the analysis for you. All that you are asking
is standard microarray data analysis.
You should use the p-values instead of fold changes in defining differentially
expressed genes. What puppeteer mentioned (0.05/N) is called Bonferroni
adjustment for multiple comparison, which is the most conservative way
possible. Other common and less-conservative way is FDR (false-discovery
rate) adjus |
|
D******n
发帖数: 2836 | 29 what multiple comparison appraoches do you use? bonferroni, scheffe, or tuke
y?
the multiple comparison is supposed to be more "accurate" because it uses mo
re data, more data the better. One of the reasons the two groups have no sig
nificant difference in multiple comparison is that the error estimation is i
nflated because u have also considered the error from other groups.
simple example is, u have a device to measure ur height, first time 1.7m, se
cond time 1.8m, third time 1.7m. u do the sa |
|
h******e
发帖数: 1791 | 30 这时候的p就不能用0.05了，需要用bonferroni或其他方法做校正。 |
|
K****n
发帖数: 5970 | 31 近似正确 :) 你的算法不就是bonferroni么 |
|
b******l
发帖数: 1632 | 32 你没错啊。10 X 0.05 也是对的，是 Bonferroni correction，不需要任何
assumption。
他给的是 Sidak correction，需要假设 independency。因为多了一条 assumption 作
为代价，所以才更 powerful，也就是说，能得到一个更小的 p-value。
， 那
的概 |
|
h******e
发帖数: 1791 | 33 【 以下文字转载自 Statistics 讨论区 】
发信人: hehehehe (入了大圣教，心中充满喜乐), 信区: Statistics
标 题: 还是三组数据的问题。
发信站: BBS 未名空间站 (Sat Feb 20 12:33:40 2010, 美东)
如组a，b，c，其中a是独立的，但b和c是配对的，在这种情况下我可不可已直接用普通的和排热点的t-test做两两比较，但用bonferroni的方法校正显著性水平？ |
|
D**g
发帖数: 739 | 34 应该可以吧。但BON法比较保守，可能导致你发现不了任何DIFFERENCE（如果
DIFFERENCE不够大或者说power太小），同时你平分alpha，实际上牺牲了配对检验的
power。
通的和排热点的t-test做两两比较，但用bonferroni的方法校正显著性水平？ |
|
h******e
发帖数: 1791 | 35 有什么根据吗？在什么情况下选择tukey，什么时候用bonferroni，什么时候用scheffe
？谢谢。 |
|
s*******2
发帖数: 499 | 36 bonferroni太保守，不如其他两种方法。线性模型就可以用tukey和scheffe.
scheffe的使用范围比tukey广泛。
scheffe |
|
|
p*****m
发帖数: 7030 | 38 几位统计大牛说的后来我已经跟不上了 为了方便Bio的同志们活学活用 我先抛砖引玉整
几个结论出来好了 如果有问题几位大牛请指正我可以随时加到原帖里面 咱们就不说理
论只说应用吧
从最初的讨论讲起
1 multiple comparison
1.1>多组数据比较均值需要用到ANOVA 如果p
即所有两两比较的均值里至少应该有一组均值不相同。
1.2>此时可以用post hoc test鉴定均值不相同的数据组。这里便涉及到多重比较的cor
rection问题。首先要明确的是不应该简单的用pair-wise test比如student t-test来比
较全部或者部分的组合 因为这样会导致type I error的增大。相应的，应该用某种方法
调整alpha level，比如bonferroni correction（不需要假设pair-wise comparison之
间是否有相关性 认为type I error等于检验次数Xalpha level，因此相应的要把alpha
除以检验次数，是否可以认为是最保守的correction |
|
a****m
发帖数: 693 | 39
玉整
cor
来比
方法
T test 认为是T Distribution,
bonferroni correction太保守，没有多少用处，大家都有q value. |
|
s*****0
发帖数: 357 | 40 说正题以前，先胡扯几句，算是给已经转了统计或者正在转统计的朋友们提个醒。我这
是杂谈贴，不是劝退。偶尔隔壁统计版逛逛，如今正在向生物版靠拢，成为劝退的大本
营。以前是SAS大本营，原本已经很悲哀了，现在有赶超我版的苗头。归根到底就一个
问题，就是现在的行情统计好不好找工作。我要去隔壁说统计很多availability，估计
立刻会被砖头拍死，为什么？因为大部分在版的job seeker都是fresh，又没有经验又
要身份支持，哪怕有一千个机会, 这么一stratify，也剩不了几个，而且广大的老印兄
弟还虎视眈眈。
其时学统计的时候必须要弄清楚一个问题，应用统计的关键在于应用，大部分转统计的
人都不会去搞methodology念PhD，而是期望靠统计找份工作。但当你工作后就会明白，
统计只是一个工具，工作的经验有一部分讲究的是你对统计工具的娴熟，但更看重的是
你在行业里累积的经验。比如在药厂里搞生统，当你写SAP的时候会去理解一个
therapeutic area，在银行里建模，你会去理解各种各样的风险模型信用模型。你以后
改resume跳槽，真正值得突出的是这些经验，而会什么mult... 阅读全帖 |
|
c**a
发帖数: 94 | 41 一组4个条件,分别是
1, 不给药
2, 给药
3, 在另一条件下,不给药
4, 在与3同样条件下,给药
想知道, 1和2之间, 3和4之间, 1和3之间有没有显著差异.
用什么?
1-way ANOVA+ Bonferroni?
另外一种情况,
数细胞个数, 2种条件(给药和不给药), 每个条件下有2个phenotype(方的圆的), 所以一共4个数据,
想比较同种phenotype, 在给药和不给药之间的不同.
用什么?
t test?
还有一个情况,类似上面
6个条件,每个条件4种phenotype, 一共24个数据, 相互比较. 用什么?
1-way ANOVA?
快崩溃了... |
|
s**f
发帖数: 365 | 42 Multiple testing will increase the chance of observing false results (i.e.
observing a difference purely by chance).
some corrections used to the significance level:
Bonferroni
Holms
Tukey
Dunnet |
|
U********S
发帖数: 1896 | 43 Bonferroni p adjust, rank... DEG多的话要减少数量是很容易的，相应的假阴性也增
加。 |
|
D*a
发帖数: 6830 | 44 我个人觉得你这个问题就是各组之间有没有区别而已，到底AB之间如何作用是作出的结
论，用one way ANOVA 我觉得没什么不对的。post hoc 是两两比较但是alpha值是修正
过的，因此不如student t 敏感，这样来避免统计中的一类还是二类错误。post hoc
也有很多常用的是bonferroni 。手机上网实在不方便，你google下我说的这几个关键
词吧。
但是如果临床治人的实验一般统计有专人把关，我说的不一定够。搞老鼠什么的我觉得
知道调alpha就差不多了，当然我说的不是那种牵扯很多bioinfo的课题。
我统计也是半吊子，等大牛吧 |
|
p*****m
发帖数: 7030 | 45 是的 因为4组数你两两比较一共有6个pair wise comparison.因此犯type i error的可
能性就大了6倍。这是bonferroni correction的基本思想，这个处理方法以type ii
error为代价极小化了type i error 因此可以考虑成最严格的对null hypothesis的检验 |
|
K******S
发帖数: 10109 | 46 【 以下文字转载自 Joke 讨论区 】
发信人: Coho (Coho), 信区: Joke
标 题: 科学论文：粉木耳最受欢迎
发信站: BBS 未名空间站 (Sat Apr 28 16:25:56 2012, 美东)
发信人: TravisBickle (Travis), 信区: Military
标 题: 科学论文：粉木耳最受欢迎
发信站: BBS 未名空间站 (Sat Apr 28 16:22:01 2012, 美东)
http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.p
Abstract
We found a relative preference for pinker genital images with redder
genitalia rated significantly less sexually attractive. This effect was
independent of raters' prior sexual experience and variation in fem... 阅读全帖 |
|
k*****2
发帖数: 135 | 47 要具体看reviewer说哪里不合理。
原因1：t-test assume了normal distribution，而你的data并不是normal，这个时候
可以用nonparametric test，比如https://en.wikipedia.org/wiki/Mann%E2%80%
93Whitney_U_test
原因2（更可能的原因）：你做了5个test，所以应该做multiple-testing correction,
你的p不再是0.05作为cutoff，而应该是p<0.05/5=0.01 （假设用bonferroni
correction） |
|
|
S*****h
发帖数: 21 | 49 不如这样说， 你一个图中只有2组数据的时候，用t test,3组或以上用one way anova.
其结果是在有 Corrections的情况下，告诉你组间数据有无明显差异。如果有差异，
此时你不知
道哪些组间有差异，所以你要辅以post hoc 分析。post hoc 又有很多种，最常见用
Bonferroni, tukey's之类。 |
|
d********m
发帖数: 3662 | 50 首先我不是大牛，如有不准确也请大牛纠正。
三组以上并不是必须先做ANOVA。ANOVA和T-test没有本质上的区别，事实上t-
distribution是ANOVA用的F-distribution极端情况(df=1)。
所以两两做T-test在方法学上并没有任何问题。只不过为了保证同时能reject null
hypotheses，p-value必须重新调整(bonferroni theorm)。 |
|
