y***i
发帖数: 11639 | 1 【 以下文字转载自 Biology 讨论区 】
发信人: yuuli (听，...听), 信区: Biology
标 题: 请教Nature上一篇关于pValue的短文
发信站: BBS 未名空间站 (Thu Mar 6 14:45:15 2014, 美东)
http://www.nature.com/news/scientific-method-statistical-errors
看得我晕头转向，实在不能理解那个唯一的一张图讲什么。谁能帮帮我。我发了一个
评论：
Can anyone help me understand the "probable cause" picture of the paper? I
admit that I am lost. 1. What is the meaning of "odds of hypothesis"? A
hypothesis can be Right, or wrong. What is odds of it mean? If we know the
odds, do we still need to know pValue? 2. How can I get the number in the
picture: 【with 1 to 19 odds of hypothesis】 + 【pValue = 0.05】 --> odds
become 11%vs. 89%. Thanks. |
n****t
发帖数: 182 | 2 http://stat.duke.edu/~berger/papers/99-13.html
Is much better written and understandable, this one seems unclear. |
y***i
发帖数: 11639 | 3 文章不在了。能不能重新给个链接。多谢！
【在 n****t 的大作中提到】
: http://stat.duke.edu/~berger/papers/99-13.html
: Is much better written and understandable, this one seems unclear.
|
n****t
发帖数: 182 | |
v*******e
发帖数: 11604 | 5
I
回答一点哈，文章中说的是“odds of hypothesis is true”，断句是这样的，odds
of (hypothesis is true)，就是说，“hypothesis是对的”这事的odds。odds是EPI里
面有定义的东西，就是P/(1-P)，和“赢的概率”差不多。你也可以理解为：
probability of hypothesis is true。你断句成（odds of hypothesis）is true，那
是肯定理解不了的。
【在 y***i 的大作中提到】
: 文章不在了。能不能重新给个链接。多谢！
|
v*******e
发帖数: 11604 | 6 这是个后验概率的问题。P（real effect|my evidence）=P（my evidence|real
effect）P(real effect)/(P（my evidence|real effect）P(real effect)+P（my
evidence|no effect）P(no effect))
假定P（my evidence|real effect）=1，那么P（real effect|my evidence）=1*0.05/
（1*0.05+0.05*0.95）=0.11.其中第三个0.05是P（my evidence|no effect），就是P
value啦。 |
u*h
发帖数: 397 | 7 1*0.05/(1*0.05+0.05*0.95) = 0.51
05/
P
【在 v*******e 的大作中提到】
: 这是个后验概率的问题。P（real effect|my evidence）=P（my evidence|real
: effect）P(real effect)/(P（my evidence|real effect）P(real effect)+P（my
: evidence|no effect）P(no effect))
: 假定P（my evidence|real effect）=1，那么P（real effect|my evidence）=1*0.05/
: （1*0.05+0.05*0.95）=0.11.其中第三个0.05是P（my evidence|no effect），就是P
: value啦。
|
v*******e
发帖数: 11604 | 8
我算错了
【在 u*h 的大作中提到】
: 1*0.05/(1*0.05+0.05*0.95) = 0.51
:
: 05/
: P
|
y***i
发帖数: 11639 | 9 多谢！
【在 n****t 的大作中提到】
: http://stat.duke.edu/~berger/papers/99-13.html
: Is much better written and understandable, this one seems unclear.
|
y***i
发帖数: 11639 | 10 上面网友给的文章里的公式：
type 1 error = e*p*ln(p)/(1 + e*p*ln(p))
这个公式算出来的数和文章中一致。我还不懂这个公式怎么来的。verdelite的公式
比较好理解，可惜看来不对 @@
【在 u*h 的大作中提到】
: 1*0.05/(1*0.05+0.05*0.95) = 0.51
:
: 05/
: P
|
|
|
v*******e
发帖数: 11604 | 11 其实那片文章里面有reference说明计算是怎么做的。就是后面reference的第5篇。我
下载了还没仔细看,是个3页的小短文。 |
y***i
发帖数: 11639 | 12 【 以下文字转载自 Biology 讨论区 】
发信人: yuuli (听，...听), 信区: Biology
标 题: 请教Nature上一篇关于pValue的短文
发信站: BBS 未名空间站 (Thu Mar 6 14:45:15 2014, 美东)
http://www.nature.com/news/scientific-method-statistical-errors
看得我晕头转向，实在不能理解那个唯一的一张图讲什么。谁能帮帮我。我发了一个
评论：
Can anyone help me understand the "probable cause" picture of the paper? I
admit that I am lost. 1. What is the meaning of "odds of hypothesis"? A
hypothesis can be Right, or wrong. What is odds of it mean? If we know the
odds, do we still need to know pValue? 2. How can I get the number in the
picture: 【with 1 to 19 odds of hypothesis】 + 【pValue = 0.05】 --> odds
become 11%vs. 89%. Thanks. |
n****t
发帖数: 182 | 13 http://stat.duke.edu/~berger/papers/99-13.html
Is much better written and understandable, this one seems unclear. |
y***i
发帖数: 11639 | 14 文章不在了。能不能重新给个链接。多谢！
【在 n****t 的大作中提到】
: http://stat.duke.edu/~berger/papers/99-13.html
: Is much better written and understandable, this one seems unclear.
|
n****t
发帖数: 182 | |
v*******e
发帖数: 11604 | 16
I
回答一点哈，文章中说的是“odds of hypothesis is true”，断句是这样的，odds
of (hypothesis is true)，就是说，“hypothesis是对的”这事的odds。odds是EPI里
面有定义的东西，就是P/(1-P)，和“赢的概率”差不多。你也可以理解为：
probability of hypothesis is true。你断句成（odds of hypothesis）is true，那
是肯定理解不了的。
【在 y***i 的大作中提到】
: 文章不在了。能不能重新给个链接。多谢！
|
v*******e
发帖数: 11604 | 17 (update:下面算错了）
这是个后验概率的问题。P（real effect|my evidence）=P（my evidence|real
effect）P(real effect)/(P（my evidence|real effect）P(real effect)+P（my
evidence|no effect）P(no effect))
假定P（my evidence|real effect）=1，那么P（real effect|my evidence）=1*0.05/
（1*0.05+0.05*0.95）=0.11.其中第三个0.05是P（my evidence|no effect），就是P
value啦。 |
u*h
发帖数: 397 | 18 1*0.05/(1*0.05+0.05*0.95) = 0.51
05/
P
【在 v*******e 的大作中提到】
: 这是个后验概率的问题。P（real effect|my evidence）=P（my evidence|real
: effect）P(real effect)/(P（my evidence|real effect）P(real effect)+P（my
: evidence|no effect）P(no effect))
: 假定P（my evidence|real effect）=1，那么P（real effect|my evidence）=1*0.05/
: （1*0.05+0.05*0.95）=0.11.其中第三个0.05是P（my evidence|no effect），就是P
: value啦。
|
v*******e
发帖数: 11604 | 19
我算错了
【在 u*h 的大作中提到】
: 1*0.05/(1*0.05+0.05*0.95) = 0.51
:
: 05/
: P
|
y***i
发帖数: 11639 | 20 多谢！
【在 n****t 的大作中提到】
: http://stat.duke.edu/~berger/papers/99-13.html
: Is much better written and understandable, this one seems unclear.
|
|
|
y***i
发帖数: 11639 | 21 上面网友给的文章里的公式：
type 1 error = e*p*ln(p)/(1 + e*p*ln(p))
这个公式算出来的数和文章中一致。我还不懂这个公式怎么来的。verdelite的公式
比较好理解，可惜看来不对 @@
【在 u*h 的大作中提到】
: 1*0.05/(1*0.05+0.05*0.95) = 0.51
:
: 05/
: P
|
v*******e
发帖数: 11604 | 22 其实那片文章里面有reference说明计算是怎么做的。就是后面reference的第5篇。我
下载了还没仔细看,是个3页的小短文。 |
m******e
发帖数: 21 | 23 mark!
【在 n****t 的大作中提到】
: http://stat.duke.edu/~berger/papers/99-13.html
: Is much better written and understandable, this one seems unclear.
|
y***i
发帖数: 11639 | 24 这是我目前对这篇文章的理解，大侠们帮我看看有什么错没有？
发信人: yuuli (听，...听), 信区: Biology
标 题: Re: 请教Nature上一篇关于pValue的短文
发信站: BBS 未名空间站 (Mon Mar 10 11:26:50 2014, 美东)
仔细想了想，我觉得这篇文章是典型的fuss about nothing。
他说的坏的一种情况就是：H1其实是错的（或者是几率很小的），但结果好死不死得
到了一个高的 pValue，这种情况下，其实null hypthosis成立的几率比H1成立的几率
大。这时候做出reject null hypothosis的推断是错的。
但这种情况有多少？在生物学研究里会不会造成严重危害？
首先，这种情况是小几率事件随机发生，本身机会不大。当然夜路走多了总会遇见鬼
，这个就是说的遇见鬼的情况。（文章里说的pVlue = 0.05, false alarm = 0.29，但
这种情况下还得到pValue = 0.05的结果其实是小几率撞到了。）
注：文章开始的那个例子就是典型夜路撞鬼的倒霉蛋，第一次得到了pValue = 0.01
，第二次没了pValue = 0.5。要不是数据收集的问题，就是倒了一次霉而已。但文章完
全不提他其实是中了奖，说的给人的感觉好像每个pValue = 0.01的结果，都很有可能
下一次得到pValue = 0.5
其次，这种情况，因为其随机小几率特性，简单的做个repeat就能排除了（当然不绝
对排除连续见鬼的中大奖事件）。而生物学研究的基本习惯就是做几次repeat，所以他
说的这种情况在实际生物学研究里并没有真实危害。
然后，生物学研究通常的hypothesis是有比较强的生物学理由的，不是那种很sloppy
的假设。
所以这篇文章根本是危言耸听 --- 的确，学生物的不是在绝对的pValue的数学定义
的范围内使用pValue，但就是目前这个用法，他说的这些危害，也根本不会是什么常
见的事情。不值得大号字体“THE PVALUE WAS NEVER MEANT TO BE USED THE WAY
IT ’S USED TODAY.”这么危言耸听。这哥们完全是娱记风格。难怪文章里还八卦
Fisher怎么和对手互掐。
前面有的网友说很多人 N=3 pValue = 0.0001，当然这个错得很，但这是连本能的
统计常识都不尊重了，这属于个人科学态度问题。和本文说的“根本性”问题不是一
回事。
发信人: yuuli (听，...听), 信区: Biology
标 题: Re: 请教Nature上一篇关于pValue的短文
发信站: BBS 未名空间站 (Mon Mar 10 11:41:41 2014, 美东)
另外，这个是我的想法，大侠们看看有没有什么错：
当我们提出一个null hypothesis，那么现实中，这个null hypothesis就要么对，要
么错,不可能在中间。
所以我想不出来“the odds of the hypothesis is true”，或者假设H0/1有个数学
分布，有什么数学假设以外的真实意义。现实的具体的 null hypothesis 一旦提出来，
就是对或者错，怎么能有什么分布呢。这么搞是把一个“哲学高度的统计学思考”，
投射到不成立的具体生物学研究的现实中。
大侠们看看这么说有无问题？ |
n****t
发帖数: 182 | 25 Before the experiment, Bayesian statisticians think about the “prior odds”
, Pr(H1)/Pr(H0), where Pr(H1) is the probability of H1 is true, and Pr(H0)
is the probability of H0 is true.
Frequentist, on the other hand, does not think that way: there is only one
simple truth, H0 is true or H1 is true.
After experiment, Bayesians gain Pr(H1/Data)/Pr(H0/Data), the so called
posterior odds.
Bayesian factor (bf)=Posterior odds/Prior odds. Bayesians use this for
hypothesis testing. (Another interesting fact about this is bf=Pr(Data|H1)/
Pr(Data|H0) when prior odds is 1 and the parameter space is the same, which
is the frequentist likelihood ratio test.)
Frequentist observes p values.
For observed data X, p=0.05, we know
Under H0 (i.e., if H0 is true): probability of observing X or more extreme
is 0.05
Under H1: probability of observing X or more extreme is something bigger
than 0.05, but smaller than 1. Under some further assumptions, this
probability can be calculated.
The Berger paper gave further assumptions about such conditions, and a
formula of how to calculate BF under such conditions.
The frequentist conclusion: Rejecting H0.
Bayesian conclusion: it is more likely that the data was arising from H1
than H0, with the odds increased by XXX.
It is not dramatically different, so your conclusion that it’s a fuss over
nothing is right.
How can one be sure of their conclusion? Only one way: repeat experiment
more times.
【在 y***i 的大作中提到】
: 这是我目前对这篇文章的理解，大侠们帮我看看有什么错没有？
: 发信人: yuuli (听，...听), 信区: Biology
: 标 题: Re: 请教Nature上一篇关于pValue的短文
: 发信站: BBS 未名空间站 (Mon Mar 10 11:26:50 2014, 美东)
: 仔细想了想，我觉得这篇文章是典型的fuss about nothing。
: 他说的坏的一种情况就是：H1其实是错的（或者是几率很小的），但结果好死不死得
: 到了一个高的 pValue，这种情况下，其实null hypthosis成立的几率比H1成立的几率
: 大。这时候做出reject null hypothosis的推断是错的。
: 但这种情况有多少？在生物学研究里会不会造成严重危害？
: 首先，这种情况是小几率事件随机发生，本身机会不大。当然夜路走多了总会遇见鬼
|
