s**u 发帖数: 2429 | 1 如果set p < 0.05 as significant difference. 那么p < 0.05 和 < 0.01有区别么?
好像听说这两个没有区别。 |
o**********y 发帖数: 1041 | 2 the lowest probability gives much stronger evidence for rejecting the
hypothesis.
Sometimes, depending on the hypothesis being tested, a researcher may
decide that the “less than 5%” significance level is too risky.
【在 s**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 如果set p < 0.05 as significant difference. 那么p < 0.05 和 < 0.01有区别么? : 好像听说这两个没有区别。
|
s**u 发帖数: 2429 | 3 does it mean that the one with lower P values is more significant difference
(larger difference)than the one with higher P values? |
s******s 发帖数: 13035 | 4 从来没有larger difference这种说法。
P小的说明你认为他们有difference是正确的可能性更大而已。
difference
【在 s**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : does it mean that the one with lower P values is more significant difference : (larger difference)than the one with higher P values?
|
b****r 发帖数: 17995 | 5 小于零点零一,reiewer要你做别的验证试验的可能性小些
larger difference是一种常见的误解,同意楼上
正确的说法是more significant |
M*****n 发帖数: 16729 | 6 这些cutoff都是人自己定的。
不是用来比较significance的。
p越小,说明你的hypothesis被reject的可能性越小。
more significant这个说法俺觉得没啥意义。 |
k****o 发帖数: 589 | |
b*****l 发帖数: 9499 | 8 difference 的大小是看两个样品的数学期望的差值。
而这个差值在统计意义上的可靠性,是由 p-value 来评估的,叫做statistical signi
ficance.
同一组数据,衡量不同的统计方法的 power 也是看 p-value,p-value 越小,这个统计
方法就越 powerful。
而天下没有免费的午餐。统计方法的 power 来自于更多更苛刻的 assumption,也即来
自于 a prori knowledge,所以往往越 powerful 的统计方法的适用面越窄。
而且每种统计方法,在使用时,都要检验其 assumptions 是否满足。例如,样本数目比
较小时,无法检验样本是否符合 t 分布,所以用 t-test 就不靠谱,而应使用 non-pa
rametric tests。
difference
【在 s**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : does it mean that the one with lower P values is more significant difference : (larger difference)than the one with higher P values?
|
m*********7 发帖数: 5207 | 9 P means probability, it has nothing to do with how big the difference (
between control and treated samples) is.
Usually in my figures, I put one star (*) on top of a bracket to indicate p<
0.05, two stars (**) to indicate p<0.01. |
n******7 发帖数: 12463 | |
|
|
i*********0 发帖数: 915 | 11 我看过一些大牛实验室的paper都不标记什么p数值,直接标上多少倍数的差距. |
M*****n 发帖数: 16729 | 12 不是大牛最好不要这么做,
因为这个是大牛的previlige.
【在 i*********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我看过一些大牛实验室的paper都不标记什么p数值,直接标上多少倍数的差距.
|
D*a 发帖数: 6830 | 13 其实多少倍不一眼就看出来了么,柱形图不就是干这个的
p才是一眼看不出来的吧
【在 i*********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我看过一些大牛实验室的paper都不标记什么p数值,直接标上多少倍数的差距.
|
c****r 发帖数: 576 | 14 我还见过p=0.17时说自己结果显著的,还能发在影响因子12的molecular systems
biology上,所以p值取多少与你能否自圆其说很有关系,当然一个小的p值会更有说服
力。 |
o********r 发帖数: 775 | 15 样本大点可是花钱又费力的事情
【在 n******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 想要P好看就把样本量搞大点:)
|
f*********r 发帖数: 1233 | 16 p不代表差异的显著程度。而是“可信度”。
换句话说应该这样解释:
掷硬币,重复次数越多,结果越接近真实数据,也就是0.5比0.5。做试验也是这样,重
复次数越多,总结果越接近真实情况。但是不可能无限重复试验以期得到真实结果(这
里说的重复,不是增加sample size n,而是多次重复整套试验,每次比较2组样本数为
n的样本)。所以要通过统计学计算来估计这一次试验的可信度。结果就有了p值。p<0.
05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。或者说
,有差异这个结论的可信度是95%以上。
至于差异到底是多大,应该比较两组的平均值,是几倍就是几倍。
合起来就是说,通过平均值,看出处理组比对照组的某项指标高了2倍(只是举例)。
那么“高2倍”这个结果的可信度是95%以上(p<0.05)。
修改一下:以上解释有误,具体参看21楼回复。 |
o********r 发帖数: 775 | 17 还是不对,p只代表H0下出现同样或更极端结果的概率。H0不成立,并不代表“高2倍”
这个结果的可信度是95%以上(p<0.05),严格来说“高两倍”这个结果的可能性基本
是0。
0.
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : p不代表差异的显著程度。而是“可信度”。 : 换句话说应该这样解释: : 掷硬币,重复次数越多,结果越接近真实数据,也就是0.5比0.5。做试验也是这样,重 : 复次数越多,总结果越接近真实情况。但是不可能无限重复试验以期得到真实结果(这 : 里说的重复,不是增加sample size n,而是多次重复整套试验,每次比较2组样本数为 : n的样本)。所以要通过统计学计算来估计这一次试验的可信度。结果就有了p值。p<0. : 05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。或者说 : ,有差异这个结论的可信度是95%以上。 : 至于差异到底是多大,应该比较两组的平均值,是几倍就是几倍。 : 合起来就是说,通过平均值,看出处理组比对照组的某项指标高了2倍(只是举例)。
|
y***i 发帖数: 11639 | 18 p<0.05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。 |
y***i 发帖数: 11639 | 19 "那么“高2倍”这个结果的可信度是95%以上(p<0.05)。"
这个更不对了。pValue只说无差异的数据抽样的几率,和实际数据的倍数一点关系都
没有。当然对这个倍数不会有什么promise。
【在 y***i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : p<0.05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。
|
s******s 发帖数: 13035 | 20 ///nod, 我刚想说他有基本概念错误,不过如果自认是bayesian就混过去了
【在 y***i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : p<0.05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。
|
|
|
f*********r 发帖数: 1233 | 21 我刚才查了一下,你说得对。p是type I error的可能性。也就是假阳性的可能性(假
阳性率)。回到试验当中,就是事实上没有“2倍”差异,结果却得出了有“2倍”差异
这个错误结论的可能性是p<0.05。也可以说是这个结果不是假阳性的可信度是95%以上。
【在 y***i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : p<0.05是什么意思呢?假设你能无限重复试验,两组数据没有差异的几率在5%以下。
|
o********r 发帖数: 775 | 22 FT,H0是事实上没有差异,而不是“事实上没有“2倍”差异”。。。和多少倍一点关
系都没有
上。
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我刚才查了一下,你说得对。p是type I error的可能性。也就是假阳性的可能性(假 : 阳性率)。回到试验当中,就是事实上没有“2倍”差异,结果却得出了有“2倍”差异 : 这个错误结论的可能性是p<0.05。也可以说是这个结果不是假阳性的可信度是95%以上。
|
f*********r 发帖数: 1233 | 23 我非常明白你的意思。
传统上,我们先假设H0:μ1=μ2(或者H0: μ1≥μ2,μ1≤μ2),通过我们自己的数
据得到p<0.05,于是推翻这个假设,得到μ1≠μ2(或μ1<μ2,或μ1>μ2)的结论,
也就是第1组和第2组不等(或者第1组小于/大于第2组)。在此过程中,并没有涉及μ1
和μ2的倍数关系。这基本上就是你的意见。我也同意你说的。
然而,在实际的研究中,我们并不满足这两组数据的不等、大于、小于的关系。而是常
常提到倍数关系。这也就是我例子中提到的2倍增高的关系。投稿的时候,p<0.05,显
著性达到了,也就过关了。审稿的一般不管p<0.05到底说的是μ1和μ2关系还是μ1和2
倍μ2的关系。几乎所有的作者都拿着p<0.05来证明μ1>2μ2。
按照正规统计学的计算,肯定是不对的。那么怎样做才是正确的?拿μ1±σ1和2μ2±
2σ2来做test么?还是用μ1±σ1和2μ2±σ2来做test?显然都是不对的。因为没人
能证明试验组和对照组的σ是什么关系。
一来审稿的自己也不懂,二来,如果真严格要求按统计学走,试验就没法做了,三来,
就算能做,多半也过不了p<0.05。所以他们也就睁一眼闭一眼。统计学不过就是走个过
场。
就象我以前说过的,他们默认1/2和1/4的平均值是1/3,默认X^2和X^4平均是X^3很久了
。拿着p<0.05来说明μ1>2μ2也不算啥。
【在 o********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : FT,H0是事实上没有差异,而不是“事实上没有“2倍”差异”。。。和多少倍一点关 : 系都没有 : : 上。
|
s******s 发帖数: 13035 | 24 谬误很多啊,不要把有些编辑不懂或者不care就认为是正确的。
什么叫做统计上没法做?两个sigma是不是一样当然可以test,
用F就行了。两个不一样就不能做test了?本科统计老师都要哭了,
这个统计第一门课t-test里面就有unpool的test, 你直接去测
H0: u1>=2u2就行了。
μ1
和2
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我非常明白你的意思。 : 传统上,我们先假设H0:μ1=μ2(或者H0: μ1≥μ2,μ1≤μ2),通过我们自己的数 : 据得到p<0.05,于是推翻这个假设,得到μ1≠μ2(或μ1<μ2,或μ1>μ2)的结论, : 也就是第1组和第2组不等(或者第1组小于/大于第2组)。在此过程中,并没有涉及μ1 : 和μ2的倍数关系。这基本上就是你的意见。我也同意你说的。 : 然而,在实际的研究中,我们并不满足这两组数据的不等、大于、小于的关系。而是常 : 常提到倍数关系。这也就是我例子中提到的2倍增高的关系。投稿的时候,p<0.05,显 : 著性达到了,也就过关了。审稿的一般不管p<0.05到底说的是μ1和μ2关系还是μ1和2 : 倍μ2的关系。几乎所有的作者都拿着p<0.05来证明μ1>2μ2。 : 按照正规统计学的计算,肯定是不对的。那么怎样做才是正确的?拿μ1±σ1和2μ2±
|
f*********r 发帖数: 1233 | 25 多谢讲解。做F检验,确定方差齐性,这好理解,用来决定是不是equal viriance,也
就是pooled还是unpooled。直接拿σ1^2和σ2^2来检验就是了。可我现在不是要test原始的μ1和μ2,而是要拿μ1和2μ2来做t-test,那么对应2μ2的σ应该是多大?怎么判断,分布曲线是简单平移,还是应该平移+拉伸/压缩?
我原文并没有说统计没法做,而是试验没法做了。如果严格按照统计学和数学要求,大
多数涉及到量化的文章都是不合格的。难道都撤稿?
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谬误很多啊,不要把有些编辑不懂或者不care就认为是正确的。 : 什么叫做统计上没法做?两个sigma是不是一样当然可以test, : 用F就行了。两个不一样就不能做test了?本科统计老师都要哭了, : 这个统计第一门课t-test里面就有unpool的test, 你直接去测 : H0: u1>=2u2就行了。 : : μ1 : 和2
|
f**********e 发帖数: 1994 | 26 从头到尾只有这贴看来靠谱。p-value 的意义很简单,就是 given H0,
sample 出比你这结果更极端的几率有多高。就 frequentist 的观点,
如果你的老板克隆 100 个你,建一百个实验室,而且 H0 成立的话,p=0.05
表示只会有五个你的克隆作出这结果。越少你的克隆人作出这结果当然表示
H0 越不可信。这和 2X 与否一点关系也没有。
http://library.mpib-berlin.mpg.de/ft/gg/GG_Null_2004.pdf
【在 o********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 还是不对,p只代表H0下出现同样或更极端结果的概率。H0不成立,并不代表“高2倍” : 这个结果的可信度是95%以上(p<0.05),严格来说“高两倍”这个结果的可能性基本 : 是0。 : : 0.
|
s******s 发帖数: 13035 | 27 unpooled对sigma没有要求,1sigma,2sigma都可以。
原始的μ1和μ2,而是要拿μ1和2μ2来做t-test,那么对应2μ2的σ应该是多大?怎
么判断,分布曲线是简单平移,还是应该平移+拉伸/压缩?
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 多谢讲解。做F检验,确定方差齐性,这好理解,用来决定是不是equal viriance,也 : 就是pooled还是unpooled。直接拿σ1^2和σ2^2来检验就是了。可我现在不是要test原始的μ1和μ2,而是要拿μ1和2μ2来做t-test,那么对应2μ2的σ应该是多大?怎么判断,分布曲线是简单平移,还是应该平移+拉伸/压缩? : 我原文并没有说统计没法做,而是试验没法做了。如果严格按照统计学和数学要求,大 : 多数涉及到量化的文章都是不合格的。难道都撤稿?
|
f*********r 发帖数: 1233 | 28 那我可不可以用0.5sigma?
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : unpooled对sigma没有要求,1sigma,2sigma都可以。 : : 原始的μ1和μ2,而是要拿μ1和2μ2来做t-test,那么对应2μ2的σ应该是多大?怎 : 么判断,分布曲线是简单平移,还是应该平移+拉伸/压缩?
|
s******s 发帖数: 13035 | 29 和sigma没有关系
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那我可不可以用0.5sigma?
|
f*********r 发帖数: 1233 | 30 你可别嫌我烦呀。我真的不明白。算p值,要6个数,n1,x-bar1,σ1,n2,x-bar2,
σ2。缺一个σ算不了啊。
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 和sigma没有关系
|
|
|
s******s 发帖数: 13035 | 31 咳咳,介个叫做std1和std2,是算出来的,sigma是parameter,
不能混着说。unpooled的计算当然要std1,std2,但是对两个
sigma是不是有任何关系没有限制。
【在 f*********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你可别嫌我烦呀。我真的不明白。算p值,要6个数,n1,x-bar1,σ1,n2,x-bar2, : σ2。缺一个σ算不了啊。
|
g*********5 发帖数: 2533 | |
b*******1 发帖数: 127 | 33 Most often, you would like to use both the statistical significance and the
effect size. For example, in microarray analysis, it would be better to find
genes with q<0.05 and fold>2. The larger your sample size is, the most
significance you will get, but the effect size will stay the same. |
k****o 发帖数: 589 | 34 P值加effect size不就解决问题了吗... |