W******r 发帖数: 789 | 1 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。 |
a****o 发帖数: 6612 | 2 都没有错呀,比如49% 有效, 51%无效。
计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.
010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是
百思不得其解。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。
|
W******r 发帖数: 789 | 3 假设我是FDA的决策人,必须做一个binary的决定:批准上市还是不批准上市。我应该怎么办呢?
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 都没有错呀,比如49% 有效, 51%无效。 : : 计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0. : 010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是 : 百思不得其解。
|
a****o 发帖数: 6612 | 4 单从有效率讲,49 %有效也是有效,只要比安慰剂强,就可以。当然,FDA的决策会更
复杂一些,考虑更多的因素。药物的有效率太低,卖不动药厂自己要赔本的。
该怎么办呢?
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设我是FDA的决策人,必须做一个binary的决定:批准上市还是不批准上市。我应该怎么办呢?
|
W******r 发帖数: 789 | 5 谢谢。我明白了。FDA的决策还要考虑会不会赔本的因素。
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 单从有效率讲,49 %有效也是有效,只要比安慰剂强,就可以。当然,FDA的决策会更 : 复杂一些,考虑更多的因素。药物的有效率太低,卖不动药厂自己要赔本的。 : : 该怎么办呢?
|
a****o 发帖数: 6612 | 6 FDA才不管你赔不赔本。问题是如果药效太低,药厂何必花钱去FDA申报?
FDA可能更关注药效是怎么测得的。万一有虚报的嫌疑呢?
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢。我明白了。FDA的决策还要考虑会不会赔本的因素。
|
W******r 发帖数: 789 | 7 嗯,FDA的运作太复杂了。看来我没有资格做FDA的决策人。好吧,那我做一个病人吧。现在我必须作一个binary的决定:用这种药还是不用这种药。我又应该怎么办呢?
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : FDA才不管你赔不赔本。问题是如果药效太低,药厂何必花钱去FDA申报? : FDA可能更关注药效是怎么测得的。万一有虚报的嫌疑呢?
|
a****o 发帖数: 6612 | 8 其实这个决定是由医生做的。如果只有两种选择,用还是不用。只要有有效率,当然是
用啦。那样好歹有49%中彩治好的希望。
。现在我必须作一个binary的决定:用这种药还是不用这种药。我又应该怎么办呢?
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 嗯,FDA的运作太复杂了。看来我没有资格做FDA的决策人。好吧,那我做一个病人吧。现在我必须作一个binary的决定:用这种药还是不用这种药。我又应该怎么办呢?
|
f*******e 发帖数: 5594 | 9 FDA 审批的过程并非是一个单一的对实验结果的判定过程,因为科学本身是不需要哪个
部门来判决的。FDA审批更向是一个法官判决的过程,是各方妥协的结果。就比如一个重
要的原则就是benefit vs risk。而其实benefit vs risk并没有非常明确的标准,是要
看FDA、工业界、病人群体等的综合意见所决定的政策的结果。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢。我明白了。FDA的决策还要考虑会不会赔本的因素。
|
s*******a 发帖数: 921 | 10 统计学结果就不是这么用的吧!如果真的出现了你后面所讲的49%和51%的问题,这个统
计学结果对于实际操作就没有指导意见。估计所有的人会自动把对于这种结果的反应调
整成50%和50%。
举个例子,我的西医生在给我讲所谓的统计学结果的时候,说方案A的成功率大概是55%
左右,方案B的成功率大概是45%左右,所以,从成功率上来说,这两个方案没有区别。
对,她说的就是这两个方案没有区别。
计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.
010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是
百思不得其解。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。
|
|
|
W******r 发帖数: 789 | 11 现在假设这两个实验室再来独立地检验这种药的安全性,结果又是一个算出p-value是0.009999,另一个算出0.010001。现在我还是必须作一个binary的决定:用这种药还是不用这种药。这种情况我又应该怎么办呢?
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 其实这个决定是由医生做的。如果只有两种选择,用还是不用。只要有有效率,当然是 : 用啦。那样好歹有49%中彩治好的希望。 : : 。现在我必须作一个binary的决定:用这种药还是不用这种药。我又应该怎么办呢?
|
a****o 发帖数: 6612 | 12 第一,两种结果的P-value接近,统计上没有区别。
第二,怎么选择,需要具体分析。
对这种药效不"显著",而"不安全"的药,你愿意用吗? 话说回来,对于没有做统计实验的,
连个药物到底有没有效果,安全性到底如何都不清楚的"中成药", 你能放心吗?
是0.009999,另一个算出0.010001。现在我还是必须作一个binary的决定:用这种药还
是不用这种药。这种情况我又应该怎么办呢?
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在假设这两个实验室再来独立地检验这种药的安全性,结果又是一个算出p-value是0.009999,另一个算出0.010001。现在我还是必须作一个binary的决定:用这种药还是不用这种药。这种情况我又应该怎么办呢?
|
W******r 发帖数: 789 | 13
既然统计上没有区别,为什么会得出完全相反的结论呢?
怎么个具体分析法呢?可否指点一二啊?
不知道啊。所以要向你请教啊。
我想大概也要用到你在上述第二点中所提到的具体分析吧。
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 第一,两种结果的P-value接近,统计上没有区别。 : 第二,怎么选择,需要具体分析。 : 对这种药效不"显著",而"不安全"的药,你愿意用吗? 话说回来,对于没有做统计实验的, : 连个药物到底有没有效果,安全性到底如何都不清楚的"中成药", 你能放心吗? : : 是0.009999,另一个算出0.010001。现在我还是必须作一个binary的决定:用这种药还 : 是不用这种药。这种情况我又应该怎么办呢?
|
a****o 发帖数: 6612 | 14
没有完全相反的结论。是你对统计学结果的误解。
比方说,对于绝症之类,只要有效,即使毒副作用大,也可能使用。又比方说,有其他
更有效的药物。还比方说,病人有其他疾病,副作用的风险加大等等。 专业的医生能
够更好的权衡利弊。不是我能解释的。
你要是请教我的话,我建议不要用。
不用具体分析。对于这种不明不白的药,还是躲着点好。你要是想用"统计学"的局限
性还为中医药的"合理性"辩解,只不过是白费力气而已。因为中医药连双盲,统计实
验结果都没有。所谓五千年的检验,只不过是口口相传的虚妄而已。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 既然统计上没有区别,为什么会得出完全相反的结论呢? : 怎么个具体分析法呢?可否指点一二啊? : 不知道啊。所以要向你请教啊。 : 我想大概也要用到你在上述第二点中所提到的具体分析吧。
|
W******r 发帖数: 789 | 15 我们来把问题简化一下。假设一开始就只有其中的一个实验室在做试验,并且得出这种药既安全又有效的结论。在这种情况下你会不会建议我用这种药呢?
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 没有完全相反的结论。是你对统计学结果的误解。 : 比方说,对于绝症之类,只要有效,即使毒副作用大,也可能使用。又比方说,有其他 : 更有效的药物。还比方说,病人有其他疾病,副作用的风险加大等等。 专业的医生能 : 够更好的权衡利弊。不是我能解释的。 : 你要是请教我的话,我建议不要用。 : 不用具体分析。对于这种不明不白的药,还是躲着点好。你要是想用"统计学"的局限 : 性还为中医药的"合理性"辩解,只不过是白费力气而已。因为中医药连双盲,统计实 : 验结果都没有。所谓五千年的检验,只不过是口口相传的虚妄而已。
|
c******r 发帖数: 3778 | 16 没关系,这个p-value的意思是:
In statistical significance testing, the p-value is the probability of
obtaining a test statistic at least as extreme as the one that was actually
observed, assuming that the null hypothesis is true.
就是说,本来这个0.01就是人为划定的。0.01跟0.0101比并没有什么特殊性。就是可能
性有多大的问题。你愿意接受就接受,不愿意就不接受。数据摆在这里,你自己决定。
计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.
010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是
百思不得其解。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。
|
W******r 发帖数: 789 | 17 我记得你说过统计是一门客观严密的科学啊,凡事讲证据。怎么我现在又要自己决定,愿意接受就接受,不愿意就不接受,那么主观儿戏了呢?
actually
【在 c******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 没关系,这个p-value的意思是: : In statistical significance testing, the p-value is the probability of : obtaining a test statistic at least as extreme as the one that was actually : observed, assuming that the null hypothesis is true. : 就是说,本来这个0.01就是人为划定的。0.01跟0.0101比并没有什么特殊性。就是可能 : 性有多大的问题。你愿意接受就接受,不愿意就不接受。数据摆在这里,你自己决定。 : : 计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0. : 010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是 : 百思不得其解。
|
a****o 发帖数: 6612 | 18 客观严密并不意味着世界是非黑即白的,中间还有灰色。 你自己的理解有问题,还不
愿意接受别人正确的解释。你要坚持自己错误的看法,别人能说什么?你既然提到统计
的方法,总得遵守统计的基本定义和解释吧? 好比下象棋,你的象硬要过河,谁还同
你玩呢?!
,愿意接受就接受,不愿意就不接受,那么主观儿戏了呢?
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我记得你说过统计是一门客观严密的科学啊,凡事讲证据。怎么我现在又要自己决定,愿意接受就接受,不愿意就不接受,那么主观儿戏了呢? : : actually
|
a****o 发帖数: 6612 | 19
种药既安全又有效的结论。在这种情况下你会不会建议我用这种药呢?
根据你所假定的p-value的值,这个安全有效是非常有限的。 如果是绝症,试试无妨;
如果有替代的更好的办法,当然就不必了。 现代医学的医生会给你一个最好的方案。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我们来把问题简化一下。假设一开始就只有其中的一个实验室在做试验,并且得出这种药既安全又有效的结论。在这种情况下你会不会建议我用这种药呢?
|
c****z 发帖数: 207 | 20 如果要求是0.01,那么的确第一个被认为有显著区别,但第二个并不是就得到了无区别
的结论。有显著区别和无显著区别之间有一个中间过程。
计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.
010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是
百思不得其解。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。
|
|
|
W******r 发帖数: 789 | 21 假设你现在要根据统计检验的结果下一个binary的结论(例如疫苗是否和自闭症有关),而统计的结果刚好就落在灰色地带。如果这个结论牵涉到multi billion的商业利益。那么请问,如此巨大的商业利益会不会对最终结论起主导作用?
PS.我举疫苗这个例子是因为这是一场官司,必须得有一个明确的binary的结论。这纯粹是一个例子,我不是想要讨论这个问题。
【在 a****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 客观严密并不意味着世界是非黑即白的,中间还有灰色。 你自己的理解有问题,还不 : 愿意接受别人正确的解释。你要坚持自己错误的看法,别人能说什么?你既然提到统计 : 的方法,总得遵守统计的基本定义和解释吧? 好比下象棋,你的象硬要过河,谁还同 : 你玩呢?! : : ,愿意接受就接受,不愿意就不接受,那么主观儿戏了呢?
|
a****o 发帖数: 6612 | 22 我现在对你的问题很是糊涂。 统计结果就是统计结果,其结论是根据统计学的原理得
出来的。
如果"商业利益"可以让数学中的1+1等于3,那么很可能也可以让不显著的关联变
成显著的关联。 "那么请问,如此巨大的商业利益会不会对最终结论起主导作用?"
我觉得你对统计结果的解释理解得不好。统计结果不一定给出一个非白即黑的结果。具
体到疫苗的例子,可能结论是"目前的实验无法证明疫苗和自闭症有显著的关联,也不
能证明疫苗和自闭症有显著的无关联"。 换句话说,任何人"宣称" 有显著的关联而
被起诉的话,他会"输掉"官司。
甭管有多大的商业利益,这种统计结果应该得到正确的解释。(如果有商业操作,使得
统计的过程不是规范执行的,另当别论。)
),而统计的结果刚好就落在灰色地带。如果这个结论牵涉到multi billion的商业利
益。那么请问,如此巨大的商业利益会不会对最终结论起主导作用?
纯粹是一个例子,我不是想要讨论这个问题。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设你现在要根据统计检验的结果下一个binary的结论(例如疫苗是否和自闭症有关),而统计的结果刚好就落在灰色地带。如果这个结论牵涉到multi billion的商业利益。那么请问,如此巨大的商业利益会不会对最终结论起主导作用? : PS.我举疫苗这个例子是因为这是一场官司,必须得有一个明确的binary的结论。这纯粹是一个例子,我不是想要讨论这个问题。
|
y********0 发帖数: 638 | 23 单纯从统计结果来讲,即使没有第二个实验结果。 这个p=0.0099属于边缘pvalue,下
结论的时候也要非常小心,不能随意得出推翻H0的结论。 这两个结果本身都没什么错
,属于统计结果,从某种程度上代表了得出某种结论的风险。
这个只是提供给决策者的其中一种依据,决策者面对的绝不不可能就这么一个单一的证
据。我们就说一个普通的医生吧,即使在pvalue不显著的情况下,他也可能根据其他的
依据,譬如统计上的effect size来判断某一种药的使用结果,当然也可能跟他承担的
后果不严重有关。 |
W******r 发帖数: 789 | 24 谢谢,你解释得很清楚。我想要说明的就是这个问题。最终下结论和作决定的时候还是得综合考虑其他因素和主观判断。决策者自身的责任风险和利益也可能是其中一个考虑的因素。
【在 y********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 单纯从统计结果来讲,即使没有第二个实验结果。 这个p=0.0099属于边缘pvalue,下 : 结论的时候也要非常小心,不能随意得出推翻H0的结论。 这两个结果本身都没什么错 : ,属于统计结果,从某种程度上代表了得出某种结论的风险。 : 这个只是提供给决策者的其中一种依据,决策者面对的绝不不可能就这么一个单一的证 : 据。我们就说一个普通的医生吧,即使在pvalue不显著的情况下,他也可能根据其他的 : 依据,譬如统计上的effect size来判断某一种药的使用结果,当然也可能跟他承担的 : 后果不严重有关。
|
T*******I 发帖数: 5138 | 25 我个人觉得药物实验一般不会把显著性水准设置得如此高。0.05已经是很高的水准了。
即使按照你提供的结果,两个实验室的检验结果其实没有差别。两个实验室的概率检验
之间(即0.009999和0.010001之间)的差别不是由它们共同设定的检验概率的水准(0.
01)来确定的,而是由两者之间的差别本身来决定的,这个差别是0.000002。因此,
可以认为这两个实验室各自进行的检验结果之间没有显著的差别。
0.01只是一个人为设定的判断抽样误差发生的概率大小的准则,不是绝对标准。当你提
供的这类结果发生时,可以考虑合并两个实验室的数据进行检验,由这个检验的结果进
行判断。不过,在合并前要做两个实验室的数据间的均衡性比较。如果没有差异显著性
就可以作合并检验。如果均衡性显著地不好,就要另行考虑其它办法。
最后,我认为你提出的如此例子本身是极小概率发生的事件,基本上属于你主观臆造的
例子,在现实中几乎不可能发生。
计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.
010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是
百思不得其解。
【在 W******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 假设两个实验室独立地检验同一种药的有效性,都把显著水平设为0.01。一个实验室计算出p-value是0.009999,得出这种药有效的结论。另一个实验室计算出p-value是0.010001,得出这种药无效的结论。这种情况我应该相信哪一个结论呢?这个问题我又是百思不得其解。
|