l****p
发帖数: 27354 | 1 【 以下文字转载自 Military 讨论区 】
发信人: lulupp (木有昵称), 信区: Military
标 题: 菌斑有统计大拿吗？我问个问题
发信站: BBS 未名空间站 (Thu Jan 4 15:13:12 2018, 美东)
从一个正态分布里面每次随机取200个数字，均分为2组，每组 100个数字。两组做t
test, 看 p value。
这样连续取10000次，得到1万个p values.
请问，这1万个 p value 是什么分布？小于0.05的p values 有多少个？ |
z*******1
发帖数: 206 | 2 俺不是大拿！只是说说自己的看法
因为正态分布且随机取， 所以p value 服从uniform分布。小于0.05的p values 有
10000*0.05 = 500次 |
l****p
发帖数: 27354 | 3 谢谢。有这个说法。我怀疑，是因为samples 都来自同一个分布，或者换句话说，
samples 来自的这两个分布一样。
这种情况下，结论应该是无差异，就是p>0.05. 但是，由于误差，p <0.05也有可能，
只是可能性小。
如果n=100 , p<0.05的可能性不大的话，那么如果n=500, p<0.05的可能性应该更小。
所以，这个可能性不是固定值5%，而是随着sample size n 的增加而减小。
【在 z*******1 的大作中提到】
: 俺不是大拿！只是说说自己的看法
: 因为正态分布且随机取， 所以p value 服从uniform分布。小于0.05的p values 有
: 10000*0.05 = 500次
|
z*******1
发帖数: 206 | 4 如果samples 都来自同一个分布， p 值得分布服从Unifom分布， 不会随着sample
size而变化。
当samples 不是来自同一个分布，P会sample size n 的增加而减小。
【在 l****p 的大作中提到】
: 谢谢。有这个说法。我怀疑，是因为samples 都来自同一个分布，或者换句话说，
: samples 来自的这两个分布一样。
: 这种情况下，结论应该是无差异，就是p>0.05. 但是，由于误差，p <0.05也有可能，
: 只是可能性小。
: 如果n=100 , p<0.05的可能性不大的话，那么如果n=500, p<0.05的可能性应该更小。
: 所以，这个可能性不是固定值5%，而是随着sample size n 的增加而减小。
|
l****p
发帖数: 27354 | 5 好吧。看来很无奈啊。也就是说，如果比较的东西没有差异，你提高sample size 也不
会让假阳性减少。不符合直觉啊。
【在 z*******1 的大作中提到】
: 如果samples 都来自同一个分布， p 值得分布服从Unifom分布， 不会随着sample
: size而变化。
: 当samples 不是来自同一个分布，P会sample size n 的增加而减小。
|
t****r
发帖数: 702 | 6 假阳性(type I error) is controlled at 5%, this is the starting point of
Hypothesis testing. If you reduce the type I error rate, the type II error (
假阴
性) rate will increase. That being said, when the sample size increases, the
probability of true positive will increase.
【在 l****p 的大作中提到】
: 好吧。看来很无奈啊。也就是说，如果比较的东西没有差异，你提高sample size 也不
: 会让假阳性减少。不符合直觉啊。
|
l****p
发帖数: 27354 | 7 谢谢。似懂非懂。如果每次抽样都来自一个不同的分布，其他条件不变的话， <0.05的
p values 比例也是5%吗？
(
the
【在 t****r 的大作中提到】
: 假阳性(type I error) is controlled at 5%, this is the starting point of
: Hypothesis testing. If you reduce the type I error rate, the type II error (
: 假阴
: 性) rate will increase. That being said, when the sample size increases, the
: probability of true positive will increase.
|
T*******I
发帖数: 5138 | 8 你这个说法是依据某个数学定理吗？在我看来，应该做个抽样试验，然后看看这10000
个p值的分布究竟是否服从均匀分布。我觉得它们应该服从正态分布。
【在 z*******1 的大作中提到】
: 俺不是大拿！只是说说自己的看法
: 因为正态分布且随机取， 所以p value 服从uniform分布。小于0.05的p values 有
: 10000*0.05 = 500次
|
d********m
发帖数: 507 | 9 uniform。做个simulation就知道了。 |
d********m
发帖数: 507 | 10
【在 d********m 的大作中提到】
: uniform。做个simulation就知道了。
|
T*******I
发帖数: 5138 | 11 这个p值服从均匀分布有点不可思议。
【在 d********m 的大作中提到】
|
B******y
发帖数: 9065 | 12 https://www.r-bloggers.com/a-simple-proof-that-the-p-value-distribution-is-
uniform-when-the-null-hypothesis-is-true-2/
这是个统计学的基本概念，硕士以上的教材很多都有定理和证明。
【在 T*******I 的大作中提到】
: 这个p值服从均匀分布有点不可思议。
|
