s********1 发帖数: 235 | 1 主要就是pearson correlation的统计检测的问题。
用的方法是这个:
correlation calculation:
http://www.statisticshowto.com/articles/what-is-the-pearson-cor
t-test:
http://www.vassarstats.net/textbook/ch4apx.html
现实情况里,有两个vectors, 10000 X 1 dimension. 由于 n 很大(n=10000),所以当
correlation 哪怕是一个不高的值 like 0.2, t-test 的 t都比较大,p-value 都很小
,就是说统计显著性很强,这就说不清了。看correlation 的值,感觉,这两个
vector之间没有很强的线性关系,但是看p-value 又是 statistical significant 的
,感觉,他们之间又很强的线性关系。到底怎样interpret 呢?两个 vectors 之间到
底是否存在很强的线性关系?
多谢! |
D*********2 发帖数: 535 | 2 Small pvalue means there is a statistically significant NON-ZERO correlation
. This correlation might be .9, or .2, or even smaller. I saw paper on NEJM
claim statistical significant correlation with rho = .03, and p <. 0001. You
could imaging how large their sample size is.
btw, u might wanna use fisher transformation before using t test. |
c*****n 发帖数: 46 | 3 你的t-test是测两组数据之间correlation是否为零吧? 你有一万个数,算出来
correlation的值等于0.2,自然correlation为零的可能性很小了啊。
数据之间绝对不相关挺难的,一般弱相关也就够用了。所以可以考虑算一算比如
correlation<0.2 相对应的p-value。当然这好像也不是经典统计里的常见的做法。 |
w*******9 发帖数: 1433 | 4 Agree with cathyan. statistical significance != practical significance. You
need to set a cut off value to define "strong correlation". |