k***g
发帖数: 4904 | 1 有一组照片，每张里面有若干点（多少不一），张三数了一遍，给了一个数列，李四数
了一遍，给了另一个数列。为了看张三李四数的结果是否一致，用啥分析方法最好呢？
我想能不能简单的把它们当成x，y两列坐标，算算R方，再看看拟合斜率是否接近1。这
只是我纯外行的想法。比较严谨的，规范的方法是什么呢？谢谢！！ |
g*****o
发帖数: 812 | 2 ks检验可以试一试
【在 k***g 的大作中提到】
: 有一组照片，每张里面有若干点（多少不一），张三数了一遍，给了一个数列，李四数
: 了一遍，给了另一个数列。为了看张三李四数的结果是否一致，用啥分析方法最好呢？
: 我想能不能简单的把它们当成x，y两列坐标，算算R方，再看看拟合斜率是否接近1。这
: 只是我纯外行的想法。比较严谨的，规范的方法是什么呢？谢谢！！
|
m***w
发帖数: 69 | |
k***g
发帖数: 4904 | 4 这和我测拟合斜率是不是1不是一样吗。而且这个也看不出来是不是随机偏差很大吧
【在 m***w 的大作中提到】
: 两个相减，检验差的均值是不是零
|
k***g
发帖数: 4904 | 5 谢谢回复，不过我是外行不太明白您的回答，K-S检验我查了一下，好像是分析一组数
据是否符合某种统计分布，比如正态分布之类的，也就是说要拿某个理论分布模型作为
检验标准，可是我这个就是两组有序的数，想看看它们偏差大不大，（请见原帖），如
何使用K-S检验呢？
【在 g*****o 的大作中提到】
: ks检验可以试一试
|
Y******Y
发帖数: 8753 | 6 intraclass correlation coefficient? |
q******n
发帖数: 272 | 7 ks.test(y[group=="a", y[group=="b"])
ks test can answer whether two sample distribution are the same or not. |
q******n
发帖数: 272 | 8 ks.test(y[group=="a", y[group=="b"])
ks test can answer whether two sample distribution are the same or not. |
k***g
发帖数: 4904 | 9 谢谢回复！请问您这个是针对distribution，还是针对（x，y）这样的数对？
我再改一下，明确一下问题：
有一组照片，每张里面有若干点（多少不一），张三数了一遍，给了一个数列，比如a=
1，b=5，c=3，d=9，e=7 （a-e是照片序号）。李四数了一遍，给了另一组结果，比如a
=2，b=4，c=4，d=8，e=6。为了看张三李四数的结果是否一致，用啥分析方法最好呢？
我想能不能简单的把它们当成x，y两列坐标，算算R方，再看看拟合斜率是否接近1。这
只是我纯外行的想法。比较严谨的，规范的方法是什么呢？谢谢！！
补充：我们的目的就是想验证我们的方法是不是reliable，也即是说无论张三还是李四
用这种方法，得到的结果是非常相近的。但是这不同于T-test那种给出两组无序的数，
看看是否分布重合。我们这个是有序的，不能只从数值的分布来评价。
【在 q******n 的大作中提到】
: ks.test(y[group=="a", y[group=="b"])
: ks test can answer whether two sample distribution are the same or not.
|
h***i
发帖数: 3844 | 10 如果你是序列，那ks是没有用的。 做回归就行了。
a=
如a
【在 k***g 的大作中提到】
: 谢谢回复！请问您这个是针对distribution，还是针对（x，y）这样的数对？
: 我再改一下，明确一下问题：
: 有一组照片，每张里面有若干点（多少不一），张三数了一遍，给了一个数列，比如a=
: 1，b=5，c=3，d=9，e=7 （a-e是照片序号）。李四数了一遍，给了另一组结果，比如a
: =2，b=4，c=4，d=8，e=6。为了看张三李四数的结果是否一致，用啥分析方法最好呢？
: 我想能不能简单的把它们当成x，y两列坐标，算算R方，再看看拟合斜率是否接近1。这
: 只是我纯外行的想法。比较严谨的，规范的方法是什么呢？谢谢！！
: 补充：我们的目的就是想验证我们的方法是不是reliable，也即是说无论张三还是李四
: 用这种方法，得到的结果是非常相近的。但是这不同于T-test那种给出两组无序的数，
: 看看是否分布重合。我们这个是有序的，不能只从数值的分布来评价。
|
|
|
k***g
发帖数: 4904 | 11 那看来我就做回归就对了，谢谢啊
【在 h***i 的大作中提到】
: 如果你是序列，那ks是没有用的。 做回归就行了。
:
: a=
: 如a
|
T*******I
发帖数: 5138 | 12 这个应该适合lz的问题。其实就是二次重复测量的一致性检验的问题。简单的线性回归
法被认为不适合这类相关性判断。
【在 Y******Y 的大作中提到】
: intraclass correlation coefficient?
|
k***g
发帖数: 4904 | 13 谢谢！！那我再学习一下这个怎么弄。
【在 T*******I 的大作中提到】
: 这个应该适合lz的问题。其实就是二次重复测量的一致性检验的问题。简单的线性回归
: 法被认为不适合这类相关性判断。
|
R*****0
发帖数: 146 | 14 请LZ查一下"paired t-test"和"Wilcoxon signed rank test"，感觉这两个应该是解决
你问题的经典方法。大概就是把对应项做差，前者假设差值服从正态分布N(0,sigma^2)
，后者不要求参数化的模型，直接假设差值服从一个对称的分布F。
回归要注意的问题就是不能仅看R^2，因为如果俩人数出来的对应有线性关系（未必相
等）也会有很大的R^2。所以额外地检验"斜率是否为1"同时"截距是否为0"很重要，这
是一个simultaneous inference。而一般软件的standard output都是检验"斜率是否为
0"的。所以我不认为这种情况下regression会很方便。 |
k***g
发帖数: 4904 | 15 谢谢热心回复！！我贴个图吧，看看这个算是什么情况，是不是直接就可以用了
2)
【在 R*****0 的大作中提到】
: 请LZ查一下"paired t-test"和"Wilcoxon signed rank test"，感觉这两个应该是解决
: 你问题的经典方法。大概就是把对应项做差，前者假设差值服从正态分布N(0,sigma^2)
: ，后者不要求参数化的模型，直接假设差值服从一个对称的分布F。
: 回归要注意的问题就是不能仅看R^2，因为如果俩人数出来的对应有线性关系（未必相
: 等）也会有很大的R^2。所以额外地检验"斜率是否为1"同时"截距是否为0"很重要，这
: 是一个simultaneous inference。而一般软件的standard output都是检验"斜率是否为
: 0"的。所以我不认为这种情况下regression会很方便。
|
Y******Y
发帖数: 8753 | 16 都说了。。。这就是个raters agreement的问题， 用intraclass correlation
coefficient ....
http://en.wikipedia.org/wiki/Intraclass_correlation |
k***g
发帖数: 4904 | 17 谢谢，这个对我来讲太难了，没有SPSS不知道怎么算
【在 Y******Y 的大作中提到】
: 都说了。。。这就是个raters agreement的问题， 用intraclass correlation
: coefficient ....
: http://en.wikipedia.org/wiki/Intraclass_correlation
|
k***g
发帖数: 4904 | 18 这是一组数据的例子。。哪位能帮忙给算一下吗？。。
Group A
54
30
32
62
37
39
59
35
36
29
44
45
26
41
39
33
49
47
28
42
43
25
38
40
33
46
47
Group B
60
28
28
63
38
33
52
36
36
25
36
34
22
41
39
33
47
46
28
39
38
21
33
35
33
52
42
【在 k***g 的大作中提到】
: 谢谢，这个对我来讲太难了，没有SPSS不知道怎么算
|
Y******Y
发帖数: 8753 | 19 this can be easily done by using information from an ANOVA table
example:
http://www.real-statistics.com/reliability/intraclass-correlati
【在 k***g 的大作中提到】
: 谢谢，这个对我来讲太难了，没有SPSS不知道怎么算
|
k***g
发帖数: 4904 | 20 哦，好像这个很简单，我试试
【在 Y******Y 的大作中提到】
: this can be easily done by using information from an ANOVA table
: example:
: http://www.real-statistics.com/reliability/intraclass-correlati
|
|
|
R*****0
发帖数: 146 | 21 你regression的图就说明一些问题，slope很接近1，SE也很小，基本上符合预期，但说
明不了问题。因为此时决定A和B是否有差异在于intercept和0的距离，这里估计值和SE
在数量上差不多，你直接看不出来。还要做个intercept?=0的检验。
至于你后来的数据，B组 - A组之后是
6 -2 -4 1 1 -6 -7 1 0 -4 -8 -11 -4 0 0 0 -2 -1 0 -
3 -5 -4 -5 -5 0 6 -5
你觉得这些差值正的多还是负的多，正的程度大还是负的程度大？你怎么看？
实际上paired t-test和Wilcoxon rank test的结果跟你的看法一样。
【在 k***g 的大作中提到】
: 谢谢热心回复！！我贴个图吧，看看这个算是什么情况，是不是直接就可以用了
:
: 2)
|
k***g
发帖数: 4904 | 22 谢谢!
我以后再学习paired T-test
SE
-
【在 R*****0 的大作中提到】
: 你regression的图就说明一些问题，slope很接近1，SE也很小，基本上符合预期，但说
: 明不了问题。因为此时决定A和B是否有差异在于intercept和0的距离，这里估计值和SE
: 在数量上差不多，你直接看不出来。还要做个intercept?=0的检验。
: 至于你后来的数据，B组 - A组之后是
: 6 -2 -4 1 1 -6 -7 1 0 -4 -8 -11 -4 0 0 0 -2 -1 0 -
: 3 -5 -4 -5 -5 0 6 -5
: 你觉得这些差值正的多还是负的多，正的程度大还是负的程度大？你怎么看？
: 实际上paired t-test和Wilcoxon rank test的结果跟你的看法一样。
|
k***g
发帖数: 4904 | 23 刚才学着网页做了个anova的ICC，结果是0.955，是不是还行
【在 Y******Y 的大作中提到】
: this can be easily done by using information from an ANOVA table
: example:
: http://www.real-statistics.com/reliability/intraclass-correlati
|
Y******Y
发帖数: 8753 | 24 you should get the approximated 95% confidence interval for your ICC as well.
an ICC value of 0.955 shows a high degree of agreement between 张三 and 李四 |
Y******Y
发帖数: 8753 | 25 I also want to comment on your initial approach of fitting a simple linear
regression and evaluate the R2. This is essentially calculating the square
of Pearson's correlation coefficient(PCC). However, in your case, PCC is not
a suitable measure for assessing agreement. Even if you can show the two
raters have 'perfect' linear relationship when PCC=1. It doesn't mean the
two raters have perfect agreement on every score. |
k***g
发帖数: 4904 | 26 这个没太看明白，如果slope=1，R2=1，intercept=0,还能不是每个点都刚好两人一致
？
not
【在 Y******Y 的大作中提到】
: I also want to comment on your initial approach of fitting a simple linear
: regression and evaluate the R2. This is essentially calculating the square
: of Pearson's correlation coefficient(PCC). However, in your case, PCC is not
: a suitable measure for assessing agreement. Even if you can show the two
: raters have 'perfect' linear relationship when PCC=1. It doesn't mean the
: two raters have perfect agreement on every score.
|
w*******n
发帖数: 469 | |
a*z
发帖数: 294 | |
q******n
发帖数: 272 | 29 No significant difference between group A and B in terms of their
distribution.
Two-sample Kolmogorov-Smirnov test
data: y[group == "A"] and y[group == "B"]
D = 0.256, p-value = 0.3212
alternative hypothesis: two-sided
【在 k***g 的大作中提到】
: 这是一组数据的例子。。哪位能帮忙给算一下吗？。。
: Group A
: 54
: 30
: 32
: 62
: 37
: 39
: 59
: 35
|
u*h
发帖数: 397 | 30 Use paired-t test:
total 27 number: (A-B)
{
-6 2 4 -1 -1 6 7 -1 0 4 8 11 4 0 0
0 2 1 0 3 5 4 5 5 0 -6 5
}
average = 2.26,
std dev = 3.87.
Student's t-test: t-value = 3.03, p-value = 0.0054.
REJECT.
A and B are different.
PS: qq-plot shows that the 27 numbers are normal distributed.
【在 k***g 的大作中提到】
: 这是一组数据的例子。。哪位能帮忙给算一下吗？。。
: Group A
: 54
: 30
: 32
: 62
: 37
: 39
: 59
: 35
|
|
|
y**3
发帖数: 267 | |
Y******Y
发帖数: 8753 | 32 同学们，kappa是给categorical data的。。。。 |
m***c
发帖数: 118 | 33 我就借LZ宝地想问个问题：
如果想做一个predictive model 的validation, 是不是也可以把预测值和实际值用ICC
或KAPPA来做，而并不需要做cross validation 或其他的validation?
谢谢！ |
F8
发帖数: 348 | 34 Can you point it out
how high of icc is considered as high agreement? how would you interpret the
value of icc? for example, 0.7.
How to assess the agreement for binary response with multiple raters? what
method would you prefer
I am not very clear ...
well.
【在 Y******Y 的大作中提到】
: you should get the approximated 95% confidence interval for your ICC as well.
: an ICC value of 0.955 shows a high degree of agreement between 张三 and 李四
|
F8
发帖数: 348 | 35 It is hard to deal with the convergence issues when taking more random
effects, for example, random rater and random time effects
the
【在 F8 的大作中提到】
: Can you point it out
: how high of icc is considered as high agreement? how would you interpret the
: value of icc? for example, 0.7.
: How to assess the agreement for binary response with multiple raters? what
: method would you prefer
: I am not very clear ...
:
: well.
|
s*r
发帖数: 2757 | 36 degree of agreement
one of the most-cited statistics papers ever:Bland & Altman (1986)
Statistical methods for assessing agreement between two methods of clinical
measurement: 27,181 |
k***g
发帖数: 4904 | 37 Thanks a lot!
This is very helpful!
clinical
【在 s*r 的大作中提到】
: degree of agreement
: one of the most-cited statistics papers ever:Bland & Altman (1986)
: Statistical methods for assessing agreement between two methods of clinical
: measurement: 27,181
|
