s*********e
发帖数: 944 | 1 multiple linear regression,模型里有些变量的VIF很大，correlation between two
variables are high,证明severe muliticollinearity presents。
第1问，如果想remove其中一个变量，怎么知道remove哪个？
第2问，如果决定保留这两个变量，这两个变量的t-test都significant，那么该怎么解
释这两个beta-hat呢？
我对第1问的回答是，可以分别remove这2个变量，得到2个新的模型。比较两个模型，
比如prediction error via MSE, 看每个参数和整个模型是否make sense, 是否还有大
于10的VIF，R^2, AIC之类的， 从而决定选取哪个模型。
第2问,我能想到的就只是X1，X2 jointly influence response variable?
非常感谢！ | z****g
发帖数: 1978 | | j*******2
发帖数: 309 | 3 for 第2问, I think you are right.colinearity makes it difficult to estimate
and interpret a particular regression coefficient because the data have
little information about the effect of changing one variable while holding
another variable constant. However, colinearity does not affect the joint
influence of highly correlated variables when tested simultaneously.
therefore, once groups of highly correlated predictors are identified, the
problem can be rectified by testing the contribution of an entire set with a
multiple d.f test rather than attempting to interpret the coefficient or
one d.f test for a single predictor.
two
【在 s*********e 的大作中提到】
: multiple linear regression,模型里有些变量的VIF很大，correlation between two
: variables are high,证明severe muliticollinearity presents。
: 第1问，如果想remove其中一个变量，怎么知道remove哪个？
: 第2问，如果决定保留这两个变量，这两个变量的t-test都significant，那么该怎么解
: 释这两个beta-hat呢？
: 我对第1问的回答是，可以分别remove这2个变量，得到2个新的模型。比较两个模型，
: 比如prediction error via MSE, 看每个参数和整个模型是否make sense, 是否还有大
: 于10的VIF，R^2, AIC之类的， 从而决定选取哪个模型。
: 第2问,我能想到的就只是X1，X2 jointly influence response variable?
: 非常感谢！
| c*****1
发帖数: 131 | 4 第1问:keep the one which has larger wald chi-square value in regression
model. You answer also works if there are few candidate variables in the
model.
第2问:as somebody said-PCA
two
【在 s*********e 的大作中提到】
: multiple linear regression,模型里有些变量的VIF很大，correlation between two
: variables are high,证明severe muliticollinearity presents。
: 第1问，如果想remove其中一个变量，怎么知道remove哪个？
: 第2问，如果决定保留这两个变量，这两个变量的t-test都significant，那么该怎么解
: 释这两个beta-hat呢？
: 我对第1问的回答是，可以分别remove这2个变量，得到2个新的模型。比较两个模型，
: 比如prediction error via MSE, 看每个参数和整个模型是否make sense, 是否还有大
: 于10的VIF，R^2, AIC之类的， 从而决定选取哪个模型。
: 第2问,我能想到的就只是X1，X2 jointly influence response variable?
: 非常感谢！
| s*********e
发帖数: 944 | 5
谢谢！长见识了。我原来还以为只有logistic regression有wald test呢～～～～
你的这个提议很make sense!
不过有一个问题就是，wald test是用var(beta-hat),但是对于linear regression来说，我们不知道true standard deviation，所以用t-test,这个问题怎么解决呢？
谢谢！
【在 c*****1 的大作中提到】
: 第1问:keep the one which has larger wald chi-square value in regression
: model. You answer also works if there are few candidate variables in the
: model.
: 第2问:as somebody said-PCA
:
: two
| s*********e
发帖数: 944 | 6
谢谢！
能讲讲怎么个还原法吗？
我对PCA不了解？
也可以用Ridge regression吧？
【在 z****g 的大作中提到】
: PCA，然后再还原
|
|
