w********r
发帖数: 253 | 1 想fit一个predictive model，x1,x2,x3,x4,x5,x6都是我可以用的independent
variables
现在发现x1,x4,x6之间有multi-colinearity
应该怎么办呢？ | c*******r
发帖数: 238 | 2 Variable (model) selection or regularization.
【在 w********r 的大作中提到】
: 想fit一个predictive model，x1,x2,x3,x4,x5,x6都是我可以用的independent
: variables
: 现在发现x1,x4,x6之间有multi-colinearity
: 应该怎么办呢？
| w********r
发帖数: 253 | 3 你的意思是还是全部放进去model
然后用stepwise之类的步骤来select？
我觉得结果会很trick。。。。
regularization是什么？
【在 c*******r 的大作中提到】
: Variable (model) selection or regularization.
| h***x
发帖数: 586 | 4 你可以看看data mining cookbook p106-108, MC does not have any adverse
effects on a predictive model.
Stepwise一般不会有预期的那么好。把他们都放到model里，fit一下，看看chi square
，取值大的那个变量。
如果correlation coefficient很大，try PCA and factor analysis to check if they
can be combined into one variable.
【在 w********r 的大作中提到】
: 想fit一个predictive model，x1,x2,x3,x4,x5,x6都是我可以用的independent
: variables
: 现在发现x1,x4,x6之间有multi-colinearity
: 应该怎么办呢？
| c*******r
发帖数: 238 | 5
You do ordinary least square fit with an additional term on the model
complexity, such as RIDGE, LASSO, LARS and etc.
【在 w********r 的大作中提到】
: 你的意思是还是全部放进去model
: 然后用stepwise之类的步骤来select？
: 我觉得结果会很trick。。。。
: regularization是什么？
| h******a
发帖数: 198 | 6 variance inflation factor 检验 multicollinearity. 如果有就用Ridge regression
。 | D****9
发帖数: 10889 | 7 如果有multicollinearity，要么就DROP掉one of the variables，要么就增加更多的
数据进去。 |
|
