w********r 发帖数: 253 | 1 想fit一个predictive model,x1,x2,x3,x4,x5,x6都是我可以用的independent
variables
现在发现x1,x4,x6之间有multi-colinearity
应该怎么办呢? | c*******r 发帖数: 238 | 2 Variable (model) selection or regularization.
【在 w********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 想fit一个predictive model,x1,x2,x3,x4,x5,x6都是我可以用的independent : variables : 现在发现x1,x4,x6之间有multi-colinearity : 应该怎么办呢?
| w********r 发帖数: 253 | 3 你的意思是还是全部放进去model
然后用stepwise之类的步骤来select?
我觉得结果会很trick。。。。
regularization是什么?
【在 c*******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Variable (model) selection or regularization.
| h***x 发帖数: 586 | 4 你可以看看data mining cookbook p106-108, MC does not have any adverse
effects on a predictive model.
Stepwise一般不会有预期的那么好。把他们都放到model里,fit一下,看看chi square
,取值大的那个变量。
如果correlation coefficient很大,try PCA and factor analysis to check if they
can be combined into one variable.
【在 w********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 想fit一个predictive model,x1,x2,x3,x4,x5,x6都是我可以用的independent : variables : 现在发现x1,x4,x6之间有multi-colinearity : 应该怎么办呢?
| c*******r 发帖数: 238 | 5
You do ordinary least square fit with an additional term on the model
complexity, such as RIDGE, LASSO, LARS and etc.
【在 w********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你的意思是还是全部放进去model : 然后用stepwise之类的步骤来select? : 我觉得结果会很trick。。。。 : regularization是什么?
| h******a 发帖数: 198 | 6 variance inflation factor 检验 multicollinearity. 如果有就用Ridge regression
。 | D****9 发帖数: 10889 | 7 如果有multicollinearity,要么就DROP掉one of the variables,要么就增加更多的
数据进去。 |
|