M***e 发帖数: 531 | 1 有个问题是怎么用VIF做feature selection.
有上千个feature,要求是最后的logistic regression model的feature VIF要小于2.
想了解一下大家用VIF做feature selection的过程。
1. 是stepwise的方式,每次去掉有最大VIF的feature,然后重新计算余下feature的
VIF,不断循环直到最后余下的feature VIF<2.
2. 是分几步,先去掉VIF>100的,然后重新计算余下feature的VIF,再去掉VIF>10的,
然后重新计算余下feature的VIF.
因为数据量比较大,1的办法太耗时,所以在用2的办法。但是risk就是在VIF>100去掉
的feature里有本该留下的,结果一刀切都去掉了。
一般大家都怎么做的呢?
求助,多谢 | m******r 发帖数: 1033 | 2 不明白为什么很多人忌讳vif, 其实大一点没什么。 | w******H 发帖数: 53 | 3 我认为取决于用的是什么模型。如果是linear regression,VIF太大模型不稳定。如果
是其他某些模型,比如naive bayes, 影响可能小一点。
【在 m******r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不明白为什么很多人忌讳vif, 其实大一点没什么。
| m******r 发帖数: 1033 | 4 楼主说的是2. 不知道谁想出来的这个数。 要我说,谁想出这个数,那就说明谁已经有
主意了,就按谁的方法做 大家都开心。
【在 w******H 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我认为取决于用的是什么模型。如果是linear regression,VIF太大模型不稳定。如果 : 是其他某些模型,比如naive bayes, 影响可能小一点。
| m*****n 发帖数: 3644 | 5 方法2不行。假设有10个x,其中x1和x2高度相关,99%,VIF_i=1/(1-R_i^2).方法2会
同时剔除x1和x2。 |
|