M***e
发帖数: 531 | 1 有个问题是怎么用VIF做feature selection.
有上千个feature，要求是最后的logistic regression model的feature VIF要小于2.
想了解一下大家用VIF做feature selection的过程。
1. 是stepwise的方式，每次去掉有最大VIF的feature，然后重新计算余下feature的
VIF,不断循环直到最后余下的feature VIF<2.
2. 是分几步，先去掉VIF>100的，然后重新计算余下feature的VIF，再去掉VIF>10的，
然后重新计算余下feature的VIF.
因为数据量比较大，1的办法太耗时，所以在用2的办法。但是risk就是在VIF>100去掉
的feature里有本该留下的，结果一刀切都去掉了。
一般大家都怎么做的呢？
求助，多谢 | m******r
发帖数: 1033 | 2 不明白为什么很多人忌讳vif, 其实大一点没什么。 | w******H
发帖数: 53 | 3 我认为取决于用的是什么模型。如果是linear regression,VIF太大模型不稳定。如果
是其他某些模型，比如naive bayes, 影响可能小一点。
【在 m******r 的大作中提到】
: 不明白为什么很多人忌讳vif, 其实大一点没什么。
| m******r
发帖数: 1033 | 4 楼主说的是2. 不知道谁想出来的这个数。 要我说，谁想出这个数，那就说明谁已经有
主意了，就按谁的方法做 大家都开心。
【在 w******H 的大作中提到】
: 我认为取决于用的是什么模型。如果是linear regression,VIF太大模型不稳定。如果
: 是其他某些模型，比如naive bayes, 影响可能小一点。
| m*****n
发帖数: 3644 | 5 方法2不行。假设有10个x，其中x1和x2高度相关，99%，VIF_i=1/（1-R_i^2).方法2会
同时剔除x1和x2。 |
|
