M***e 发帖数: 531 | 1 有个问题是怎么用VIF做feature selection.
有上千个feature,要求是最后的logistic regression model的feature VIF要小于2.
想了解一下大家用VIF做feature selection的过程。
1. 是stepwise的方式,每次去掉有最大VIF的feature,然后重新计算余下feature的
VIF,不断循环直到最后余下的feature VIF<2.
2. 是分几步,先去掉VIF>100的,然后重新计算余下feature的VIF,再去掉VIF>10的,
然后重新计算余下feature的VIF.
因为数据量比较大,1的办法太耗时,所以在用2的办法。但是risk就是在VIF>100去掉
的feature里有本该留下的,结果一刀切都去掉了。
求助,多谢 |
w******H 发帖数: 53 | 2 我觉得应该用stepwise的方法。如果数据量太大,可以考虑random sampling,取出一
部分数据来做,这样应该对VIF影响不会很大。
.
【在 M***e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有个问题是怎么用VIF做feature selection. : 有上千个feature,要求是最后的logistic regression model的feature VIF要小于2. : 想了解一下大家用VIF做feature selection的过程。 : 1. 是stepwise的方式,每次去掉有最大VIF的feature,然后重新计算余下feature的 : VIF,不断循环直到最后余下的feature VIF<2. : 2. 是分几步,先去掉VIF>100的,然后重新计算余下feature的VIF,再去掉VIF>10的, : 然后重新计算余下feature的VIF. : 因为数据量比较大,1的办法太耗时,所以在用2的办法。但是risk就是在VIF>100去掉 : 的feature里有本该留下的,结果一刀切都去掉了。 : 求助,多谢
|
J*X 发帖数: 1001 | 3 Probably no one will do stepwise with thousands of variables. Try
information value/cluster analysis first. |
p***r 发帖数: 920 | 4 VIF has nothing to to with the response variable, so you don't need to run
the logistic regression to get a set of dependent variables with low VIFs. |
M***e 发帖数: 531 | 5 有个问题是怎么用VIF做feature selection.
有上千个feature,要求是最后的logistic regression model的feature VIF要小于2.
想了解一下大家用VIF做feature selection的过程。
1. 是stepwise的方式,每次去掉有最大VIF的feature,然后重新计算余下feature的
VIF,不断循环直到最后余下的feature VIF<2.
2. 是分几步,先去掉VIF>100的,然后重新计算余下feature的VIF,再去掉VIF>10的,
然后重新计算余下feature的VIF.
因为数据量比较大,1的办法太耗时,所以在用2的办法。但是risk就是在VIF>100去掉
的feature里有本该留下的,结果一刀切都去掉了。
求助,多谢 |
w******H 发帖数: 53 | 6 我觉得应该用stepwise的方法。如果数据量太大,可以考虑random sampling,取出一
部分数据来做,这样应该对VIF影响不会很大。
.
【在 M***e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有个问题是怎么用VIF做feature selection. : 有上千个feature,要求是最后的logistic regression model的feature VIF要小于2. : 想了解一下大家用VIF做feature selection的过程。 : 1. 是stepwise的方式,每次去掉有最大VIF的feature,然后重新计算余下feature的 : VIF,不断循环直到最后余下的feature VIF<2. : 2. 是分几步,先去掉VIF>100的,然后重新计算余下feature的VIF,再去掉VIF>10的, : 然后重新计算余下feature的VIF. : 因为数据量比较大,1的办法太耗时,所以在用2的办法。但是risk就是在VIF>100去掉 : 的feature里有本该留下的,结果一刀切都去掉了。 : 求助,多谢
|
J*X 发帖数: 1001 | 7 Probably no one will do stepwise with thousands of variables. Try
information value/cluster analysis first. |
p***r 发帖数: 920 | 8 VIF has nothing to to with the response variable, so you don't need to run
the logistic regression to get a set of dependent variables with low VIFs. |
m***c 发帖数: 118 | 9 如果是查col-linearity的话,VIF不太靠谱,如果单纯做variable reduction的话,LS
说的对,IV和clustering可以。 |
c****s 发帖数: 395 | 10 Never know VIF could be used to select variables, is this a typo? Maybe you
Mean IV? |