v*******g
发帖数: 334 | 1 是做multiple linear regression, | w****f
发帖数: 22 | 2 Lasso, Ridge, Elestic Net, Mars...
【在 v*******g 的大作中提到】
: 是做multiple linear regression,
| s*****r
发帖数: 183 | 3 Lasso可以试一下，Ridge没有variable sparse功能吧。
另外，stepwise,forward, backward试了吗？ | a******9
发帖数: 20431 | 4 方法太多了 aic Bic CV vif lasso/ridge/elasticnet...看你要干嘛了
【在 v*******g 的大作中提到】
: 是做multiple linear regression,
| o*s
发帖数: 623 | 5 如果你用SAS
看看这个 PROC GLMSELECT
SAS 9.4还是蛮全的
较早的版本9.2或者9.3没那么全
Forward Selection (FORWARD)
Backward Elimination (BACKWARD)
Stepwise Selection(STEPWISE)
Least Angle Regression (LAR)
Lasso Selection (LASSO)
Adaptive LASSO Selection
Elastic Net Selection (ELASTICNET)
当然R也应该都有的
相关文章：
Efron, B., Hastie, T., Johnstone, I., & Tibshirani, R. (2004). Least angle
regression. The Annals of statistics, 32(2), 407-499.
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso.
Journal of the Royal Statistical Society. Series B (Methodological), 267-288.
Zou, H. (2006). The adaptive lasso and its oracle properties. Journal of the
American statistical association, 101(476), 1418-1429.
Zou, H., & Hastie, T. (2005). Regularization and variable selection via the
elastic net. Journal of the Royal Statistical Society: Series B (Statistical
Methodology), 67(2), 301-320. | o*s
发帖数: 623 | 6 另外如果IV都是continuous的话 还可以考虑用variable clustering (PROC VARCLUS)
来选择变量 但我看有些讨论说dummy IV也可以用这个 | b********8
发帖数: 3059 | 7 use R gbm to select top variables | J******m
发帖数: 97 | 8 我的建议也是先proc varclus对变量做Clustering, 然后在每个组里选一个代表出来，
标准就是： 1 business knowledge， 2.1-r2 ratio 值去选。
【在 v*******g 的大作中提到】
: 是做multiple linear regression,
| J******m
发帖数: 97 | 9 补充一点： 可以把不相关的（Irrelevant )的变量去掉， 用proc corr, 得到一个图
叫scatter plots of ranks of Spearman VS Hoeffding, 然后做 empirical
logit plot对个别可疑变量。欢迎高手指正！谢谢
【在 v*******g 的大作中提到】
: 是做multiple linear regression,
| h*********n
发帖数: 278 | 10 跟风探讨一下，在用这些variable selection方法之前，是不是还是要对这些变量，尤
其是categorical variables，进行一些处理呢？有些categorical variable 有很多
level, 有些level只有几个observation, 这种情况如果直接扔进去model做var
selection, 好像会出问题。比如最近做的一个model, 一开始我把所有变量直接扔进去
用stepwise selection, 结果直接error, 后来我只好分还几步，每次把上一步选中的
variables再加上一组新的让它选（说实话也不知道这样对不对）。可是这样也觉得挺
累的，这要是有上百上千个个变量，怎么处理这问题呢，所谓的big data是怎么实现不
对数据做initial处理就进行变量选择的？如果说要先处理数据，那你一开始又怎么知
道一个有上百level的变量，怎么去combine那些level呢？ |
|
