c******g
发帖数: 63 | 1 小弟是新手。想请教一下关于linear regression中的subset selection，比如用leaps
and bound选best subset，还有greedy的forward step-wise selection和backward
step-wise selection这些算法，在哪本书或参考资料里有讲得详细一点的？（就是具
体的算法流程是怎样的，最好有点example）
像The Elements of Statistical Learning这本书对这些就是泛泛而讲，比如forward
selection是从0个变量开始，一个一个加－－idea当然是这样，但具体地怎么操作呢？
比如什么是挑选哪个新变量加入的metric呢（RSS？test error还是什么Mallow's Cp）
？什么是terminal condition表示不加了呢……这些都没讲……
非常感谢！ |
B******5
发帖数: 4676 | 2 这难道不是很清楚么，可以有不同的criterion，
有能improve的就加进去，不能的话就结束，这就是greedy了吧 |
s*r
发帖数: 2757 | |
s*****1
发帖数: 9 | 4 Probably it is not the best way to spend your time on the details of those
algorithms. Get the basic ideas, and you are free to use many variations. I
would suggest that you read SAS documentation for those methods. |
A*******s
发帖数: 3942 | 5 Subset Selection in Regression这本书讲了不少细节，不过我觉得内容有点老。网上
有电子书。
简单来说GLM的automatic selection都是基于likelihood的，一般来说是likelihood
ratio test with pre-specified significance level，当然也可以用AIC，BIC，
cross validation之类的。
leaps
forward
【在 c******g 的大作中提到】
: 小弟是新手。想请教一下关于linear regression中的subset selection，比如用leaps
: and bound选best subset，还有greedy的forward step-wise selection和backward
: step-wise selection这些算法，在哪本书或参考资料里有讲得详细一点的？（就是具
: 体的算法流程是怎样的，最好有点example）
: 像The Elements of Statistical Learning这本书对这些就是泛泛而讲，比如forward
: selection是从0个变量开始，一个一个加－－idea当然是这样，但具体地怎么操作呢？
: 比如什么是挑选哪个新变量加入的metric呢（RSS？test error还是什么Mallow's Cp）
: ？什么是terminal condition表示不加了呢……这些都没讲……
: 非常感谢！
|
