c*****r 发帖数: 156 | 1 请问一下lasso里面该怎样选取penalty前面的参数lambda呢?参数选取的不同直接导致
了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么?
谢谢! |
q*****q 发帖数: 158 | 2 貌似是cross validation...
【在 c*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问一下lasso里面该怎样选取penalty前面的参数lambda呢?参数选取的不同直接导致 : 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么? : 谢谢!
|
q**j 发帖数: 10612 | 3 这个和data mining有区别么?另外那些比较fancy的比如least angle regression比
ridge和lasso实战中强么?有没有那种方法可以scientific的现在penalty的强弱。多
谢。
【在 q*****q 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 貌似是cross validation...
|
l***a 发帖数: 12410 | 4 LAR和LASSO区别在哪?
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个和data mining有区别么?另外那些比较fancy的比如least angle regression比 : ridge和lasso实战中强么?有没有那种方法可以scientific的现在penalty的强弱。多 : 谢。
|
q**j 发帖数: 10612 | |
c*****r 发帖数: 156 | 6 那也要grid search不同的lambda值,然后分别对每个值做cross validation?
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个和data mining有区别么?另外那些比较fancy的比如least angle regression比 : ridge和lasso实战中强么?有没有那种方法可以scientific的现在penalty的强弱。多 : 谢。
|
A*******s 发帖数: 3942 | 7 u can do grid search with cross validation but seems LAR approach is more
efficient (Efron et al. (2004))
【在 c*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问一下lasso里面该怎样选取penalty前面的参数lambda呢?参数选取的不同直接导致 : 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么? : 谢谢!
|
c*****r 发帖数: 156 | 8 谢谢精算兄~
不过LAR给出的lambda也不是一个确定的值吧(就是Efron paper里面的t值),不同的t
值给予的constraint也不一样。我就是想问怎么确定这个t的值。
【在 A*******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : u can do grid search with cross validation but seems LAR approach is more : efficient (Efron et al. (2004))
|
A*******s 发帖数: 3942 | 9 cv is normally used for choosing the best tuning parameter. or AIC and BIC/
SBC if sample size is sufficient.
的t
【在 c*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢精算兄~ : 不过LAR给出的lambda也不是一个确定的值吧(就是Efron paper里面的t值),不同的t : 值给予的constraint也不一样。我就是想问怎么确定这个t的值。
|
g********r 发帖数: 8017 | 10 好像有generalized CV不用反复算。
的t
【在 c*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢精算兄~ : 不过LAR给出的lambda也不是一个确定的值吧(就是Efron paper里面的t值),不同的t : 值给予的constraint也不一样。我就是想问怎么确定这个t的值。
|
|
|
q*****q 发帖数: 158 | 11 惭愧啊,我没有在实际数据上用过这些,LAR也只是非常肤浅的读过。大概知道lasso的
好处就是如果某个量的影响非常小,直接coefficient就变0了。可以看看Hastie,
Tibshirani and Friedman的那本statistical learning的书,上面的解释和评论都挺
好的。
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个和data mining有区别么?另外那些比较fancy的比如least angle regression比 : ridge和lasso实战中强么?有没有那种方法可以scientific的现在penalty的强弱。多 : 谢。
|
d******e 发帖数: 7844 | 12 之所以叫他tuning parameter就是因为要tune啊。基本都是基于grid search来做的。
选择lambda的方法有很多,根据目的不同(prediction或者model selection)选择方
式也不同。
除了Cross validation外还有Extended BIC,Stability Selection,StARS等等。
【在 c*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问一下lasso里面该怎样选取penalty前面的参数lambda呢?参数选取的不同直接导致 : 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么? : 谢谢!
|
d******e 发帖数: 7844 | 13 LARS就是一个只进不出版本的Lasso
【在 l***a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LAR和LASSO区别在哪?
|
d******e 发帖数: 7844 | 14 LARS已经过时很久了,现在都是glmnet,用coordinate descent
【在 A*******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : u can do grid search with cross validation but seems LAR approach is more : efficient (Efron et al. (2004))
|
q**j 发帖数: 10612 | 15 新品种的提高如何?有没有实战中用过,尤其在forecast的环境下。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LARS已经过时很久了,现在都是glmnet,用coordinate descent
|
d******e 发帖数: 7844 | 16 glmnet非常快。R里有现成的package,你直接用就行了。
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 新品种的提高如何?有没有实战中用过,尤其在forecast的环境下。
|
A*******s 发帖数: 3942 | 17 lazy SAS still uses LAR in its newest glmselect...
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LARS已经过时很久了,现在都是glmnet,用coordinate descent
|
q**j 发帖数: 10612 | 18 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验,理论
上非常fancy的东西有时候实际提高很少。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : glmnet非常快。R里有现成的package,你直接用就行了。
|
B******5 发帖数: 4676 | 19 这个的提高还是很明显的,比LARS快很多
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验,理论 : 上非常fancy的东西有时候实际提高很少。
|
B******5 发帖数: 4676 | 20 这个有reference么?我的理解GCV也要grid search的
【在 g********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 好像有generalized CV不用反复算。 : : 的t
|
|
|
g********r 发帖数: 8017 | 21 我自己没用过。听来的。
【在 B******5 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个有reference么?我的理解GCV也要grid search的
|
o****o 发帖数: 8077 | 22 used GLMNET in some binary classification cases
consistently beat SVM, ridged DA, logistic regression and ensembled Flexible
Discriminant Analysis
just my own experience
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验,理论 : 上非常fancy的东西有时候实际提高很少。
|
d******e 发帖数: 7844 | 23 没有一个方法能保证general性能的,你自己试试看才知道。
绝大部分情况,Lasso都无法beat forward selection
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验,理论 : 上非常fancy的东西有时候实际提高很少。
|
d******e 发帖数: 7844 | 24 gcv不用算k次,性能近似于Leave one out。但一样得tune。
【在 g********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我自己没用过。听来的。
|
d******e 发帖数: 7844 | 25 你的数据肯定是个别情况... ...
L1-regularized logistic regression的性能也就那么回事。
Flexible
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : used GLMNET in some binary classification cases : consistently beat SVM, ridged DA, logistic regression and ensembled Flexible : Discriminant Analysis : just my own experience
|
o****o 发帖数: 8077 | 26 这个没得啥general rules,我都是用一堆方法,然后average
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你的数据肯定是个别情况... ... : L1-regularized logistic regression的性能也就那么回事。 : : Flexible
|
l*********s 发帖数: 5409 | 27 whoo, impressive!
Flexible
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : used GLMNET in some binary classification cases : consistently beat SVM, ridged DA, logistic regression and ensembled Flexible : Discriminant Analysis : just my own experience
|
d******e 发帖数: 7844 | 28 Penalized models其实还处于自娱自乐的阶段,大家更care simulation和theory。
实际用起来,很多情况下都得不到sparse解,做prediction性能也不行。
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个没得啥general rules,我都是用一堆方法,然后average
|
o****o 发帖数: 8077 | 29 beat SVM 我还是比较impressed,beat其他几个我觉得应该正常
【在 l*********s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : whoo, impressive! : : Flexible
|
o****o 发帖数: 8077 | 30 那如果我先做basis expansion再用penalized models?
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Penalized models其实还处于自娱自乐的阶段,大家更care simulation和theory。 : 实际用起来,很多情况下都得不到sparse解,做prediction性能也不行。
|
|
|
F****n 发帖数: 3271 | 31 What do you mean by "beat"? Better accuracy? Generalizabiblity?
For a two-class case, if the data points can be separated by polynomials
then regression can always "beat" SVM. glmnet is regression.
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : beat SVM 我还是比较impressed,beat其他几个我觉得应该正常
|
n*****n 发帖数: 3123 | 32 SVM may use some non-linear kernels. I don't think your statement is right.
【在 F****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : What do you mean by "beat"? Better accuracy? Generalizabiblity? : For a two-class case, if the data points can be separated by polynomials : then regression can always "beat" SVM. glmnet is regression.
|
F****n 发帖数: 3271 | 33 Obviously, you don't understand what I say.
SVM's non-linearity != Polynomials
SVM is superior because it handles more complex non-linearity with greater
generalizability.
If you only look at predication accuracy SVM will be "beaten" by a lot of
methods. But that's nonsense.
【在 n*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : SVM may use some non-linear kernels. I don't think your statement is right.
|
n*****n 发帖数: 3123 | 34 Again, I don't think you are right.
If as you said, there is no need for SVM. Prediction accuracy is the most
important for classification.
【在 F****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Obviously, you don't understand what I say. : SVM's non-linearity != Polynomials : SVM is superior because it handles more complex non-linearity with greater : generalizability. : If you only look at predication accuracy SVM will be "beaten" by a lot of : methods. But that's nonsense.
|
d******e 发帖数: 7844 | 35
~~~~~这个取决于你用什么Kernel,Polynomial kenerl的功能就和你这个类似,
呵呵。
~~~~~知道为什么现在SVM没有以前那么火了么?因为其他的方法一样可以通过
regularization来实现控制model complexity。至少目前来说,SVM比起Kernelized
logistic regression没有任何优势。
~~~~~不看prediction accuracy看什么?
right.
【在 F****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Obviously, you don't understand what I say. : SVM's non-linearity != Polynomials : SVM is superior because it handles more complex non-linearity with greater : generalizability. : If you only look at predication accuracy SVM will be "beaten" by a lot of : methods. But that's nonsense.
|
o****o 发帖数: 8077 | 36 for the binary case, by 'beat' I mean high AUC with low MSE(AUC) on CV
what is your definition for Accuracy and Generalizability?
【在 F****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : What do you mean by "beat"? Better accuracy? Generalizabiblity? : For a two-class case, if the data points can be separated by polynomials : then regression can always "beat" SVM. glmnet is regression.
|
D******n 发帖数: 2836 | 37 co-ask,
what else to look at?
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : ~~~~~这个取决于你用什么Kernel,Polynomial kenerl的功能就和你这个类似, : 呵呵。 : ~~~~~知道为什么现在SVM没有以前那么火了么?因为其他的方法一样可以通过 : regularization来实现控制model complexity。至少目前来说,SVM比起Kernelized : logistic regression没有任何优势。 : ~~~~~不看prediction accuracy看什么? : right.
|
n*****n 发帖数: 3123 | 38 Yes. I don't think he has clear understanding on accuracy and generalization.
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : for the binary case, by 'beat' I mean high AUC with low MSE(AUC) on CV : what is your definition for Accuracy and Generalizability?
|