c*****r
发帖数: 156 | 1 请问一下lasso里面该怎样选取penalty前面的参数lambda呢？参数选取的不同直接导致
了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么？
谢谢！ |
q*****q
发帖数: 158 | 2 貌似是cross validation...
【在 c*****r 的大作中提到】
: 请问一下lasso里面该怎样选取penalty前面的参数lambda呢？参数选取的不同直接导致
: 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么？
: 谢谢！
|
q**j
发帖数: 10612 | 3 这个和data mining有区别么？另外那些比较fancy的比如least angle regression比
ridge和lasso实战中强么？有没有那种方法可以scientific的现在penalty的强弱。多
谢。
【在 q*****q 的大作中提到】
: 貌似是cross validation...
|
l***a
发帖数: 12410 | 4 LAR和LASSO区别在哪？
【在 q**j 的大作中提到】
: 这个和data mining有区别么？另外那些比较fancy的比如least angle regression比
: ridge和lasso实战中强么？有没有那种方法可以scientific的现在penalty的强弱。多
: 谢。
|
q**j
发帖数: 10612 | |
c*****r
发帖数: 156 | 6 那也要grid search不同的lambda值，然后分别对每个值做cross validation？
【在 q**j 的大作中提到】
: 这个和data mining有区别么？另外那些比较fancy的比如least angle regression比
: ridge和lasso实战中强么？有没有那种方法可以scientific的现在penalty的强弱。多
: 谢。
|
A*******s
发帖数: 3942 | 7 u can do grid search with cross validation but seems LAR approach is more
efficient (Efron et al. (2004))
【在 c*****r 的大作中提到】
: 请问一下lasso里面该怎样选取penalty前面的参数lambda呢？参数选取的不同直接导致
: 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么？
: 谢谢！
|
c*****r
发帖数: 156 | 8 谢谢精算兄～
不过LAR给出的lambda也不是一个确定的值吧（就是Efron paper里面的t值），不同的t
值给予的constraint也不一样。我就是想问怎么确定这个t的值。
【在 A*******s 的大作中提到】
: u can do grid search with cross validation but seems LAR approach is more
: efficient (Efron et al. (2004))
|
A*******s
发帖数: 3942 | 9 cv is normally used for choosing the best tuning parameter. or AIC and BIC/
SBC if sample size is sufficient.
的t
【在 c*****r 的大作中提到】
: 谢谢精算兄～
: 不过LAR给出的lambda也不是一个确定的值吧（就是Efron paper里面的t值），不同的t
: 值给予的constraint也不一样。我就是想问怎么确定这个t的值。
|
g********r
发帖数: 8017 | 10 好像有generalized CV不用反复算。
的t
【在 c*****r 的大作中提到】
: 谢谢精算兄～
: 不过LAR给出的lambda也不是一个确定的值吧（就是Efron paper里面的t值），不同的t
: 值给予的constraint也不一样。我就是想问怎么确定这个t的值。
|
|
|
q*****q
发帖数: 158 | 11 惭愧啊，我没有在实际数据上用过这些，LAR也只是非常肤浅的读过。大概知道lasso的
好处就是如果某个量的影响非常小，直接coefficient就变0了。可以看看Hastie,
Tibshirani and Friedman的那本statistical learning的书，上面的解释和评论都挺
好的。
【在 q**j 的大作中提到】
: 这个和data mining有区别么？另外那些比较fancy的比如least angle regression比
: ridge和lasso实战中强么？有没有那种方法可以scientific的现在penalty的强弱。多
: 谢。
|
d******e
发帖数: 7844 | 12 之所以叫他tuning parameter就是因为要tune啊。基本都是基于grid search来做的。
选择lambda的方法有很多，根据目的不同（prediction或者model selection）选择方
式也不同。
除了Cross validation外还有Extended BIC，Stability Selection，StARS等等。
【在 c*****r 的大作中提到】
: 请问一下lasso里面该怎样选取penalty前面的参数lambda呢？参数选取的不同直接导致
: 了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么？
: 谢谢！
|
d******e
发帖数: 7844 | 13 LARS就是一个只进不出版本的Lasso
【在 l***a 的大作中提到】
: LAR和LASSO区别在哪？
|
d******e
发帖数: 7844 | 14 LARS已经过时很久了，现在都是glmnet，用coordinate descent
【在 A*******s 的大作中提到】
: u can do grid search with cross validation but seems LAR approach is more
: efficient (Efron et al. (2004))
|
q**j
发帖数: 10612 | 15 新品种的提高如何？有没有实战中用过，尤其在forecast的环境下。
【在 d******e 的大作中提到】
: LARS已经过时很久了，现在都是glmnet，用coordinate descent
|
d******e
发帖数: 7844 | 16 glmnet非常快。R里有现成的package，你直接用就行了。
【在 q**j 的大作中提到】
: 新品种的提高如何？有没有实战中用过，尤其在forecast的环境下。
|
A*******s
发帖数: 3942 | 17 lazy SAS still uses LAR in its newest glmselect...
【在 d******e 的大作中提到】
: LARS已经过时很久了，现在都是glmnet，用coordinate descent
|
q**j
发帖数: 10612 | 18 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验，理论
上非常fancy的东西有时候实际提高很少。
【在 d******e 的大作中提到】
: glmnet非常快。R里有现成的package，你直接用就行了。
|
B******5
发帖数: 4676 | 19 这个的提高还是很明显的，比LARS快很多
【在 q**j 的大作中提到】
: 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验，理论
: 上非常fancy的东西有时候实际提高很少。
|
B******5
发帖数: 4676 | 20 这个有reference么？我的理解GCV也要grid search的
【在 g********r 的大作中提到】
: 好像有generalized CV不用反复算。
:
: 的t
|
|
|
g********r
发帖数: 8017 | 21 我自己没用过。听来的。
【在 B******5 的大作中提到】
: 这个有reference么？我的理解GCV也要grid search的
|
o****o
发帖数: 8077 | 22 used GLMNET in some binary classification cases
consistently beat SVM, ridged DA, logistic regression and ensembled Flexible
Discriminant Analysis
just my own experience
【在 q**j 的大作中提到】
: 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验，理论
: 上非常fancy的东西有时候实际提高很少。
|
d******e
发帖数: 7844 | 23 没有一个方法能保证general性能的，你自己试试看才知道。
绝大部分情况，Lasso都无法beat forward selection
【在 q**j 的大作中提到】
: 我是说在降低mse和mean forecast error的条件下。多谢了。因为我有一些经验，理论
: 上非常fancy的东西有时候实际提高很少。
|
d******e
发帖数: 7844 | 24 gcv不用算k次，性能近似于Leave one out。但一样得tune。
【在 g********r 的大作中提到】
: 我自己没用过。听来的。
|
d******e
发帖数: 7844 | 25 你的数据肯定是个别情况... ...
L1-regularized logistic regression的性能也就那么回事。
Flexible
【在 o****o 的大作中提到】
: used GLMNET in some binary classification cases
: consistently beat SVM, ridged DA, logistic regression and ensembled Flexible
: Discriminant Analysis
: just my own experience
|
o****o
发帖数: 8077 | 26 这个没得啥general rules，我都是用一堆方法，然后average
【在 d******e 的大作中提到】
: 你的数据肯定是个别情况... ...
: L1-regularized logistic regression的性能也就那么回事。
:
: Flexible
|
l*********s
发帖数: 5409 | 27 whoo, impressive!
Flexible
【在 o****o 的大作中提到】
: used GLMNET in some binary classification cases
: consistently beat SVM, ridged DA, logistic regression and ensembled Flexible
: Discriminant Analysis
: just my own experience
|
d******e
发帖数: 7844 | 28 Penalized models其实还处于自娱自乐的阶段，大家更care simulation和theory。
实际用起来，很多情况下都得不到sparse解，做prediction性能也不行。
【在 o****o 的大作中提到】
: 这个没得啥general rules，我都是用一堆方法，然后average
|
o****o
发帖数: 8077 | 29 beat SVM 我还是比较impressed，beat其他几个我觉得应该正常
【在 l*********s 的大作中提到】
: whoo, impressive!
:
: Flexible
|
o****o
发帖数: 8077 | 30 那如果我先做basis expansion再用penalized models？
【在 d******e 的大作中提到】
: Penalized models其实还处于自娱自乐的阶段，大家更care simulation和theory。
: 实际用起来，很多情况下都得不到sparse解，做prediction性能也不行。
|
|
|
F****n
发帖数: 3271 | 31 What do you mean by "beat"? Better accuracy? Generalizabiblity?
For a two-class case, if the data points can be separated by polynomials
then regression can always "beat" SVM. glmnet is regression.
【在 o****o 的大作中提到】
: beat SVM 我还是比较impressed，beat其他几个我觉得应该正常
|
n*****n
发帖数: 3123 | 32 SVM may use some non-linear kernels. I don't think your statement is right.
【在 F****n 的大作中提到】
: What do you mean by "beat"? Better accuracy? Generalizabiblity?
: For a two-class case, if the data points can be separated by polynomials
: then regression can always "beat" SVM. glmnet is regression.
|
F****n
发帖数: 3271 | 33 Obviously, you don't understand what I say.
SVM's non-linearity != Polynomials
SVM is superior because it handles more complex non-linearity with greater
generalizability.
If you only look at predication accuracy SVM will be "beaten" by a lot of
methods. But that's nonsense.
【在 n*****n 的大作中提到】
: SVM may use some non-linear kernels. I don't think your statement is right.
|
n*****n
发帖数: 3123 | 34 Again, I don't think you are right.
If as you said, there is no need for SVM. Prediction accuracy is the most
important for classification.
【在 F****n 的大作中提到】
: Obviously, you don't understand what I say.
: SVM's non-linearity != Polynomials
: SVM is superior because it handles more complex non-linearity with greater
: generalizability.
: If you only look at predication accuracy SVM will be "beaten" by a lot of
: methods. But that's nonsense.
|
d******e
发帖数: 7844 | 35
～～～～～这个取决于你用什么Kernel，Polynomial kenerl的功能就和你这个类似，
呵呵。
～～～～～知道为什么现在SVM没有以前那么火了么？因为其他的方法一样可以通过
regularization来实现控制model complexity。至少目前来说，SVM比起Kernelized
logistic regression没有任何优势。
～～～～～不看prediction accuracy看什么？
right.
【在 F****n 的大作中提到】
: Obviously, you don't understand what I say.
: SVM's non-linearity != Polynomials
: SVM is superior because it handles more complex non-linearity with greater
: generalizability.
: If you only look at predication accuracy SVM will be "beaten" by a lot of
: methods. But that's nonsense.
|
o****o
发帖数: 8077 | 36 for the binary case, by 'beat' I mean high AUC with low MSE(AUC) on CV
what is your definition for Accuracy and Generalizability?
【在 F****n 的大作中提到】
: What do you mean by "beat"? Better accuracy? Generalizabiblity?
: For a two-class case, if the data points can be separated by polynomials
: then regression can always "beat" SVM. glmnet is regression.
|
D******n
发帖数: 2836 | 37 co-ask,
what else to look at?
【在 d******e 的大作中提到】
:
: ～～～～～这个取决于你用什么Kernel，Polynomial kenerl的功能就和你这个类似，
: 呵呵。
: ～～～～～知道为什么现在SVM没有以前那么火了么？因为其他的方法一样可以通过
: regularization来实现控制model complexity。至少目前来说，SVM比起Kernelized
: logistic regression没有任何优势。
: ～～～～～不看prediction accuracy看什么？
: right.
|
n*****n
发帖数: 3123 | 38 Yes. I don't think he has clear understanding on accuracy and generalization.
【在 o****o 的大作中提到】
: for the binary case, by 'beat' I mean high AUC with low MSE(AUC) on CV
: what is your definition for Accuracy and Generalizability?
|
