f*******n
发帖数: 2665 | 1 我一直用SAS,但SAS里没有SVM, 所以我想用R中的SVM做个predictive model. 如果结果
好, 有没有可能建成scorecard并用在其他平台上?因为我们需要real time scoring,
而且我们不可能用R做scoring. |
d******e
发帖数: 7844 | 2 SAS里有SVM。
http://support.sas.com/documentation/cdl/en/whatsnew/64209/HTML
SVM和带Ridge Penaly的Logistic Regression没有什么本质区别，所以可以试试下面的
实现方法。
http://www.sas-programming.com/2010/09/regularized-discriminant
上面这个是我找到的，我不用SAS，所以也不保证是对的。
【在 f*******n 的大作中提到】
: 我一直用SAS,但SAS里没有SVM, 所以我想用R中的SVM做个predictive model. 如果结果
: 好, 有没有可能建成scorecard并用在其他平台上?因为我们需要real time scoring,
: 而且我们不可能用R做scoring.
|
s******n
发帖数: 189 | 3 :)
你是说"SVM和带Ridge Penaly的Logistic Regression"的优化问题没有什么区别？
SVM中的优化问题是带线性约束，目标函数有一项Ridge Penalty和一项关于松弛因子的。
带Ridge Penaly的Logistic Regression的优化问题是基于MLE的吗？
有什么书或者文献？谢！
【在 d******e 的大作中提到】
: SAS里有SVM。
: http://support.sas.com/documentation/cdl/en/whatsnew/64209/HTML
: SVM和带Ridge Penaly的Logistic Regression没有什么本质区别，所以可以试试下面的
: 实现方法。
: http://www.sas-programming.com/2010/09/regularized-discriminant
: 上面这个是我找到的，我不用SAS，所以也不保证是对的。
|
d******e
发帖数: 7844 | 4 Logistic Regression用的是Logistic loss，形状上和SVM的Hinge Loss区别不算大，
所以实际表现区别也不太大。
至于你说的SVM带线性约束，不过是一种reparametrization，因为hinge loss可以用
piece-wise linear function来表示。
讲这两种loss的共同点和区别的文章网上有很多：
https://www.google.com/search?q=hinge+loss+logistic+loss&safe=off&espv=210&
es_sm=91&source=lnms&sa=X&ei=ual-UorQKMzl4APQzYCABA&ved=0CAYQ_AUoAA&biw=1525
&bih=864&dpr=2
Logistic Regression好处是完全Model-based，所以优化问题就是一个MLE，解释起来
容易，可以直接输出后验概率。
SVM的概率输出就像对麻烦很多，而且基本也是在模拟Logistic Regression，虽然是
Hinge Loss比Logistic Loss对Outlier来说更robust，但是在real data上，我很小看
到SVM比Logistic Regression性能有提高。
的。
【在 s******n 的大作中提到】
: :)
: 你是说"SVM和带Ridge Penaly的Logistic Regression"的优化问题没有什么区别？
: SVM中的优化问题是带线性约束，目标函数有一项Ridge Penalty和一项关于松弛因子的。
: 带Ridge Penaly的Logistic Regression的优化问题是基于MLE的吗？
: 有什么书或者文献？谢！
|
o****o
发帖数: 8077 | 5 drburnie说的可以看这篇论文，讲得比较详细：
Zhang et al, “Modi ed Logistic Regression: An Approximation to SVM and Its
Applications in Large-Scale Text Categorization”， ICML-2003
的。
【在 s******n 的大作中提到】
: :)
: 你是说"SVM和带Ridge Penaly的Logistic Regression"的优化问题没有什么区别？
: SVM中的优化问题是带线性约束，目标函数有一项Ridge Penalty和一项关于松弛因子的。
: 带Ridge Penaly的Logistic Regression的优化问题是基于MLE的吗？
: 有什么书或者文献？谢！
|
w********m
发帖数: 1137 | 6 大牛，能讲讲SVM for regression与一般regression的优缺点吗?
1525
【在 d******e 的大作中提到】
: Logistic Regression用的是Logistic loss，形状上和SVM的Hinge Loss区别不算大，
: 所以实际表现区别也不太大。
: 至于你说的SVM带线性约束，不过是一种reparametrization，因为hinge loss可以用
: piece-wise linear function来表示。
: 讲这两种loss的共同点和区别的文章网上有很多：
: https://www.google.com/search?q=hinge+loss+logistic+loss&safe=off&espv=210&
: es_sm=91&source=lnms&sa=X&ei=ual-UorQKMzl4APQzYCABA&ved=0CAYQ_AUoAA&biw=1525
: &bih=864&dpr=2
: Logistic Regression好处是完全Model-based，所以优化问题就是一个MLE，解释起来
: 容易，可以直接输出后验概率。
|
d******e
发帖数: 7844 | 7 我一直觉得SVR不算啥好东西，比Regularized LAD Regression没啥太多优势，还多一
个调节参数。
目前没发现有啥明显优点。
【在 w********m 的大作中提到】
: 大牛，能讲讲SVM for regression与一般regression的优缺点吗?
:
: 1525
|
D******n
发帖数: 2836 | 8 写文章。
【在 d******e 的大作中提到】
: 我一直觉得SVR不算啥好东西，比Regularized LAD Regression没啥太多优势，还多一
: 个调节参数。
: 目前没发现有啥明显优点。
|
