A*******e 发帖数: 284 | 1 机器学习里面最基本的线性回归问题。
在统计里面的线性回归中的参数都可以通过数学公式计算出来的,如y = wX + b中的w
和b都是可以用给定的数据计算出来的。
为什么在机器学习中,面对这个问题还要慢慢梯度降低而得到这两个值,为啥不直接计
算一下出来呢。
2016最后一问,祝大家新年快乐! |
w***g 发帖数: 5958 | 2 可以用close-form解直接算, 但是必须要注意加regularization项.
但close-form解局限性很大, 比如一改成hinge-loss就不干活了. 而
基本形式的LR碰到实际问题很少能做得过别的更复杂的方法.
之所以老能看到用梯度法解LR, 因为LR老是被作为toy example来验证
梯度法框架的正确性, 或者被作为toy example来解释梯度法框架的用
法. 如果你真觉得有人在实战中用LR, 那你就输了.
w
【在 A*******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 机器学习里面最基本的线性回归问题。 : 在统计里面的线性回归中的参数都可以通过数学公式计算出来的,如y = wX + b中的w : 和b都是可以用给定的数据计算出来的。 : 为什么在机器学习中,面对这个问题还要慢慢梯度降低而得到这两个值,为啥不直接计 : 算一下出来呢。 : 2016最后一问,祝大家新年快乐!
|
C**********t 发帖数: 24 | 3 实际问题会涉及p个feature n个data points. 写成ordinary least squares problem
是有closed form解的,但是即便是用numerical linear algebra中解least squares的
算法求解,也不是直接implement那个closed form解,而是先做矩阵分解(qr,svd,
choleski)再求解线性方程组。具体的计算过程也是iterative的而且也会涉及各种误差。
w
【在 A*******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 机器学习里面最基本的线性回归问题。 : 在统计里面的线性回归中的参数都可以通过数学公式计算出来的,如y = wX + b中的w : 和b都是可以用给定的数据计算出来的。 : 为什么在机器学习中,面对这个问题还要慢慢梯度降低而得到这两个值,为啥不直接计 : 算一下出来呢。 : 2016最后一问,祝大家新年快乐!
|
e*********6 发帖数: 3453 | 4 分析解是big o n3,太慢了,小数据集还行,大的太慢
w
【在 A*******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 机器学习里面最基本的线性回归问题。 : 在统计里面的线性回归中的参数都可以通过数学公式计算出来的,如y = wX + b中的w : 和b都是可以用给定的数据计算出来的。 : 为什么在机器学习中,面对这个问题还要慢慢梯度降低而得到这两个值,为啥不直接计 : 算一下出来呢。 : 2016最后一问,祝大家新年快乐!
|
a*****a 发帖数: 19262 | 5 我的理解,当data points和features没有足够多的情况,那直接用NORM equation解没
问题(data points >> # of features)
但是,如果数据量大的化,close form解起来就够呛了,或者有时候矩阵rank<# of
features也不行。
w
【在 A*******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 机器学习里面最基本的线性回归问题。 : 在统计里面的线性回归中的参数都可以通过数学公式计算出来的,如y = wX + b中的w : 和b都是可以用给定的数据计算出来的。 : 为什么在机器学习中,面对这个问题还要慢慢梯度降低而得到这两个值,为啥不直接计 : 算一下出来呢。 : 2016最后一问,祝大家新年快乐!
|