A*******e
发帖数: 284 | 1 机器学习里面最基本的线性回归问题。
在统计里面的线性回归中的参数都可以通过数学公式计算出来的，如y = wX + b中的w
和b都是可以用给定的数据计算出来的。
为什么在机器学习中，面对这个问题还要慢慢梯度降低而得到这两个值，为啥不直接计
算一下出来呢。
2016最后一问，祝大家新年快乐！ |
w***g
发帖数: 5958 | 2 可以用close-form解直接算, 但是必须要注意加regularization项.
但close-form解局限性很大, 比如一改成hinge-loss就不干活了. 而
基本形式的LR碰到实际问题很少能做得过别的更复杂的方法.
之所以老能看到用梯度法解LR, 因为LR老是被作为toy example来验证
梯度法框架的正确性, 或者被作为toy example来解释梯度法框架的用
法. 如果你真觉得有人在实战中用LR, 那你就输了.
w
【在 A*******e 的大作中提到】
: 机器学习里面最基本的线性回归问题。
: 在统计里面的线性回归中的参数都可以通过数学公式计算出来的，如y = wX + b中的w
: 和b都是可以用给定的数据计算出来的。
: 为什么在机器学习中，面对这个问题还要慢慢梯度降低而得到这两个值，为啥不直接计
: 算一下出来呢。
: 2016最后一问，祝大家新年快乐！
|
C**********t
发帖数: 24 | 3 实际问题会涉及p个feature n个data points. 写成ordinary least squares problem
是有closed form解的，但是即便是用numerical linear algebra中解least squares的
算法求解，也不是直接implement那个closed form解，而是先做矩阵分解(qr,svd,
choleski)再求解线性方程组。具体的计算过程也是iterative的而且也会涉及各种误差。
w
【在 A*******e 的大作中提到】
: 机器学习里面最基本的线性回归问题。
: 在统计里面的线性回归中的参数都可以通过数学公式计算出来的，如y = wX + b中的w
: 和b都是可以用给定的数据计算出来的。
: 为什么在机器学习中，面对这个问题还要慢慢梯度降低而得到这两个值，为啥不直接计
: 算一下出来呢。
: 2016最后一问，祝大家新年快乐！
|
e*********6
发帖数: 3453 | 4 分析解是big o n3，太慢了，小数据集还行，大的太慢
w
【在 A*******e 的大作中提到】
: 机器学习里面最基本的线性回归问题。
: 在统计里面的线性回归中的参数都可以通过数学公式计算出来的，如y = wX + b中的w
: 和b都是可以用给定的数据计算出来的。
: 为什么在机器学习中，面对这个问题还要慢慢梯度降低而得到这两个值，为啥不直接计
: 算一下出来呢。
: 2016最后一问，祝大家新年快乐！
|
a*****a
发帖数: 19262 | 5 我的理解，当data points和features没有足够多的情况，那直接用NORM equation解没
问题（data points >> # of features)
但是，如果数据量大的化，close form解起来就够呛了，或者有时候矩阵rank<# of
features也不行。
w
【在 A*******e 的大作中提到】
: 机器学习里面最基本的线性回归问题。
: 在统计里面的线性回归中的参数都可以通过数学公式计算出来的，如y = wX + b中的w
: 和b都是可以用给定的数据计算出来的。
: 为什么在机器学习中，面对这个问题还要慢慢梯度降低而得到这两个值，为啥不直接计
: 算一下出来呢。
: 2016最后一问，祝大家新年快乐！
|
