L****8
发帖数: 3938 | | L****8
发帖数: 3938 | | a***y
发帖数: 852 | 3 HMAX就是这么想的，结果十几年了还是没搞成气候
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
| w***g
发帖数: 5958 | 4 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
deep learning的template matching就是内积+threshold, 可以认为是最最最土的
template matching. 传统的template matching算法往往比这个复杂, 而且也更
robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
那个或许能匹配上. 以上不是关键.
deep learning牛x的地方是能够训练这些template, 而且是:
1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
(注意不是全剧最优解. 不管是全局问题还是局部问题, 往往都得不到最优解.
但是全局次优解也比一堆局部次优解拼起来强.)
2. 能够对着最终的measurement of sucess做discriminative training.
很多传统方法依赖于建模. 比如目标是X, 然后科学家拍脑子想象, 如果优化了Y
应该也能优化X, 然后对着Y去优化. 科学家拍脑子这个往往在理论上正确, 但是
实际上会有缺陷. 一般科学家的方法往往是现实问题的简化版, 只能处理90%的
情况. 如果有好多步, 每一步都只有90%, 那最终结果肯定不会太好.
比如deep learning之前的主流算法SIFT + spatial pyramid + SVM, 其实
也是一个多层算法:
1 SIFT: 这个本身可以看成一个三层网络. 只不过所有参数都是算法写死的.
不能train.
2. k-means clustering算visual word: 这一步是sparse coding, 有几个
cluster就有几个模版. 这个模版是根据clustering目标算出来的, 跟最终
accuracy没有直接关系.
3. spatial pyramid + SVM: 这个才是discriminative training. 但是到
这一步, 很多可能有用的原始图像信息已经被前两步干掉了.
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
| c*******9
发帖数: 9032 | 5 这个讲的清楚。
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
| k****f
发帖数: 3794 | 6 最近流行的resnet，实在是太有用了，可以train很多层的网络，deep learning这种暴
力使用gpu算东西，还是非常强大的，
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
| r******y
发帖数: 3838 | 7 一锅子训练的论文是哪篇？看初级教材没看到这个。
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
| w***g
发帖数: 5958 | 8 没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
如果直接就是学的CNN, 可能觉得事情本来就应该这样.
上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
【在 r******y 的大作中提到】
: 一锅子训练的论文是哪篇？看初级教材没看到这个。
:
: matching.
| c*******9
发帖数: 9032 | 9 cnn看起来很直观，不知道为什么出来这么晚。
【在 w***g 的大作中提到】
: 没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
: 如果直接就是学的CNN, 可能觉得事情本来就应该这样.
: 上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
| w***g
发帖数: 5958 | 10 LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
只不过在之前的数据量和硬件上发挥不出威力.
搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
这一波其实是重新包装了一下而已, 理论没多大发展.
【在 c*******9 的大作中提到】
: cnn看起来很直观，不知道为什么出来这么晚。
| L****8
发帖数: 3938 | 11 CNN 最近被打脸了 pia pia的
http://www.evolvingai.org/fooling
【在 w***g 的大作中提到】
: LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
: 这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
: 所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
: 训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
: 只不过在之前的数据量和硬件上发挥不出威力.
: 搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
: 这一波其实是重新包装了一下而已, 理论没多大发展.
| w***g
发帖数: 5958 | 12 这有啥奇怪的. 这么大的参数空间, 可不就随便找碴吗.
machine learning最基本的假设: testing data和training data
从同样的概率分布采样. 如果这条假设不能保证, 任何
machine learning都无从谈起.
【在 L****8 的大作中提到】
: CNN 最近被打脸了 pia pia的
: http://www.evolvingai.org/fooling
|
|
