K****n
发帖数: 5970 | 1 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题？
还是map reduce吗？为啥90年代没开始? |
l***i
发帖数: 289 | 2 目前貌似没有公开，所以就算是有Googler知道，也不能说
【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题？
: 还是map reduce吗？为啥90年代没开始?
|
w***g
发帖数: 5958 | 3 关于慢慢慢的问题你能不能展开说一说?
【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题？
: 还是map reduce吗？为啥90年代没开始?
|
K****n
发帖数: 5970 | 4 也没啥好展开的，goog公开的slides上nn的layer和weights蜡样多，虽然有些
convolutional nn layer收敛可能偏快，但是总体比起来'非deep'的，比如几个
billion features的logistic regression或者其他一层的regression之类的肯定要慢
多了，假设都是用差不多的stochastic gradient method的话？
【在 w***g 的大作中提到】
: 关于慢慢慢的问题你能不能展开说一说?
|
k*******r
发帖数: 355 | 5 问题是goog 从这个neural network 的deep learning 得到了任何实际好处吗? 就纯粹
的classification或ranking而言，我看不出这个比一般的gradient boosting tree好
在哪里。 |
b******x
发帖数: 826 | 6 今年NIPS有一篇是GOOGLE的RANZATO组的，讲他们那个上NY TIMES的neural network的
优化
【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题？
: 还是map reduce吗？为啥90年代没开始?
|
w***f
发帖数: 903 | 7 Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现（
或者应该说被重新发现），突然又让人看到希望了。这次的Deep Learning 实际上是和
当年那个一个隐层就够了的精彩证明对掐。问题是，你看到了Deep Learning背后有一
样solid的数学工作吗？反正我是没看见。
【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题？
: 还是map reduce吗？为啥90年代没开始?
|
K****n
发帖数: 5970 | 8 deep learning比tree总的来说慢很多，算是个对infastructure优化的driving force
，不过这么说是因果倒置的。
你说的对，确实理论上nn比各种tree没啥优势。。。除非deep learning的理论／直觉
是对的－－当deep structure和“真实”的structure相近的时候，learning会快速而
且prediction会更准确。
【在 k*******r 的大作中提到】
: 问题是goog 从这个neural network 的deep learning 得到了任何实际好处吗? 就纯粹
: 的classification或ranking而言，我看不出这个比一般的gradient boosting tree好
: 在哪里。
|
K****n
发帖数: 5970 | 9 谢指点。搜到了。Ranzato是Hinton的人，难怪
【在 b******x 的大作中提到】
: 今年NIPS有一篇是GOOGLE的RANZATO组的，讲他们那个上NY TIMES的neural network的
: 优化
|
K****n
发帖数: 5970 | 10 谢指点。。
我看过一些论述式的“证明”，一般是作者都说是argument。solid的数学工作确实没
看到。我想跳坑也是有心无力，只是对分布式系统搞大规模计算觉得挺酷
【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现（
: 或者应该说被重新发现），突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是，你看到了Deep Learning背后有一
: 样solid的数学工作吗？反正我是没看见。
|
|
|
B***i
发帖数: 724 | 11 有人说deep learning 把所有的machine learning问题的准确率提高一大截。 大侠对
这个怎么看？
【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现（
: 或者应该说被重新发现），突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是，你看到了Deep Learning背后有一
: 样solid的数学工作吗？反正我是没看见。
|
C*********e
发帖数: 587 | 12 同意，嗯嗯
Deep learning本质上和statistical learning theory这一套框架是不一样的，并没有
什么太多理论的基础（虽然SLT那套理论不一样是真理）。主要都在框架设计和计算上
（得益于现在计算能力的增强）
有时候会想，如果弄一套和DNN复杂程度类似的框架（要有unsupervised feature
pruning），然后针对每个数据集狂调参数，是不是加以时日，也能够在每个数据集上
得到非常好的结果呢？
【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现（
: 或者应该说被重新发现），突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是，你看到了Deep Learning背后有一
: 样solid的数学工作吗？反正我是没看见。
|
w***f
发帖数: 903 | 13 我连小虾都算不上，算是抛砖引玉吧。
我记得在垃圾邮件识别里有一种算法是识别关键词， 几个特定的关键词一出现，命中
率就很高了。 在计算机领域， “所有” 和 “一大截” 两个关键词一起出现的时候
， 多半是不靠谱的忽悠。
【在 B***i 的大作中提到】
: 有人说deep learning 把所有的machine learning问题的准确率提高一大截。 大侠对
: 这个怎么看？
|
w*******d
发帖数: 761 | 14 “当年那个一个隐层就够了的精彩证明”是哪个参考文献呢？
【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现（
: 或者应该说被重新发现），突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是，你看到了Deep Learning背后有一
: 样solid的数学工作吗？反正我是没看见。
|
w***f
发帖数: 903 | 15 如果我没有记错的话应该是
Hornik 的
multilayer feedforward networks are universal approximators
【在 w*******d 的大作中提到】
: “当年那个一个隐层就够了的精彩证明”是哪个参考文献呢？
|
