由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
CS版 - google有没有公开自己的deep learning infrastructure?
相关主题
这里有人研究神经网络的吗?有没有人讨论一下deep learning,关于自动识别猫的算法
NIPS score 得多少才会被接受?怎么办?无可救药的爱上了Artificial Intelligence
Scientists See Promise in Deep-Learning Programs请教machine learning 哪个方向比较有前途?
本版machine learning的专家[转载]我知道的几个人工智能会议(一二三流)(revised)
除了multi-agent还有什么别的model?请教offer选择,machine learning方向
现在人工智能哪些方向有钱途UW recruits superstars of computer-science world
有人看andrew Ng 做的deep learning 这一块吗谁知道NIPS的录用率大致如何?
选方向Deep Learning vs Machine Tranlation vs IRA strong guy
相关话题的讨论汇总
话题: learning话题: deep话题: google话题: 公开
进入CS版参与讨论
1 (共1页)
K****n
发帖数: 5970
1
上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题?
还是map reduce吗?为啥90年代没开始?
l***i
发帖数: 289
2
目前貌似没有公开,所以就算是有Googler知道,也不能说

【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题?
: 还是map reduce吗?为啥90年代没开始?

w***g
发帖数: 5958
3
关于慢慢慢的问题你能不能展开说一说?

【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题?
: 还是map reduce吗?为啥90年代没开始?

K****n
发帖数: 5970
4
也没啥好展开的,goog公开的slides上nn的layer和weights蜡样多,虽然有些
convolutional nn layer收敛可能偏快,但是总体比起来'非deep'的,比如几个
billion features的logistic regression或者其他一层的regression之类的肯定要慢
多了,假设都是用差不多的stochastic gradient method的话?

【在 w***g 的大作中提到】
: 关于慢慢慢的问题你能不能展开说一说?
k*******r
发帖数: 355
5
问题是goog 从这个neural network 的deep learning 得到了任何实际好处吗? 就纯粹
的classification或ranking而言,我看不出这个比一般的gradient boosting tree好
在哪里。
b******x
发帖数: 826
6
今年NIPS有一篇是GOOGLE的RANZATO组的,讲他们那个上NY TIMES的neural network的
优化

【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题?
: 还是map reduce吗?为啥90年代没开始?

w***f
发帖数: 903
7
Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现(
或者应该说被重新发现),突然又让人看到希望了。这次的Deep Learning 实际上是和
当年那个一个隐层就够了的精彩证明对掐。问题是,你看到了Deep Learning背后有一
样solid的数学工作吗?反正我是没看见。

【在 K****n 的大作中提到】
: 上次有讨论说neural network咸鱼翻身。不知道goog怎么解决这个慢慢慢的问题?
: 还是map reduce吗?为啥90年代没开始?

K****n
发帖数: 5970
8
deep learning比tree总的来说慢很多,算是个对infastructure优化的driving force
,不过这么说是因果倒置的。
你说的对,确实理论上nn比各种tree没啥优势。。。除非deep learning的理论/直觉
是对的--当deep structure和“真实”的structure相近的时候,learning会快速而
且prediction会更准确。

【在 k*******r 的大作中提到】
: 问题是goog 从这个neural network 的deep learning 得到了任何实际好处吗? 就纯粹
: 的classification或ranking而言,我看不出这个比一般的gradient boosting tree好
: 在哪里。

K****n
发帖数: 5970
9
谢指点。搜到了。Ranzato是Hinton的人,难怪

【在 b******x 的大作中提到】
: 今年NIPS有一篇是GOOGLE的RANZATO组的,讲他们那个上NY TIMES的neural network的
: 优化

K****n
发帖数: 5970
10
谢指点。。
我看过一些论述式的“证明”,一般是作者都说是argument。solid的数学工作确实没
看到。我想跳坑也是有心无力,只是对分布式系统搞大规模计算觉得挺酷

【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现(
: 或者应该说被重新发现),突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是,你看到了Deep Learning背后有一
: 样solid的数学工作吗?反正我是没看见。

相关主题
现在人工智能哪些方向有钱途有没有人讨论一下deep learning,关于自动识别猫的算法
有人看andrew Ng 做的deep learning 这一块吗怎么办?无可救药的爱上了Artificial Intelligence
选方向Deep Learning vs Machine Tranlation vs IR请教machine learning 哪个方向比较有前途?
进入CS版参与讨论
B***i
发帖数: 724
11
有人说deep learning 把所有的machine learning问题的准确率提高一大截。 大侠对
这个怎么看?

【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现(
: 或者应该说被重新发现),突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是,你看到了Deep Learning背后有一
: 样solid的数学工作吗?反正我是没看见。

C*********e
发帖数: 587
12
同意,嗯嗯
Deep learning本质上和statistical learning theory这一套框架是不一样的,并没有
什么太多理论的基础(虽然SLT那套理论不一样是真理)。主要都在框架设计和计算上
(得益于现在计算能力的增强)
有时候会想,如果弄一套和DNN复杂程度类似的框架(要有unsupervised feature
pruning),然后针对每个数据集狂调参数,是不是加以时日,也能够在每个数据集上
得到非常好的结果呢?

【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现(
: 或者应该说被重新发现),突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是,你看到了Deep Learning背后有一
: 样solid的数学工作吗?反正我是没看见。

w***f
发帖数: 903
13
我连小虾都算不上,算是抛砖引玉吧。
我记得在垃圾邮件识别里有一种算法是识别关键词, 几个特定的关键词一出现,命中
率就很高了。 在计算机领域, “所有” 和 “一大截” 两个关键词一起出现的时候
, 多半是不靠谱的忽悠。

【在 B***i 的大作中提到】
: 有人说deep learning 把所有的machine learning问题的准确率提高一大截。 大侠对
: 这个怎么看?

w*******d
发帖数: 761
14
“当年那个一个隐层就够了的精彩证明”是哪个参考文献呢?

【在 w***f 的大作中提到】
: Deep Learning 这个坑我劝你能不跳就不跳。 Neural Networks 历史上的几次大的起
: 伏都是数学上的工作引发的。 那本perceptron一下就压住它几十年。BP算法的出现(
: 或者应该说被重新发现),突然又让人看到希望了。这次的Deep Learning 实际上是和
: 当年那个一个隐层就够了的精彩证明对掐。问题是,你看到了Deep Learning背后有一
: 样solid的数学工作吗?反正我是没看见。

w***f
发帖数: 903
15
如果我没有记错的话应该是
Hornik 的
multilayer feedforward networks are universal approximators

【在 w*******d 的大作中提到】
: “当年那个一个隐层就够了的精彩证明”是哪个参考文献呢?
1 (共1页)
进入CS版参与讨论
相关主题
A strong guy除了multi-agent还有什么别的model?
[转载]我知道的几个机器学习会议现在人工智能哪些方向有钱途
Neural Networks 求助有人看andrew Ng 做的deep learning 这一块吗
请教CV的顶级会议有哪几个?选方向Deep Learning vs Machine Tranlation vs IR
这里有人研究神经网络的吗?有没有人讨论一下deep learning,关于自动识别猫的算法
NIPS score 得多少才会被接受?怎么办?无可救药的爱上了Artificial Intelligence
Scientists See Promise in Deep-Learning Programs请教machine learning 哪个方向比较有前途?
本版machine learning的专家[转载]我知道的几个人工智能会议(一二三流)(revised)
相关话题的讨论汇总
话题: learning话题: deep话题: google话题: 公开