T*******x 发帖数: 8565 | 1 只要开始认真思考learning的过程,就算入门了。大家说说吧? |
P**T 发帖数: 2274 | 2 感觉是Deep Q Learning走不下去了,但普通的Deep Learning做做识别和预测还行 |
s*****t 发帖数: 987 | 3
为什么 deep reinforcement learning 走不下去了呢? 是很难收敛?
【在 P**T 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 感觉是Deep Q Learning走不下去了,但普通的Deep Learning做做识别和预测还行
|
P**T 发帖数: 2274 | 4 主要是还没有办法完全模拟人类的意识,还是靠暴力计算为主
【在 s*****t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 为什么 deep reinforcement learning 走不下去了呢? 是很难收敛?
|
T*******x 发帖数: 8565 | 5 deep learning网络结构还在大幅度调整,离固定下来还早。
【在 P**T 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 主要是还没有办法完全模拟人类的意识,还是靠暴力计算为主
|
T*******x 发帖数: 8565 | 6 convolutional neural networks对图像的前端处理基本已经够用了,关键还是后面的
概念符号处理。我感觉。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 只要开始认真思考learning的过程,就算入门了。大家说说吧?
|
w********2 发帖数: 632 | 7 其实学了康德哲学就知道,没有任何前期知识结构的unbiased ml是不存在的,人也有a
prior的知识结构,只不过不容易被一般人察觉罢了。
biased ml还是好做的,主要是库要全要大。李飞飞没那个图库,她后来啥也干不了。 |
T*******x 发帖数: 8565 | 8 是的,不存在没有任何前期知识结构的学习,可以这么说。
婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后
继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。
这跟目前的supervised learning很不同。
有a
【在 w********2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 其实学了康德哲学就知道,没有任何前期知识结构的unbiased ml是不存在的,人也有a : prior的知识结构,只不过不容易被一般人察觉罢了。 : biased ml还是好做的,主要是库要全要大。李飞飞没那个图库,她后来啥也干不了。
|
w********2 发帖数: 632 | 9 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远,可能
只有基于生物膜的电脑出来才可以接近,因为人脑本质上是模拟生物电路,不是数字电
路。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
d*****u 发帖数: 17243 | 10 任何模型都有一定的prior
比如神经网络一般会对那些weights的norm作一些限制
可以理解成对参数加了一个先验的分布
神经元的activation也就是那么几个函数(sigmoid,tanh,relu等等)
是从生物里得到的启发
如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
这个可以看成是模型的选取
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
|
|
T*******x 发帖数: 8565 | 11 有一定道理。但是我觉得数字电路模拟模拟电路,目前还不是瓶颈。还是要大规模改动
网络结构。
【在 w********2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远,可能 : 只有基于生物膜的电脑出来才可以接近,因为人脑本质上是模拟生物电路,不是数字电 : 路。
|
T*******x 发帖数: 8565 | 12 人脑天生就会做的一些事情,这个是DNA生长出来的。对,是模型的选取。当然这么说
好像有几个模型摆在那等你选,其实我们差好远。
deep learning里的神经网络其实根本不是网络,从结构形态上看,它也只是一条神经
。怎么才能真正构建一个神经网络,使一条主神经有周围的环境支持。这样比较像一个
大脑的很小的局部。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 任何模型都有一定的prior : 比如神经网络一般会对那些weights的norm作一些限制 : 可以理解成对参数加了一个先验的分布 : 神经元的activation也就是那么几个函数(sigmoid,tanh,relu等等) : 是从生物里得到的启发 : 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等 : 这个可以看成是模型的选取
|
T*******x 发帖数: 8565 | 13 概念只能是离散的。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
T*******x 发帖数: 8565 | 14 只要开始认真思考learning的过程,就算入门了。大家说说吧? |
P**T 发帖数: 2274 | 15 感觉是Deep Q Learning走不下去了,但普通的Deep Learning做做识别和预测还行 |
s*****t 发帖数: 987 | 16
为什么 deep reinforcement learning 走不下去了呢? 是很难收敛?
【在 P**T 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 感觉是Deep Q Learning走不下去了,但普通的Deep Learning做做识别和预测还行
|
P**T 发帖数: 2274 | 17 主要是还没有办法完全模拟人类的意识,还是靠暴力计算为主
【在 s*****t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 为什么 deep reinforcement learning 走不下去了呢? 是很难收敛?
|
T*******x 发帖数: 8565 | 18 deep learning网络结构还在大幅度调整,离固定下来还早。
【在 P**T 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 主要是还没有办法完全模拟人类的意识,还是靠暴力计算为主
|
T*******x 发帖数: 8565 | 19 convolutional neural networks对图像的前端处理基本已经够用了,关键还是后面的
概念符号处理。我感觉。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 只要开始认真思考learning的过程,就算入门了。大家说说吧?
|
w********2 发帖数: 632 | 20 其实学了康德哲学就知道,没有任何前期知识结构的unbiased ml是不存在的,人也有a
prior的知识结构,只不过不容易被一般人察觉罢了。
biased ml还是好做的,主要是库要全要大。李飞飞没那个图库,她后来啥也干不了。 |
|
|
T*******x 发帖数: 8565 | 21 是的,不存在没有任何前期知识结构的学习,可以这么说。
婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后
继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。
这跟目前的supervised learning很不同。
有a
【在 w********2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 其实学了康德哲学就知道,没有任何前期知识结构的unbiased ml是不存在的,人也有a : prior的知识结构,只不过不容易被一般人察觉罢了。 : biased ml还是好做的,主要是库要全要大。李飞飞没那个图库,她后来啥也干不了。
|
w********2 发帖数: 632 | 22 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远,可能
只有基于生物膜的电脑出来才可以接近,因为人脑本质上是模拟生物电路,不是数字电
路。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
d*****u 发帖数: 17243 | 23 任何模型都有一定的prior
比如神经网络一般会对那些weights的norm作一些限制
可以理解成对参数加了一个先验的分布
神经元的activation也就是那么几个函数(sigmoid,tanh,relu等等)
是从生物里得到的启发
如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
这个可以看成是模型的选取
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
T*******x 发帖数: 8565 | 24 有一定道理。但是我觉得数字电路模拟模拟电路,目前还不是瓶颈。还是要大规模改动
网络结构。
【在 w********2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远,可能 : 只有基于生物膜的电脑出来才可以接近,因为人脑本质上是模拟生物电路,不是数字电 : 路。
|
T*******x 发帖数: 8565 | 25 人脑天生就会做的一些事情,这个是DNA生长出来的。对,是模型的选取。当然这么说
好像有几个模型摆在那等你选,其实我们差好远。
deep learning里的神经网络其实根本不是网络,从结构形态上看,它也只是一条神经
。怎么才能真正构建一个神经网络,使一条主神经有周围的环境支持。这样比较像一个
大脑的很小的局部。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 任何模型都有一定的prior : 比如神经网络一般会对那些weights的norm作一些限制 : 可以理解成对参数加了一个先验的分布 : 神经元的activation也就是那么几个函数(sigmoid,tanh,relu等等) : 是从生物里得到的启发 : 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等 : 这个可以看成是模型的选取
|
T*******x 发帖数: 8565 | 26 概念只能是离散的。
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 是的,不存在没有任何前期知识结构的学习,可以这么说。 : 婴儿的学习分两个阶段,一个是大脑结构的生长,这个主要在出生前完成,当然出生后 : 继续。另一个是概念的学习模式的学习,这个在一睁开眼睛的时候就开始。 : 这跟目前的supervised learning很不同。 : : 有a
|
T*******x 发帖数: 8565 | 27 capsule谁能介绍一下?
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 任何模型都有一定的prior : 比如神经网络一般会对那些weights的norm作一些限制 : 可以理解成对参数加了一个先验的分布 : 神经元的activation也就是那么几个函数(sigmoid,tanh,relu等等) : 是从生物里得到的启发 : 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等 : 这个可以看成是模型的选取
|
b***y 发帖数: 14281 | 28 错。人脑先天就会做的事情很少。绝大多数技能都是后天学习的。新出生的娃只有三四
个本能。没娃的锁男真是没经验。
其实其他都不重要,最关健的还是神经元的数量。人脑有大约一千亿个神经元,计算机
想要模拟那几乎不可能。
另外一个关键是人的学习是完全浸入式的,有各种不同的sensor去reinforce,比如观
察一个娃学习语言,为什么娃能写的这么快这么好计算机就是做不到呢?关键人学习的
时候有生活体验反复不断的验证,包括视觉听觉触觉以及各种不同的反馈,计算机根本
模拟不到万分之一。
★ 发自iPhone App: ChinaWeb 1.1.4
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 人脑天生就会做的一些事情,这个是DNA生长出来的。对,是模型的选取。当然这么说 : 好像有几个模型摆在那等你选,其实我们差好远。 : deep learning里的神经网络其实根本不是网络,从结构形态上看,它也只是一条神经 : 。怎么才能真正构建一个神经网络,使一条主神经有周围的环境支持。这样比较像一个 : 大脑的很小的局部。
|
T*******x 发帖数: 8565 | 29 我是有娃琐男。不过我观察娃不如观察自己。我说的先天是在出生之前,这没法观察。
当然这个要看你说的本能是什么,或者我说的天生就会做的事是什么。我说的是对物体
的隔离,比如一个人在动,婴儿马上就能识别人是一个物体,不会把它和环境融为一体
。静物也能识别,视角一变影像就变,物体和环境就分离了。
这里面有没有天生就会的东西?我是说生长出来的功能?
【在 b***y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 错。人脑先天就会做的事情很少。绝大多数技能都是后天学习的。新出生的娃只有三四 : 个本能。没娃的锁男真是没经验。 : 其实其他都不重要,最关健的还是神经元的数量。人脑有大约一千亿个神经元,计算机 : 想要模拟那几乎不可能。 : 另外一个关键是人的学习是完全浸入式的,有各种不同的sensor去reinforce,比如观 : 察一个娃学习语言,为什么娃能写的这么快这么好计算机就是做不到呢?关键人学习的 : 时候有生活体验反复不断的验证,包括视觉听觉触觉以及各种不同的反馈,计算机根本 : 模拟不到万分之一。 : : ★ 发自iPhone App: ChinaWeb 1.1.4
|
d*****u 发帖数: 17243 | 30 capsule相当于在神经网络层之间加了routing
一个capsule就是一簇神经元,它们通向下一层的哪些神经元由routing算法决定
(实际层之间各处都是联通的,但强度可以不同)
这样慢慢的capsule就能对一些特征进行编码,即使输入(例如图像)有各种变化,比
如视角的变化,尺寸的变化,方向的变化。。。这些capsule是相对稳定的
这样可以应对一些输入的variance
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : capsule谁能介绍一下?
|
|
|
b***y 发帖数: 14281 | 31 婴儿刚生出来时视觉很差,上下左右颠倒,还没有颜色的概念,连对焦都不太行,所以
只能看清固定距离里的物体,太远太近的都看不清。我不认为婴儿刚生下来的时候能分
清楚背景和物体,所有这些都是以后reinforce learn的。不过据说先天本能里面对人
脸和光线的变化比较敏感。婴儿大概一两个月以后才有比较自主有目的性的观察。
基本上人脑生下来的时候就是光机一个,只有一些内脏功能是固化的。手脚运动这些都
是后天学的。几个月大的婴儿有一段时间很喜欢看自己的手和脚,就是因为那个时候才
发现这两玩意儿受自己控制。
★ 发自iPhone App: ChinaWeb 1.1.4
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是有娃琐男。不过我观察娃不如观察自己。我说的先天是在出生之前,这没法观察。 : 当然这个要看你说的本能是什么,或者我说的天生就会做的事是什么。我说的是对物体 : 的隔离,比如一个人在动,婴儿马上就能识别人是一个物体,不会把它和环境融为一体 : 。静物也能识别,视角一变影像就变,物体和环境就分离了。 : 这里面有没有天生就会的东西?我是说生长出来的功能?
|
T*******x 发帖数: 8565 | 32 谢谢。网上也看了一个介绍。dynamic routing有一定道理。但是从实现上,还是一层
一层的tensor,向前推演,back propagation,这些都还有,那和传统的deep
learning在哪里有本质的区别了呢?
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : capsule相当于在神经网络层之间加了routing : 一个capsule就是一簇神经元,它们通向下一层的哪些神经元由routing算法决定 : (实际层之间各处都是联通的,但强度可以不同) : 这样慢慢的capsule就能对一些特征进行编码,即使输入(例如图像)有各种变化,比 : 如视角的变化,尺寸的变化,方向的变化。。。这些capsule是相对稳定的 : 这样可以应对一些输入的variance
|
T*******x 发帖数: 8565 | 33 我们这样说说都不是很明确的,很多分歧可能是词语上的分歧。婴儿刚出生,到五六个
月,这个能力的变化,当然都是学习得来的。那它为什么学的这么快,范围这么广博呢?
【在 b***y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 婴儿刚生出来时视觉很差,上下左右颠倒,还没有颜色的概念,连对焦都不太行,所以 : 只能看清固定距离里的物体,太远太近的都看不清。我不认为婴儿刚生下来的时候能分 : 清楚背景和物体,所有这些都是以后reinforce learn的。不过据说先天本能里面对人 : 脸和光线的变化比较敏感。婴儿大概一两个月以后才有比较自主有目的性的观察。 : 基本上人脑生下来的时候就是光机一个,只有一些内脏功能是固化的。手脚运动这些都 : 是后天学的。几个月大的婴儿有一段时间很喜欢看自己的手和脚,就是因为那个时候才 : 发现这两玩意儿受自己控制。 : : ★ 发自iPhone App: ChinaWeb 1.1.4
|
d*****u 发帖数: 17243 | 34 神经网络的训练绝大部分都是用backpropagation
其中有一些变体不一定直接用gradient
比如有synthetic gradients方法
还有一种Equilibrium Propagation
训练的目标是实现网络内部势能函数最小化
给定一个输入,输出可以满足势能最小
这时网络不一定是分层的
https://arxiv.org/pdf/1602.05179.pdf
一般的神经网络层之间的连接在训练好以后是不变的
capsule使得这种连接是动态的
【在 T*******x 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢。网上也看了一个介绍。dynamic routing有一定道理。但是从实现上,还是一层 : 一层的tensor,向前推演,back propagation,这些都还有,那和传统的deep : learning在哪里有本质的区别了呢?
|
T*******x 发帖数: 8565 | 35 嗯。介绍的不错。谢谢资料。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 神经网络的训练绝大部分都是用backpropagation : 其中有一些变体不一定直接用gradient : 比如有synthetic gradients方法 : 还有一种Equilibrium Propagation : 训练的目标是实现网络内部势能函数最小化 : 给定一个输入,输出可以满足势能最小 : 这时网络不一定是分层的 : https://arxiv.org/pdf/1602.05179.pdf : 一般的神经网络层之间的连接在训练好以后是不变的 : capsule使得这种连接是动态的
|