T*******x
发帖数: 8565 | 1 只要开始认真思考learning的过程，就算入门了。大家说说吧？ |
P**T
发帖数: 2274 | 2 感觉是Deep Q Learning走不下去了，但普通的Deep Learning做做识别和预测还行 |
s*****t
发帖数: 987 | 3
为什么 deep reinforcement learning 走不下去了呢？ 是很难收敛？
【在 P**T 的大作中提到】
: 感觉是Deep Q Learning走不下去了，但普通的Deep Learning做做识别和预测还行
|
P**T
发帖数: 2274 | 4 主要是还没有办法完全模拟人类的意识，还是靠暴力计算为主
【在 s*****t 的大作中提到】
:
: 为什么 deep reinforcement learning 走不下去了呢？ 是很难收敛？
|
T*******x
发帖数: 8565 | 5 deep learning网络结构还在大幅度调整，离固定下来还早。
【在 P**T 的大作中提到】
: 主要是还没有办法完全模拟人类的意识，还是靠暴力计算为主
|
T*******x
发帖数: 8565 | 6 convolutional neural networks对图像的前端处理基本已经够用了，关键还是后面的
概念符号处理。我感觉。
【在 T*******x 的大作中提到】
: 只要开始认真思考learning的过程，就算入门了。大家说说吧？
|
w********2
发帖数: 632 | 7 其实学了康德哲学就知道，没有任何前期知识结构的unbiased ml是不存在的，人也有a
prior的知识结构，只不过不容易被一般人察觉罢了。
biased ml还是好做的，主要是库要全要大。李飞飞没那个图库，她后来啥也干不了。 |
T*******x
发帖数: 8565 | 8 是的，不存在没有任何前期知识结构的学习，可以这么说。
婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
这跟目前的supervised learning很不同。
有a
【在 w********2 的大作中提到】
: 其实学了康德哲学就知道，没有任何前期知识结构的unbiased ml是不存在的，人也有a
: prior的知识结构，只不过不容易被一般人察觉罢了。
: biased ml还是好做的，主要是库要全要大。李飞飞没那个图库，她后来啥也干不了。
|
w********2
发帖数: 632 | 9 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远，可能
只有基于生物膜的电脑出来才可以接近，因为人脑本质上是模拟生物电路，不是数字电
路。
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
d*****u
发帖数: 17243 | 10 任何模型都有一定的prior
比如神经网络一般会对那些weights的norm作一些限制
可以理解成对参数加了一个先验的分布
神经元的activation也就是那么几个函数（sigmoid，tanh，relu等等）
是从生物里得到的启发
如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
这个可以看成是模型的选取
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
|
|
T*******x
发帖数: 8565 | 11 有一定道理。但是我觉得数字电路模拟模拟电路，目前还不是瓶颈。还是要大规模改动
网络结构。
【在 w********2 的大作中提到】
: 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远，可能
: 只有基于生物膜的电脑出来才可以接近，因为人脑本质上是模拟生物电路，不是数字电
: 路。
|
T*******x
发帖数: 8565 | 12 人脑天生就会做的一些事情，这个是DNA生长出来的。对，是模型的选取。当然这么说
好像有几个模型摆在那等你选，其实我们差好远。
deep learning里的神经网络其实根本不是网络，从结构形态上看，它也只是一条神经
。怎么才能真正构建一个神经网络，使一条主神经有周围的环境支持。这样比较像一个
大脑的很小的局部。
【在 d*****u 的大作中提到】
: 任何模型都有一定的prior
: 比如神经网络一般会对那些weights的norm作一些限制
: 可以理解成对参数加了一个先验的分布
: 神经元的activation也就是那么几个函数（sigmoid，tanh，relu等等）
: 是从生物里得到的启发
: 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
: 这个可以看成是模型的选取
|
T*******x
发帖数: 8565 | 13 概念只能是离散的。
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
T*******x
发帖数: 8565 | 14 只要开始认真思考learning的过程，就算入门了。大家说说吧？ |
P**T
发帖数: 2274 | 15 感觉是Deep Q Learning走不下去了，但普通的Deep Learning做做识别和预测还行 |
s*****t
发帖数: 987 | 16
为什么 deep reinforcement learning 走不下去了呢？ 是很难收敛？
【在 P**T 的大作中提到】
: 感觉是Deep Q Learning走不下去了，但普通的Deep Learning做做识别和预测还行
|
P**T
发帖数: 2274 | 17 主要是还没有办法完全模拟人类的意识，还是靠暴力计算为主
【在 s*****t 的大作中提到】
:
: 为什么 deep reinforcement learning 走不下去了呢？ 是很难收敛？
|
T*******x
发帖数: 8565 | 18 deep learning网络结构还在大幅度调整，离固定下来还早。
【在 P**T 的大作中提到】
: 主要是还没有办法完全模拟人类的意识，还是靠暴力计算为主
|
T*******x
发帖数: 8565 | 19 convolutional neural networks对图像的前端处理基本已经够用了，关键还是后面的
概念符号处理。我感觉。
【在 T*******x 的大作中提到】
: 只要开始认真思考learning的过程，就算入门了。大家说说吧？
|
w********2
发帖数: 632 | 20 其实学了康德哲学就知道，没有任何前期知识结构的unbiased ml是不存在的，人也有a
prior的知识结构，只不过不容易被一般人察觉罢了。
biased ml还是好做的，主要是库要全要大。李飞飞没那个图库，她后来啥也干不了。 |
|
|
T*******x
发帖数: 8565 | 21 是的，不存在没有任何前期知识结构的学习，可以这么说。
婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
这跟目前的supervised learning很不同。
有a
【在 w********2 的大作中提到】
: 其实学了康德哲学就知道，没有任何前期知识结构的unbiased ml是不存在的，人也有a
: prior的知识结构，只不过不容易被一般人察觉罢了。
: biased ml还是好做的，主要是库要全要大。李飞飞没那个图库，她后来啥也干不了。
|
w********2
发帖数: 632 | 22 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远，可能
只有基于生物膜的电脑出来才可以接近，因为人脑本质上是模拟生物电路，不是数字电
路。
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
d*****u
发帖数: 17243 | 23 任何模型都有一定的prior
比如神经网络一般会对那些weights的norm作一些限制
可以理解成对参数加了一个先验的分布
神经元的activation也就是那么几个函数（sigmoid，tanh，relu等等）
是从生物里得到的启发
如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
这个可以看成是模型的选取
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
T*******x
发帖数: 8565 | 24 有一定道理。但是我觉得数字电路模拟模拟电路，目前还不是瓶颈。还是要大规模改动
网络结构。
【在 w********2 的大作中提到】
: 现在的supervised ml对pattern recognition的速度和精确的比人脑差太远太远，可能
: 只有基于生物膜的电脑出来才可以接近，因为人脑本质上是模拟生物电路，不是数字电
: 路。
|
T*******x
发帖数: 8565 | 25 人脑天生就会做的一些事情，这个是DNA生长出来的。对，是模型的选取。当然这么说
好像有几个模型摆在那等你选，其实我们差好远。
deep learning里的神经网络其实根本不是网络，从结构形态上看，它也只是一条神经
。怎么才能真正构建一个神经网络，使一条主神经有周围的环境支持。这样比较像一个
大脑的很小的局部。
【在 d*****u 的大作中提到】
: 任何模型都有一定的prior
: 比如神经网络一般会对那些weights的norm作一些限制
: 可以理解成对参数加了一个先验的分布
: 神经元的activation也就是那么几个函数（sigmoid，tanh，relu等等）
: 是从生物里得到的启发
: 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
: 这个可以看成是模型的选取
|
T*******x
发帖数: 8565 | 26 概念只能是离散的。
【在 T*******x 的大作中提到】
: 是的，不存在没有任何前期知识结构的学习，可以这么说。
: 婴儿的学习分两个阶段，一个是大脑结构的生长，这个主要在出生前完成，当然出生后
: 继续。另一个是概念的学习模式的学习，这个在一睁开眼睛的时候就开始。
: 这跟目前的supervised learning很不同。
:
: 有a
|
T*******x
发帖数: 8565 | 27 capsule谁能介绍一下？
【在 d*****u 的大作中提到】
: 任何模型都有一定的prior
: 比如神经网络一般会对那些weights的norm作一些限制
: 可以理解成对参数加了一个先验的分布
: 神经元的activation也就是那么几个函数（sigmoid，tanh，relu等等）
: 是从生物里得到的启发
: 如果你说的是人脑天生就会进行一些基本的分类、施加注意力等等
: 这个可以看成是模型的选取
|
b***y
发帖数: 14281 | 28 错。人脑先天就会做的事情很少。绝大多数技能都是后天学习的。新出生的娃只有三四
个本能。没娃的锁男真是没经验。
其实其他都不重要，最关健的还是神经元的数量。人脑有大约一千亿个神经元，计算机
想要模拟那几乎不可能。
另外一个关键是人的学习是完全浸入式的，有各种不同的sensor去reinforce，比如观
察一个娃学习语言，为什么娃能写的这么快这么好计算机就是做不到呢？关键人学习的
时候有生活体验反复不断的验证，包括视觉听觉触觉以及各种不同的反馈，计算机根本
模拟不到万分之一。
★ 发自iPhone App: ChinaWeb 1.1.4
【在 T*******x 的大作中提到】
: 人脑天生就会做的一些事情，这个是DNA生长出来的。对，是模型的选取。当然这么说
: 好像有几个模型摆在那等你选，其实我们差好远。
: deep learning里的神经网络其实根本不是网络，从结构形态上看，它也只是一条神经
: 。怎么才能真正构建一个神经网络，使一条主神经有周围的环境支持。这样比较像一个
: 大脑的很小的局部。
|
T*******x
发帖数: 8565 | 29 我是有娃琐男。不过我观察娃不如观察自己。我说的先天是在出生之前，这没法观察。
当然这个要看你说的本能是什么，或者我说的天生就会做的事是什么。我说的是对物体
的隔离，比如一个人在动，婴儿马上就能识别人是一个物体，不会把它和环境融为一体
。静物也能识别，视角一变影像就变，物体和环境就分离了。
这里面有没有天生就会的东西？我是说生长出来的功能？
【在 b***y 的大作中提到】
: 错。人脑先天就会做的事情很少。绝大多数技能都是后天学习的。新出生的娃只有三四
: 个本能。没娃的锁男真是没经验。
: 其实其他都不重要，最关健的还是神经元的数量。人脑有大约一千亿个神经元，计算机
: 想要模拟那几乎不可能。
: 另外一个关键是人的学习是完全浸入式的，有各种不同的sensor去reinforce，比如观
: 察一个娃学习语言，为什么娃能写的这么快这么好计算机就是做不到呢？关键人学习的
: 时候有生活体验反复不断的验证，包括视觉听觉触觉以及各种不同的反馈，计算机根本
: 模拟不到万分之一。
:
: ★ 发自iPhone App: ChinaWeb 1.1.4
|
d*****u
发帖数: 17243 | 30 capsule相当于在神经网络层之间加了routing
一个capsule就是一簇神经元，它们通向下一层的哪些神经元由routing算法决定
（实际层之间各处都是联通的，但强度可以不同）
这样慢慢的capsule就能对一些特征进行编码，即使输入（例如图像）有各种变化，比
如视角的变化，尺寸的变化，方向的变化。。。这些capsule是相对稳定的
这样可以应对一些输入的variance
【在 T*******x 的大作中提到】
: capsule谁能介绍一下？
|
|
|
b***y
发帖数: 14281 | 31 婴儿刚生出来时视觉很差，上下左右颠倒，还没有颜色的概念，连对焦都不太行，所以
只能看清固定距离里的物体，太远太近的都看不清。我不认为婴儿刚生下来的时候能分
清楚背景和物体，所有这些都是以后reinforce learn的。不过据说先天本能里面对人
脸和光线的变化比较敏感。婴儿大概一两个月以后才有比较自主有目的性的观察。
基本上人脑生下来的时候就是光机一个，只有一些内脏功能是固化的。手脚运动这些都
是后天学的。几个月大的婴儿有一段时间很喜欢看自己的手和脚，就是因为那个时候才
发现这两玩意儿受自己控制。
★ 发自iPhone App: ChinaWeb 1.1.4
【在 T*******x 的大作中提到】
: 我是有娃琐男。不过我观察娃不如观察自己。我说的先天是在出生之前，这没法观察。
: 当然这个要看你说的本能是什么，或者我说的天生就会做的事是什么。我说的是对物体
: 的隔离，比如一个人在动，婴儿马上就能识别人是一个物体，不会把它和环境融为一体
: 。静物也能识别，视角一变影像就变，物体和环境就分离了。
: 这里面有没有天生就会的东西？我是说生长出来的功能？
|
T*******x
发帖数: 8565 | 32 谢谢。网上也看了一个介绍。dynamic routing有一定道理。但是从实现上，还是一层
一层的tensor，向前推演，back propagation，这些都还有，那和传统的deep
learning在哪里有本质的区别了呢？
【在 d*****u 的大作中提到】
: capsule相当于在神经网络层之间加了routing
: 一个capsule就是一簇神经元，它们通向下一层的哪些神经元由routing算法决定
: （实际层之间各处都是联通的，但强度可以不同）
: 这样慢慢的capsule就能对一些特征进行编码，即使输入（例如图像）有各种变化，比
: 如视角的变化，尺寸的变化，方向的变化。。。这些capsule是相对稳定的
: 这样可以应对一些输入的variance
|
T*******x
发帖数: 8565 | 33 我们这样说说都不是很明确的，很多分歧可能是词语上的分歧。婴儿刚出生，到五六个
月，这个能力的变化，当然都是学习得来的。那它为什么学的这么快，范围这么广博呢？
【在 b***y 的大作中提到】
: 婴儿刚生出来时视觉很差，上下左右颠倒，还没有颜色的概念，连对焦都不太行，所以
: 只能看清固定距离里的物体，太远太近的都看不清。我不认为婴儿刚生下来的时候能分
: 清楚背景和物体，所有这些都是以后reinforce learn的。不过据说先天本能里面对人
: 脸和光线的变化比较敏感。婴儿大概一两个月以后才有比较自主有目的性的观察。
: 基本上人脑生下来的时候就是光机一个，只有一些内脏功能是固化的。手脚运动这些都
: 是后天学的。几个月大的婴儿有一段时间很喜欢看自己的手和脚，就是因为那个时候才
: 发现这两玩意儿受自己控制。
:
: ★ 发自iPhone App: ChinaWeb 1.1.4
|
d*****u
发帖数: 17243 | 34 神经网络的训练绝大部分都是用backpropagation
其中有一些变体不一定直接用gradient
比如有synthetic gradients方法
还有一种Equilibrium Propagation
训练的目标是实现网络内部势能函数最小化
给定一个输入，输出可以满足势能最小
这时网络不一定是分层的
https://arxiv.org/pdf/1602.05179.pdf
一般的神经网络层之间的连接在训练好以后是不变的
capsule使得这种连接是动态的
【在 T*******x 的大作中提到】
: 谢谢。网上也看了一个介绍。dynamic routing有一定道理。但是从实现上，还是一层
: 一层的tensor，向前推演，back propagation，这些都还有，那和传统的deep
: learning在哪里有本质的区别了呢？
|
T*******x
发帖数: 8565 | 35 嗯。介绍的不错。谢谢资料。
【在 d*****u 的大作中提到】
: 神经网络的训练绝大部分都是用backpropagation
: 其中有一些变体不一定直接用gradient
: 比如有synthetic gradients方法
: 还有一种Equilibrium Propagation
: 训练的目标是实现网络内部势能函数最小化
: 给定一个输入，输出可以满足势能最小
: 这时网络不一定是分层的
: https://arxiv.org/pdf/1602.05179.pdf
: 一般的神经网络层之间的连接在训练好以后是不变的
: capsule使得这种连接是动态的
|
