由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
EE版 - 神经网络到底是真的有用的技术还是伪科学?
相关主题
老师问我愿不愿意搞neural network?求教各位,关于PHD的EE方向,哪个发展比较好呢?
神经网络这个领域是不是被中国人统治了?请大家帮我出出主意,职业发展何处去呢?
求助Kernel PCA的matlab code (转载)问牛人们一个学术问题
pre-whittening filter大牛给解释一下当前的语音识别技术吧?
Deep learning现状和未来有谁搞神经网络或者学过这门课的,进来看一下帮个忙
Re: 在此虚心请教Telecommunications的大峡图像处理算法还有前途吗
Re: ZZ; Neural Networks 的朋友们看过来machine learning 特别像 自适应滤波器
神经网络问题求助各路大仙,modeling问题,多谢了! (转载)
相关话题的讨论汇总
话题: 神经网络话题: 算法话题: 学习话题: bp话题: 神经
进入EE版参与讨论
1 (共1页)
a****l
发帖数: 8211
1
记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
套一个神经网络发个什么东西.
现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
谁对这方面比较了解的,是不是探讨一下?
g******u
发帖数: 3060
2
这东西就无关痛痒的地方可以用,比如鉴定个甲骨文,下个棋.
要用在飞控上,哪里吹来风大了点,对不起这个角度的风没训练过,电脑觉得还是掉下去
比较好.
s***n
发帖数: 678
3
传说九十年代时候不太火了。近十年又火起来主要是大规模并行计算起来了,可以用比
较大的神经网络了。最近就有了这个炒起来的概念deep learning, Google这个网络有
13层好像,每层25个神经元。
工程控制流程应该用处不大。一般的流程优化或者anomaly detection大概比较有用。
神经网络是个黑箱,我的理解就是它是一个高维极其复杂非线性的函数拟合,应用在那
些你搞不懂预测目标和input之间有什么关系的问题上比较有效,比如图像识别。

样?

【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?

a****l
发帖数: 8211
4
您真逗。

【在 g******u 的大作中提到】
: 这东西就无关痛痒的地方可以用,比如鉴定个甲骨文,下个棋.
: 要用在飞控上,哪里吹来风大了点,对不起这个角度的风没训练过,电脑觉得还是掉下去
: 比较好.

j******g
发帖数: 1098
5
这东西很适合各种模式识别,
比如人脸识别。

【在 g******u 的大作中提到】
: 这东西就无关痛痒的地方可以用,比如鉴定个甲骨文,下个棋.
: 要用在飞控上,哪里吹来风大了点,对不起这个角度的风没训练过,电脑觉得还是掉下去
: 比较好.

p**********0
发帖数: 101
6
干啥都不能迷信,神经网只是一个优化算法而已。
c****y
发帖数: 11
7
06年之前基本是伪科学,只能做到4~5层,不直观,难以控制。06年,现在
deeplearning开始出现了,搞出了更多层的神经网络,可以训练出复杂模型,超越了其
他算法,也估计也可以超越人类大脑了。
alphago里面有两个12还是13层的神经网络。

样?

【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?

e***g
发帖数: 1696
8
当年老师讲的是老黄历了,这么多年科技进步很多了

样?

【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?

H**r
发帖数: 10015
9
再进步,所以神经俩字也是忽悠人的
文科生以为是电脑里仿造出人脑了

【在 e***g 的大作中提到】
: 当年老师讲的是老黄历了,这么多年科技进步很多了
:
: 样?

a****l
发帖数: 8211
10
说老师是老黄历没什么意思,我们还是学术点的讨论到底进步在哪里比较有意义。菌版
的坏风气就别扩散了.

【在 e***g 的大作中提到】
: 当年老师讲的是老黄历了,这么多年科技进步很多了
:
: 样?

相关主题
Re: 在此虚心请教Telecommunications的大峡求教各位,关于PHD的EE方向,哪个发展比较好呢?
Re: ZZ; Neural Networks 的朋友们看过来请大家帮我出出主意,职业发展何处去呢?
神经网络问题问牛人们一个学术问题
进入EE版参与讨论
z**m
发帖数: 3080
11
神经网络对原理不清楚的系统控制还是不错的虽然需要大量数据的学习。
如果系统的原理已经清楚了就没必要使用。
s***d
发帖数: 15421
12
没错就是尼玛拟合 当年骗了几年funding经济危机了 就被打成伪科学了。不过看起来
拟合还蛮好用的。

★ 发自iPhone App: ChineseWeb 1.0.6

【在 z**m 的大作中提到】
: 神经网络对原理不清楚的系统控制还是不错的虽然需要大量数据的学习。
: 如果系统的原理已经清楚了就没必要使用。

c*********l
发帖数: 1065
13
最近好像听到硬件做这个的风声,不知道是不是下一轮弄钱的热点,
传统的那套神经网络硬件实现没啥好挖的了,书都n多本了

【在 a****l 的大作中提到】
: 说老师是老黄历没什么意思,我们还是学术点的讨论到底进步在哪里比较有意义。菌版
: 的坏风气就别扩散了.

H***F
发帖数: 2501
14
fpga不是一直在做吗

最近好像听到硬件做这个的风声,不知道是不是下一轮弄钱的热点,
传统的那套神经网络硬件实现没啥好挖的了,书都n多本了

【在 c*********l 的大作中提到】
: 最近好像听到硬件做这个的风声,不知道是不是下一轮弄钱的热点,
: 传统的那套神经网络硬件实现没啥好挖的了,书都n多本了

v*******e
发帖数: 11604
15
突破就是层数实现了突破
最早就三层;4到5层就训练不了。
现在更多层也能训练了,因为算法改进的缘故。
还有计算能力也大大加强了。
量变形成了质变了。
e***g
发帖数: 1696
16
精确的说是人工神经网络,确实小白看到神经俩字就以为和人脑有关。

【在 H**r 的大作中提到】
: 再进步,所以神经俩字也是忽悠人的
: 文科生以为是电脑里仿造出人脑了

e***g
发帖数: 1696
17
进步在这里:大数据+GPU并行训练;网络模型结构设计上突破了很多限制和想像力,比
如inception network,时序序列的RNN/LSTM,相当于很深的网络,建模存储的memory
network;训练算法上的trick,如relu,dropout,batch normalization, residual
network;和reinforcement learning的结合等。
想学习的话,可以根据我上面提供的关键词搜索学习;减少走弯路,layer-by-layer和
RBF就不用看了。

【在 a****l 的大作中提到】
: 说老师是老黄历没什么意思,我们还是学术点的讨论到底进步在哪里比较有意义。菌版
: 的坏风气就别扩散了.

h***s
发帖数: 1716
18
说说我老的个人体验,作为参考:
(1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
科学(science)大幅度重叠的一门研究课题和工程技术。
(2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
(3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应
用的新思路,尤其在无目标自动学习方面。

样?

【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?

S****8
发帖数: 401
19
谢谢你的总结!
P.S.1
那个SVD是不是笔误, 是说SVM吧
P.S.2
BP深度训练的一个基本理论问题是说啥?
能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?

【在 h***s 的大作中提到】
: 说说我老的个人体验,作为参考:
: (1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
: 确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
: 科学(science)大幅度重叠的一门研究课题和工程技术。
: (2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
: 有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
: (3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
: 题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
: 二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
: 于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应

e***y
发帖数: 4307
20
神经网络要做到能模拟人脑必须要先弄清人脑思维的机制,现在的神经网络还是基于神
经科学的研究的。所以大家还是不要看不起千老啊。
相关主题
大牛给解释一下当前的语音识别技术吧?machine learning 特别像 自适应滤波器
有谁搞神经网络或者学过这门课的,进来看一下帮个忙求助各路大仙,modeling问题,多谢了! (转载)
图像处理算法还有前途吗人体不是电传导神经么?
进入EE版参与讨论
a****l
发帖数: 8211
21
我觉得上面大牛的意思是现在的神经网络的研究并不是基于生物神经的运行方法而设计
的,只是借用了一个名字,实际上是完全不相关的独立发展出的一种工程方法,所以和生
物学没什么关系.

【在 e***y 的大作中提到】
: 神经网络要做到能模拟人脑必须要先弄清人脑思维的机制,现在的神经网络还是基于神
: 经科学的研究的。所以大家还是不要看不起千老啊。

h***s
发帖数: 1716
22
嗯,SVM和内核机,我编辑改过了。
基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
论瓶颈,无法通过硬件速度来解决。
新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。

【在 S****8 的大作中提到】
: 谢谢你的总结!
: P.S.1
: 那个SVD是不是笔误, 是说SVM吧
: P.S.2
: BP深度训练的一个基本理论问题是说啥?
: 能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?

h***s
发帖数: 1716
23
不那么绝对,至少不能说完全独立,比如Hebbian学习算法,就是基于生物系统里一类
很重要的动力学机制。所以,生物千老值得尊敬,而且值得借鉴,如果他们的工作没有
掺水。。。

【在 a****l 的大作中提到】
: 我觉得上面大牛的意思是现在的神经网络的研究并不是基于生物神经的运行方法而设计
: 的,只是借用了一个名字,实际上是完全不相关的独立发展出的一种工程方法,所以和生
: 物学没什么关系.

S****8
发帖数: 401
24
非常感谢哈, 新黄历我也是刚转行入门去做, 要是能总结下现在BP到深层是用的哪些技
术就好了
我只知道一开始还是hinton那个学生alex解决的
非实数值的神经脉冲.有点格林函数的味道啊, 当年物理学多了...

【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。

T*****e
发帖数: 247
25
生物千老来请教大神heyes:
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
T*****e
发帖数: 247
26
生物千老来请教大神heyes:
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
S****8
发帖数: 401
27
你说的这个模型不就跟忆阻器差不多嘛, 去搜下memristor

【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年

T*****e
发帖数: 247
28
谢谢楼上的忆阻器!wiki百度一把,很有意思。Hebbian的模型大概确实是这么个意思
。看了很有启发。
再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
保留信息的改变(或者保存)。
谢谢!
h***s
发帖数: 1716
29
很早的一个基于hebbian规则的学习算法,是Kohonen的自组织网络,self-organizing
map(SOM)。算法思路和你描述的动力过程很相似,而且公式非常简单。基本思路就是
,预先给出一个,比如二维的,单元网络连接结构,然后自动学习各个单元的“特征”
向量(任意高维的),最后得到一个二维的网络连接结构,表达了高维“特征”向量的
几何(距离)关系。实现这个的原理就是基于『cells that fire together, wire
together』的思想,邻近单元的“特征”向量同步地学习和更新。当然,其他还有很多
类似的学习算法。

【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年

h***s
发帖数: 1716
30
这个看起来像是当前硬件研究和产品开发的一个大热门 ;) 多谢哈!我对硬件方面了
解很少。

【在 S****8 的大作中提到】
: 你说的这个模型不就跟忆阻器差不多嘛, 去搜下memristor
相关主题
我来科普下深度学习的应用范围吧神经网络这个领域是不是被中国人统治了?
简单说说这几年机器学习的形势求助Kernel PCA的matlab code (转载)
老师问我愿不愿意搞neural network?pre-whittening filter
进入EE版参与讨论
S****8
发帖数: 401
31
也有可能是个大hype哈哈哈, 大神你还没回答我前面的问题呢:-)
(“要是能总结下现在BP到深层是用的哪些技术就好了,怎么一路发展过来的”)

【在 h***s 的大作中提到】
: 这个看起来像是当前硬件研究和产品开发的一个大热门 ;) 多谢哈!我对硬件方面了
: 解很少。

S****8
发帖数: 401
32
我也不是这个小众方向的只是略有耳闻,只知道当年是台湾人Chua搞的, 现在走在前
面的好像学术界是几个意大利人UCSD的M. Di Ventra 工业界是HP lab,搜搜他们最近的
文章吧

【在 T*****e 的大作中提到】
: 谢谢楼上的忆阻器!wiki百度一把,很有意思。Hebbian的模型大概确实是这么个意思
: 。看了很有启发。
: 再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
: 忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
: 及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
: 保留信息的改变(或者保存)。
: 谢谢!

h***s
发帖数: 1716
33
应该不是大hype,我个人非常倾向于Hebbian类的原理,简单“粗暴”但是很好用,哈!
就我知道的,深层BP现在基本就是用的预训练(非管理的)的技术,比如deep belief
nets. 还有就是CNN,通过高度有效地减少训练参数(复杂度)。“怎么一路发展过来
的”,你可以查查Geoff Hinton的文章,或者视频,比如这个:
https://www.youtube.com/watch?v=vShMxxqtDDs

【在 S****8 的大作中提到】
: 也有可能是个大hype哈哈哈, 大神你还没回答我前面的问题呢:-)
: (“要是能总结下现在BP到深层是用的哪些技术就好了,怎么一路发展过来的”)

i*****t
发帖数: 24265
34
同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
能?就算仿造个大脑也没用,何况个算法乎。
如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
的么。
h***s
发帖数: 1716
35
我所知道的,有试验数据、有具体结果的证据是,ImageNet的分类识别竞赛中,最有效
的算法都是基于卷积神经网络(CNN)的。在计算机视觉的很多问题里,基于卷积神经
网络的算法有广泛实用价值。
再比如,2007还是2008年,deep belief nets用到文本特征提取,分类效果远远好过很
多传统的线性特征提取算法。
当然,什么算法都是有局限的,有些常规算法在极其多的实用问题里足够用了,不必、
也不能用神经网络算法。但依据这个,毫无逻辑理由就否定上面问题里,神经网络算的
实用性和优越性。
至于你说,”用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类的么“
,我不清楚你是否有具体的证据支持这个说法。什么是”普通算法“的定义?至少随便
派脑袋想个heuristic的算法是不可能下好棋的。算法没有绝对高级、低级,能高效实
用、解决问题就是好算法。

【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。

e***g
发帖数: 1696
36
Hinton每年提出一个新的神经网络学习的新思路,follow Hinton's work要慎重。

【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。

H***F
发帖数: 2501
37
每个都是好思路?

Hinton每年提出一个新的神经网络学习的新思路,follow Hinton's work要慎重。

【在 e***g 的大作中提到】
: Hinton每年提出一个新的神经网络学习的新思路,follow Hinton's work要慎重。
T*****e
发帖数: 247
38
需要时间消化各位的回复。
“思考的高级智能”这个在科学上其实并不容易准确的定义。猩猩能思考吗?我认为可
以。老鼠能思考吗?你可能会打个问号。我问你你认为一只蛆能思考吗?你可能觉得我
在胡扯。但事实是,蛆确实可以思考。它走的每一步都是神经计算的结果,不断的分析
大量的数据,对比左右两侧不同的温度,气味,光线强度等,做出抉择。这有很多研究
了,我也不细说。这就涉及到摄取信号,分析信号作出决定和释放信号(产生相应行为
)几个过程了。人在摄取信号时并不是全能的,其他生物能获得比人类更多的信号,比
如蝙蝠的超声波,比如响尾蛇的红外线。但是我们大概可以认为,人的大脑的复杂程度
可能是所有已知物种中最高的,所以可能分析计算能力有若干数量级的差别。
于是这就过渡到另外一个观点:生物体的神经计算能力的强大在于神经回路大规模的并
行计算从而忍耐高背景噪音,使得不那么精确和敏感的信号能被精确的分析并快速产生
结果控制复杂的行为。那么高度复杂的人类大脑是不是计算能力最强呢?这可能就是所
谓的高级智能。
引申一点:我很有兴趣知道一下你说的普通算法是否在真实的生物神经计算中存在。它
和神经网络之间的关系是什么?
EE的神经网络我是不懂,但是搞清楚人类是怎么思考的这一点,应该是非常有趣的。如
果不同学科间有相互借鉴的地方,那就太好啦。

【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。

f*****r
发帖数: 754
39
深度神经网络远非昔日的MLP。大有可为。
这方面的paper都是nature、science。

样?

【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?

1 (共1页)
进入EE版参与讨论
相关主题
求助各路大仙,modeling问题,多谢了! (转载)Deep learning现状和未来
人体不是电传导神经么?Re: 在此虚心请教Telecommunications的大峡
我来科普下深度学习的应用范围吧Re: ZZ; Neural Networks 的朋友们看过来
简单说说这几年机器学习的形势神经网络问题
老师问我愿不愿意搞neural network?求教各位,关于PHD的EE方向,哪个发展比较好呢?
神经网络这个领域是不是被中国人统治了?请大家帮我出出主意,职业发展何处去呢?
求助Kernel PCA的matlab code (转载)问牛人们一个学术问题
pre-whittening filter大牛给解释一下当前的语音识别技术吧?
相关话题的讨论汇总
话题: 神经网络话题: 算法话题: 学习话题: bp话题: 神经