y*j
发帖数: 3139 | 1 1. 这不叫convolution，这是weight sharing，它能避免overfitting
2. 它实际上是一个pyramid 的概念，在机器视觉里应用很多
传统的神经网络一是层数没有这么多，二是没有weight sharing，还有其他的一些问题
，还有当时的硬件配置比现在差太远了， 导致当时的失败。
我认为现在deep learning 最大的约束是硬件：速度，核的数目，内存都需要极大的提
高。硅基的计算机比碳基的生物也许更有优势，将来也许会超过人。
：在我看来CNN的本质在于
：一是convolution, 这个约束极大的减少了参数的数量。
：二是multi-layer，多个layer把一张图片从裸像素一层层抽象到高级概念，这个很接
近人脑了。
：按照Hinton牛的说法，CNN的改进方向在Pooling |
|
x****u
发帖数: 44466 | 2 现在神经网络单机的计算能力，已经超过了人脑。
当然结构大不一样，目前单机只够模拟人脑的部分功能。 |
|
y*j
发帖数: 3139 | 3 并行能力比人脑差太远了，人脑有10^11个neurons. 现在计算机的计算能力就好比是自
闭症患者的特殊能力，但是没有很好的学习能力。
：现在神经网络单机的计算能力，已经超过了人脑。
：当然结构大不一样，目前单机只够模拟人脑的部分功能。 |
|
x****u
发帖数: 44466 | 4 人脑的运算速度比芯片慢n个数量级，而且人脑有极为苛刻的功耗限制，几十年前就有
paper发现最大激活的神经元数不超过1%。
所以综合这两点，人脑计算能力已经在7-8年前被电脑超过了。当然目前cpu，gpu的结
构是非常不适合当神经网络就是了。 |
|
c*****w
发帖数: 50 | 5 你看CNN某一层“被激发”的feature，也就那么几个，有人认为这和大脑很类似。但并
不是说其它大量的feature就没用，它们会在其它的input pattern下被激发。和人脑比
起来神经网络还很粗陋，人脑复杂的神经元间的连接不是那么容易就模拟的，CNN也许
抓到了一些关键，所以比较成功。 |
|
a*********y
发帖数: 63 | 6 也不能简单地说数学功底不行. 神经网络的数学模型归根到底是一个非线性系统. 然而
现在的数学对非线性系统还没有什么系统的有效的解决方法,除了一些特殊的情况.
所以不能说搞计算机的数学功底不行, 而是现在的数学就这个水平. |
|
l******n
发帖数: 9344 | 7 wdong,干脆搞个神经网络的编程培训班，在中国肯定是高端大气的，市场大大的，将来
进BAT或者来去其他地方肯定有帮助。感觉比给人写code干事还靠谱点
何如？ |
|
y*j
发帖数: 3139 | 8 1. 这不叫convolution，这是weight sharing，它能避免overfitting
2. 它实际上是一个pyramid 的概念，在机器视觉里应用很多
传统的神经网络一是层数没有这么多，二是没有weight sharing，还有其他的一些问题
，还有当时的硬件配置比现在差太远了， 导致当时的失败。
我认为现在deep learning 最大的约束是硬件：速度，核的数目，内存都需要极大的提
高。硅基的计算机比碳基的生物也许更有优势，将来也许会超过人。
：在我看来CNN的本质在于
：一是convolution, 这个约束极大的减少了参数的数量。
：二是multi-layer，多个layer把一张图片从裸像素一层层抽象到高级概念，这个很接
近人脑了。
：按照Hinton牛的说法，CNN的改进方向在Pooling |
|
x****u
发帖数: 44466 | 9 现在神经网络单机的计算能力，已经超过了人脑。
当然结构大不一样，目前单机只够模拟人脑的部分功能。 |
|
y*j
发帖数: 3139 | 10 并行能力比人脑差太远了，人脑有10^11个neurons. 现在计算机的计算能力就好比是自
闭症患者的特殊能力，但是没有很好的学习能力。
：现在神经网络单机的计算能力，已经超过了人脑。
：当然结构大不一样，目前单机只够模拟人脑的部分功能。 |
|
x****u
发帖数: 44466 | 11 人脑的运算速度比芯片慢n个数量级，而且人脑有极为苛刻的功耗限制，几十年前就有
paper发现最大激活的神经元数不超过1%。
所以综合这两点，人脑计算能力已经在7-8年前被电脑超过了。当然目前cpu，gpu的结
构是非常不适合当神经网络就是了。 |
|
c*****w
发帖数: 50 | 12 你看CNN某一层“被激发”的feature，也就那么几个，有人认为这和大脑很类似。但并
不是说其它大量的feature就没用，它们会在其它的input pattern下被激发。和人脑比
起来神经网络还很粗陋，人脑复杂的神经元间的连接不是那么容易就模拟的，CNN也许
抓到了一些关键，所以比较成功。 |
|
a*********y
发帖数: 63 | 13 也不能简单地说数学功底不行. 神经网络的数学模型归根到底是一个非线性系统. 然而
现在的数学对非线性系统还没有什么系统的有效的解决方法,除了一些特殊的情况.
所以不能说搞计算机的数学功底不行, 而是现在的数学就这个水平. |
|
r******y
发帖数: 3838 | 14 并标记位置，有什么好方法? 还是神经网络仅适合分类。
如果不行只好用传统模式识别了。 |
|
|
R******e
发帖数: 623 | 16 比如宗教，比如灌输某种思想，所以信徒很恐怖，就像训练好的神经网络，直接按规则
执行，很难跳出规则。 |
|
i********s
发帖数: 6 | 17 在Coursera上有神经网络的课程，是Andrew Ng讲课。里面好像说这样的识别可以最后
用一层softmax函数来识别 |
|
|
x**********i
发帖数: 658 | 19 神经网络有没有个大约general的共识，比如batch size越大越好或者某个值，epoch越
多越好？filter越多越好？
还是这些参数必须根据具体model来调整
：我觉得我能理解这个现象，我猜如果你不shuffle，应该不会有这个现象
： |
|
发帖数: 1 | 20 从控制论的角度看，在前一阶段，计算出现了病态。本身神经网络就是非线性函数，数
值不稳定，某个小的扰动使得整个系统跑到另一个状态。 |
|
g****t
发帖数: 31659 | 21 非线性和数值不稳定是两个概念吧。矩阵乘法或者计算标准差这样的简单计算如果算法
不对都有可能数值不稳定。
: 从控制论的角度看，在前一阶段，计算出现了病态。本身神经网络就是非线性函
数，数
: 值不稳定，某个小的扰动使得整个系统跑到另一个状态。
|
|
c*******v
发帖数: 2599 | 22 哎。年轻人还是谨慎言行的好。就我自己亲身经历的项目之一为例。
我当初参与建设中国高校第一套燃料电池系统，负责神经网络建模和控制系统。
交大副校长凌晨一点接到电话，来视察看我们发电成功。我作为吉祥物，
手里拿着小电扇给他们拍照。后来去双钱轮胎厂做物料供应算法，也用了类似的
知识。
前向网就是两个不同的算子，一个线性，一个非线性的多层叠代。
怎么可能没有用处。连多项式迭代这种一个算子的跌代到处都在用。 |
|
f******2
发帖数: 2455 | 23 燃料电池现在应用如何？
: 哎。年轻人还是谨慎言行的好。就我自己亲身经历的项目之一为例。
: 我当初参与建设中国高校第一套燃料电池系统，负责神经网络建模和控制系统。
: 交大副校长凌晨一点接到电话，来视察看我们发电成功。我作为吉祥物，
: 手里拿着小电扇给他们拍照。后来去双钱轮胎厂做物料供应算法，也用了类似的
: 知识。
: 前向网就是两个不同的算子，一个线性，一个非线性的多层叠代。
: 怎么可能没有用处。连多项式迭代这种一个算子的跌代到处都在用。
|
|
i*****t
发帖数: 24265 | 24 国内10多年前就已经自适应模糊神经网络了，可惜没啥用处。 |
|
a***y
发帖数: 117 | 25 可以找到中国人写的文章用神经网络控制飞机，汽车，制造加工。。。真是无所不能， |
|
w****y
发帖数: 2952 | 26 认识的小本这学期选这门课，作业不会做，来问我。我也没学过这。他可以付$50
cash。
作业是关于一些船只的data，来判断是敌是友。用matlab编程。我可以用pattern
classification给他做，但他作业要求用神经网络。
本科生的课，不是研究生的课，应该不难。
站内信箱联系。 |
|
z**m
发帖数: 3080 | 27 神经网络对原理不清楚的系统控制还是不错的虽然需要大量数据的学习。
如果系统的原理已经清楚了就没必要使用。 |
|
e***g
发帖数: 1696 | 28 精确的说是人工神经网络，确实小白看到神经俩字就以为和人脑有关。 |
|
a****l
发帖数: 8211 | 29 我觉得上面大牛的意思是现在的神经网络的研究并不是基于生物神经的运行方法而设计
的,只是借用了一个名字,实际上是完全不相关的独立发展出的一种工程方法,所以和生
物学没什么关系. |
|
i*****t
发帖数: 24265 | 30 同样是大脑和神经，为啥只有人类有思考的高级智能？而其他生物只具有低级简单的智
能？就算仿造个大脑也没用，何况个算法乎。
如果不用神经网络，用其他普通算法的话，只要数据到一定程度，不是照样下棋赢人类
的么。 |
|
e***g
发帖数: 1696 | 31 Hinton每年提出一个新的神经网络学习的新思路，follow Hinton's work要慎重。 |
|
H***F
发帖数: 2501 | 32 每个都是好思路？
Hinton每年提出一个新的神经网络学习的新思路，follow Hinton's work要慎重。 |
|
f*****r
发帖数: 754 | 33 深度神经网络远非昔日的MLP。大有可为。
这方面的paper都是nature、science。
样？ |
|
F******n
发帖数: 160 | 34 这是一个很有趣，也很实际的问题。就我所知，有一种神经网络技术 PERFECTLY 适合你
的问题。
让我重新规范地陈述一下你的问题：
* 给定有一组特定的输入量 {XI}， 属于一个输入空间 SI， XI (- SI；
* 存在一组对应的输出量 {YI}， 以对应的概率 {PI} 输出； 其中，YI 属于输出空
间 SO， PI 属于正实数空间区间 [0， 1]。
* 问题为： 如何找出这样的模型影射 F(PI)， 使得：
F(PI)
XI ---------> YI
当给定有一些观测数据 {AI 属于 SI} 和对应的 {BI 属于 SO}。
注意到，在以上问题的陈述中，对应的概率 {PI} 没有观测数据。 如果我对问题的=转述
和理解有不对，请至出 -- 那样的话，或许以下的讨论不在相干。
贝叶斯神经网络 (Bayesian Neural Network) 的主要IDEAS 是：
* BP (回传) 或其他的一般性的网络都可以看作是一种 Universal Function |
|
i*****r
发帖数: 318 | 35 关于做K fold Cross validation。
1：
在SVM 中，SVM()命令里直接有一个cross=K，也可以做K折交叉验证。
问题是做完以后，svm可以显示预测值，比如
A.svm=svm(y~.,data=XYZ,cross=10)
A.predict=predict(svm)
R问题：在logistic回归，神经网络和SVM中做交叉验证
请问这个拟合的预测值是10折交叉验证里面哪一个预测模型的预测值？
2：在做logistic 回归中，R提供一个cv.glm()指令可以做K折交叉验证，然后显示准确
率是多少。cv.glm()只可以显示预测准确率是多少，请问我在哪里可以看到这个预测模
型的拟合预测值，还有这个模型里面各个变量的参数是多少呢？ 比如
A.glm=glm(y~.,data=XYZ,family=binomial)
A.cv.glm=cv.glm(XYZ, A)
这里A.cv.glm只能预测准确率是多少，但我不知道模型的拟合预测值，也不知道公式P=
exp(a1X1+a2X2+...anXn)/(1+exp(a1X1+a2X2+...anXn))里面a1.. |
|
f*******y
发帖数: 421 | 36 大美女，youtube有录像介绍，是不是用DNA实现了神经网络的功能？牛人点评一下意义
？ |
|
f*******y
发帖数: 421 | 37 有没有好的工作？如何定义或者测量神经网络或者大脑某种功能，比如记忆，学习？多
谢。 |
|
m*****o
发帖数: 165 | 38 【 以下文字转载自 Statistics 讨论区 】
发信人: mlanbao (mlanbao), 信区: Statistics
标 题: 神经网络原理这门课对统计重要么
发信站: BBS 未名空间站 (Sun Aug 10 11:50:08 2014, 美东)
比如想做ds,对统计人学起来是不是很有难度阿.
看了一眼haykin那本书,有点云里雾里的感觉. |
|
d*******s
发帖数: 234 | 39 神经网络能不能算仿生学...
没啥理论基础的。 |
|
z*******3
发帖数: 13709 | 40 神经网络很nb啊
hebb的那个理论启发了分布式系统
要不是hebb在85年就翘掉的话
我觉得给他发个cs同性恋奖＋炸药生理卫生奖一点问题没有
以后这个东西就在他的基础之上做发展了
当然到底能不能做出来，做成啥样，谁也不知道 |
|
g*****o
发帖数: 812 | 41 咦, 我看做ml的人说神经网络还是很有用的, 只不过没法解释 |
|
j********p
发帖数: 9680 | 42 我记得神经网络只是数据挖掘诸多模型中的一种,
是不是应该把其他的学习模型都了解一下. |
|
s*******e
发帖数: 1389 | 43 围棋算法多少还能理解，人工智能就难多了。转载一篇文章：
基于神经网络的人机对抗人工智能系统
作者：Harreke
摘要
人工智能是一门科学名称。自电子计算机发明后不久，人工智能学科即宣布创立，其目
的就是要模拟人类的智力活动机制来改进计算机的软件硬件构成，使他们掌握一种或多
种人的智能，以便在各种领域内有效替代人的脑力劳动，特别是解决用传统软硬件方法
难以解决的问题，如模式识别，复杂的控制行为或对海量的数据进行实时评估等。
所谓人工智能，就是由人工建立的硬件或软件系统的智能，是无生命系统的智能。智能
是人类智力活动的能力，是一个抽象的概念。一个软件或硬件系统是否有智能，只能根
据它所表现出来的行为是否和人类某些行为相类似来做判断。
人工智能在计算机上的实现，有两种不同的方式。一种是采用传统的编程技术，使系统
呈现智能的效果，而不考虑所用方法是否与人或生物机体所用的方法相同。这种方法称
为工程学方法，它的编程方式虽然简单，智能效果显著，可是算法和程序一旦固定下来
，智能就很难再进一步提高。另一种是模拟法，它不仅要看智能效果，还要求实现方法
和人类或生物机体所用的方法相同或类似。人工神经网... 阅读全帖 |
|
t*******y
发帖数: 21396 | 44 生物神经网络与机器学习的碰撞，Nature论文提出DNA试管网络识别手写数字
近日，来自加州理工学院的研究人员开发出一种由 DNA 制成的新型人工神经网络。该
网络解决了一个经典的机器学习问题：正确识别手写数字。该项研究中，研究者用了
36 个手写数字 6 和 7 作为测试例子，结果表明这种新型神经网络能够正确识别出所
有的数字。该研究是在生物工程助理教授 Lulu Qian 的实验室中完成的。相关论文于
7 月 4 日上传网络，并将出现在 7 月 19 日的纸质版《Nature》杂志上。
科学家们已经从 DNA 中开发出一种人工神经网络，能够识别嘈杂和高度复杂的分子信
息。
加州理工学院的研究人员开发了一种由 DNA 制成的人工神经网络，可以解决一个经典
的机器学习问题：正确识别手写数字。这项研究迈出了重要一步，证明我们具备了将人
工智能编程到合成生物分子回路中的能力。
「尽管研究者刚刚开始尝试在分子机器中创造人工智能，但其潜力是不可否认的，」
Qian 表示。「电子计算机和智能手机使得现代人类的能力高于 100 多年前，与此类似
，在未来的近百年里，人工分子机器可能制造出由分子组成... 阅读全帖 |
|
c***s
发帖数: 70028 | 45 2006年，会议五十年后，当事人重聚达特茅斯。左起：摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫
背景
现在一说起人工智能的起源，公认是1956年的达特茅斯会议。殊不知还有个前戏：1955年，美国西部计算机联合大会（Western Joint Computer Conference）在洛杉矶召开，会中还套了个小会：“学习机讨论会”（Session on Learning Machine）。讨论会的参加者中有两个人参加了第二年的达特茅斯会议，他们是塞弗里奇（Oliver Selfridge）和纽厄尔（Allen Newell），塞弗里奇发表了一篇模式识别的文章，而纽厄尔则探讨了计算机下棋，他们分别代表两派观点。讨论会的主持人是神经网络的鼻祖之一皮茨（Pitts），他最后总结时说：“（一派人）企图模拟神经系统，而纽厄尔则企图模拟心智（mind）……但殊途同归。”皮茨眼可真毒，这预示了人工智能随后几十年关于“结构与功能”两个阶级、两条路线的斗争。
开聊达特茅斯会议之前，先说六个最相关的人。首先，会议的召集者麦卡锡（John McCarthy）当时是达特茅斯学院的数学系助理教授。两年前（1954... 阅读全帖 |
|
f***y
发帖数: 4447 | 46 https://www.ifanr.com/1243061
清华大学开发出全球首款异构融合类脑计算芯片——「天机芯」，由该芯片驱动的的「
无人驾驶自行车」登上了最新一期 Nature 封面！
这项研究由依托精密仪器系的清华大学类脑计算研究中心施路平教授团队进行，演示了
一辆由新型人工智能芯片驱动的自动驾驶自行车。
基于此研究成果的论文「面向人工通用智能的异构天机芯片架构」（Towards
artificial general intelligence with hybrid Tianjic chip architecture）作为
封面文章登上了 8 月 1 日《自然》（Nature），实现了中国在芯片和人工智能两大领
域《自然》论文零的突破。
▲ 天机芯片 5×5 阵列扩展板
现阶段，发展人工通用智能的方法主要有两种：一种是以神经科学为基础，尽量模拟人
类大脑；另一种是以计算机科学为导向，让计算机运行机器学习算法。二者各有优缺点
，目前将两者融合被公认为最佳解决方案之一。发展一个二者融合的计算平台将是推动
融合的一个关键。新型芯片融合了两条技术路线，这种融合技术有望提升各个系统的能
... 阅读全帖 |
|
r****y
发帖数: 26819 | 47 不是这个意思，这里的神经网络只是用来tune一些参数的，不能起到不断学习进步的作
用，作者已经用了十四万的对局数据，但是在kgs上的等级分基本固定了，除非人工再t
une参数。
这里比较取巧的就是拿MCTS来做同步，而神经网络只起到打酱油调参数作用。事实上，
绝大多数时候MCTS是不采取神经网络计算结果的。到第300到第400步之间的时候，MCTS
采用神经网络计算结果的比率是30.6%，前面都是23%左右，一般300步早就到官子了，
官子每步棋都只有30%的准头，请问这神经网络不就是个瞎支招打酱油的么？
几个月时间做到1d就算不错，但你怎么判断这1d是MCTS的功劳还是神经网络的功劳呢？
如果作者把MCTS部分拿出来做个纯MCTS的程序，我估计就算没有1d也差不多了。换句话
说，神经网络和学习功能没有足够的说服力，paper自己也承认纯用神经网络的远远比
不上MCTS跟神经网络混搭的，这说明神经网络只是噱头，还是靠MCTS出力，而别人做的
MCTS的程序早就不止1d了，那这篇paper和项目的价值在哪。既然做了跟纯神经网络
程序对比的，干嘛不敢做一个跟自己的纯MCTS算法对比的呢？ |
|
w***g
发帖数: 5958 | 48 所谓“深度”，是特指训练三层以上的神经网络。小于三层就是浅的，大于三层就是深
的。
神经网络在９０年代火过一阵，各种理论早就已经成熟了。back propagation的理论跟
网络深度是无关的，但实际运行的时候就是发现层数大于三的话就训练不上去。
所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
抬不起头。９０年代神经网络拿funding得时候，应该把深浅网络都promise了拿过一遍
钱了。
然后没有deliver，并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
部分解决了，需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了，
所以造出来“深度学习”这个概念来乎悠人。
(CNN的经典论文LeCun 1998 Gradient-based learning applied to document
recognition.)
然后来说这个“部分解决”的问题。现在深度网络可以训练了，不是理论有了突破，
而是靠的大数据＋快硬件。如果按传统的机器学习套路，一个对象先提取一个特征，
然后应用学习算法，这个数据量其实还是不够大的。各种深度学习的一个典... 阅读全帖 |
|
m***r
发帖数: 359 | 49 机器学习日报 2015-03-11
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅：给 [email protected]
/* */ 发封空信， 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-03-11/short.html
1) 【如何看待Deepmind将研发能玩《毁灭战士1》的AI】 by @winsty
关键词：深度学习, 资源, Naiyan Wang, 幻灯片
我在 @知乎 回答了【如何看待Deepmind将研发能玩《毁灭战士1》的AI？】：说好的要
来更新，拖延症了下-.- 先来分享下我上周组会的slides: Naiyan Wang -
Miscellaneous 。 几点insight我愿意在这里再重复一遍： 1. 我个… [1]
[1] http://zhi.hu/gY0q
2) 【cxxnet实现深度神经网络】 by @phunter_lau
关键词：深度学习, 算法, 代码, 段子, 神经网络
《皮老师有话说》系列之三《蛋蛋和皮老师新论文》使用了深度... 阅读全帖 |
|
m***r
发帖数: 359 | 50 机器学习日报 2015-03-11
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅：给 [email protected]
/* */ 发封空信， 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-03-11/short.html
1) 【如何看待Deepmind将研发能玩《毁灭战士1》的AI】 by @winsty
关键词：深度学习, 资源, Naiyan Wang, 幻灯片
我在 @知乎 回答了【如何看待Deepmind将研发能玩《毁灭战士1》的AI？】：说好的要
来更新，拖延症了下-.- 先来分享下我上周组会的slides: Naiyan Wang -
Miscellaneous 。 几点insight我愿意在这里再重复一遍： 1. 我个… [1]
[1] http://zhi.hu/gY0q
2) 【cxxnet实现深度神经网络】 by @phunter_lau
关键词：深度学习, 算法, 代码, 段子, 神经网络
《皮老师有话说》系列之三《蛋蛋和皮老师新论文》使用了深度... 阅读全帖 |
|
