由买买提看人间百态

topics

全部话题 - 话题: 神经网络
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
e*******s
发帖数: 1979
1
来自主题: Programming版 - 王垠:我为什么不在乎人工智能
这年代活的冒烟的什么Deep Learning, 大部分核心的算法上个世纪60-80年代全部都搞
出来了 CNN RNN LSTM等等
神经网络真正的崛起跟AI和Machine Learning的研究基本上没半毛钱关系, 反而是硬件
牛B了 分布式系统做好了. 大规模的特别是分布式training能够快速实现了. 所以结果
就NB了.
在这期间的30年, 大部分的Machine Learning Research都在run SVM. 这东西就是在一
段时间内(90年代到2007年之前)因为结果比神经网络好, 神经网络就被彻底遗弃了. 懂
这玩意的都知道这tm太可笑了, 就捣鼓几个kernal函数, 用kernel trick把数据
project到高维空间, 有点常识的人都知道这种结构复杂度能有多少, 用什么kernel函
数也不可能获得高复杂度的智能. 可惜大家要毕业, 要发paper, 要找工作, 要混饭吃,
这些都无所谓.
作为一个搞AI Research混饭的屌丝, 我的理解是, 这一行真正搞"AI"的人没几个.
C*****5
发帖数: 8812
2
来自主题: Programming版 - 胡扯几句什么叫Deep Learning入门
今天有空瞎扯几句,版上的大神们不要见笑。其实今天很多人所谓的ML入门,其实是DL
入门,或者叫神经网络入门。我觉得可以分三步。
第一,把Goodfellow等著的deep learning书Part I and Park II都看懂,包括第一章数
学基础都查漏补缺完成,基本的理论基础就具备了。看不懂的youtube,Coursera,
udacity找资源帮助理解。
第二,自己实现几个简单的神经网络,我个人建议是用numpy手撕一个MLP,一个
vanilla的CNN和一个vanilla的RNN,重点是了解matrix(或者叫tensor)在层之间怎么流
动,forward(比如convolution),backward(尤其是RNN的backpropagation
through time)怎么实现。这些都不难,但是需要一些耐心。虽然耗时间,但是对彻底
摸清神经网络的工作细节很有帮助。所有的三个网络都可以用mnist数据集。
第三,学习一两个主流的libraries。个人推荐先学pytorch,后学tensorflow。因为这
两个是DL libraries的两种风格,imperat... 阅读全帖

发帖数: 1
3
来自主题: Programming版 - 有没有做sentiment analysis的,求思路
前面说过:不要用神经网络!不要用神经网络!不要用神经网络!
CNN RNN啥的都是需要很多的feature,数据量要大,比如图片那种,全是像素,
feature都差不多,你扔到CNN里一层层BP就能把重要feature弄出来然后performance高。
但是你这个sentiment analysis,有两大原因,导致不能用NN这种暴力方法:
1. 数据量:太小,才几万句;NN在NLP领域唯一比较成功的就是各种embedding,不管
是BOW还是skip-gram,数据量都很大,你算算那些东西展开后,都是2的多少次方;这
个任务里,句子实在太少;
2. NLP里面,feature权重差别大:NLP不像图片,所有feature几乎可以看作都一样,
比如像素;就sentiment来讲,sentiment或者说opinion可能存在于词层面(pos)、短
语层面(chunking)、句子层面(syntax)、甚至段落(semantics);什么NN加
word2vec只能照顾到词层面,顶多一部分短语层面,句子和段落的信息全丢了。
按照前面括号里提到的相关方法提取出feature,然后加入上... 阅读全帖
g****t
发帖数: 31659
4
来自主题: Programming版 - tensorflow.js
我这也是随便说说。不对的可能性很大。
之前我写过一个AI血泪史的帖子吧。
一个phd用一些开关,瓶瓶罐罐,电线做神经网络。
后来神经网络被明斯基弄死了。还有个人自杀了什么的。
这phd哥们果断转向做硬件。发明了世上第一个微处理器。
成为intel第一位院士。他要是坚持做神经网络会怎么样?
这就不知道了。
所以很多考虑看着相反,但可能都是有道理的。
一个考虑可能只要足够丰富就能有一些结果。不是非黑即白。
a******o
发帖数: 16625
5
来自主题: Biology版 - 这个很给力吗?
http://www.popyard.com/cgi-mod/newspage.cgi?num=825688&r=0&v=0&
美国华裔美女研究员:成功研制人工神经网络
信源:苹果日报
加州理工学院华裔研究员成功利用脱氧核糖核酸( DNA)分子,製造出全球首个人工神
经网络,更证明浸在试管液体中的神经网络有思考能力,懂得正确回答问题,令电影里
的人工智能或会成真。
点击图片看原样大小图片 点






图:学士(98-02) 东南大学,博士(04-07) 上海交通大学
点击图片看原样大小图片 点






图:左:Len Adleman 中:钱璐璐 右:Erik Winfree。2007年毕业于上海交通大学Bio
-X研究院的钱璐璐博士(导师是贺林院士),最近在美国加州理工(Caltech)用试管
里的小 DNA分子器件构造出目前最复杂的、每一个元件都是设计合成的生化电路。相关
文章《增大DNA链置换级联的数字电路计算的规模》(Scaling up digital circuit
computation with DNA strand displ... 阅读全帖
h****n
发帖数: 29
6
人的生命由意识和躯体组成。从信息科学的角度分析,人的生命活动可以简化为:
外界信息输入——》信息处理——》信息输出控制肌肉运动。信息处理就是意识活动,
它的载体是大脑神经网络。不同的大脑神经网络结构具有不同的意识活动,每个人的大
脑神经网络结构不同,意识也就不同。
大脑神经网络结构由许多单个神经元相互连接组成。单个的神经元也具有外界信息
输入——》信息处理——》信息输出功能。实验表明,不同网络结构的神经元,其信息
处理能力不同。信息处理能力指:输出信息/输入信息, 或表示为: C/R (C=输出,R=
输入)。神经元的C/R就是该神经元的信息值。
神经元有记忆功能:神经元可以对同一输入信息,总是给出相同的输出信息,对不
同输入信息给出不同输出信息,这就是记忆功能。神经元的这种记忆功能,越刺激使用
它会越强烈,不使用它,就会慢慢衰退。可见,神经元的记忆功能不需要特别的储存记
忆体,它是通过神经元输出/输入比值(C/R)变化来实现的。这与电脑的记忆储存方式不
同。
神经元连接组合(神经网络)有思维功能:神经元数量巨大,都是相互连接起来的,
一头探测外界输入信息,一头输出到控制肌肉运... 阅读全帖
v*******e
发帖数: 11604
7
我老也来说几句吧,不要伪币,伪币我多得要命。
我老不在此领域,却高强度地读了大半年的神经生物学的文献。我的看法是,如果有兴
趣,那么搞CS吧,大数据、神经网络、机器学习方向。神经生物学怎么搞都还是生物,
是靠血汗来出文章。一个实验做累死人,出个好文章难,有个贡献难。我记住名字的老
中学生、破死刀,就是个Nuo Li,写了不少文章,那些实验看起来得有多少血汗。而建
立在这些血汗基础上的神经网络、机器学习方向是个好方向。
关心神经的人都知道那个飞鸟和飞机的对比。人观察飞鸟,想发明人类的飞行。然而发
明飞机之后,改进飞机就不需要多少飞鸟的生物学研究了。我想神经方面现在就是这个
状况。现在就处于发明真人工智能的关键时间段,很快真人工智能就会出现。而在这之
后的神经生物研究,就等同于发明飞机之后的飞鸟研究了,会很快发现funding枯竭,
大部分人转行,剩下少数搞纯科学兴趣研究的,和研究神经疾病的。你的师弟到时候再
转行,不如现在就搞CS,大数据、神经网络、机器学习方向。现在入行,到时候大发展
的时候就牛了,相当于莱特兄弟之后那航空器大发展的时候。
v*******e
发帖数: 11604
8
我老也来说几句吧,不要伪币,伪币我多得要命。
我老不在此领域,却高强度地读了大半年的神经生物学的文献。我的看法是,如果有兴
趣,那么搞CS吧,大数据、神经网络、机器学习方向。神经生物学怎么搞都还是生物,
是靠血汗来出文章。一个实验做累死人,出个好文章难,有个贡献难。我记住名字的老
中学生、破死刀,就是个Nuo Li,写了不少文章,那些实验看起来得有多少血汗。而建
立在这些血汗基础上的神经网络、机器学习方向是个好方向。
关心神经的人都知道那个飞鸟和飞机的对比。人观察飞鸟,想发明人类的飞行。然而发
明飞机之后,改进飞机就不需要多少飞鸟的生物学研究了。我想神经方面现在就是这个
状况。现在就处于发明真人工智能的关键时间段,很快真人工智能就会出现。而在这之
后的神经生物研究,就等同于发明飞机之后的飞鸟研究了,会很快发现funding枯竭,
大部分人转行,剩下少数搞纯科学兴趣研究的,和研究神经疾病的。你的师弟到时候再
转行,不如现在就搞CS,大数据、神经网络、机器学习方向。现在入行,到时候大发展
的时候就牛了,相当于莱特兄弟之后那航空器大发展的时候。
b**e
发帖数: 3199
9
来自主题: Biology版 - 记忆的存储方式究竟是什么?
看来我们要向搞人工神经网络的学习了。难道我们的大脑真的像这些模型里说的有个
Forget gate?
wiki:
长短期记忆人工神经网络(Long-Short Term Memory, LSTM)是一种时间递归神经网络
(RNN)。LSTM是一種含有LSTM區塊(blocks)或其他的一種類神經網路,文獻或其他資料
中LSTM區塊可能被描述成智慧型網路單元,因為它可以記憶不定時間長度的數值,區塊
中有一個gate能夠決定input是否重要到能被記住及能不能被輸出output。
右圖底下是四個S函數單元,最左邊函數依情況可能成為區塊的input,右邊三個會經過
gate決定input是否能傳入區塊,左邊第二個為input gate,如果這裡產出近似於零,
將把這裡的值擋住,不會進到下一層。左邊第三個是forget gate,當這產生值近似於
零,將把區塊裡記住的值忘掉。第四個也就是最右邊的input為output gate,他可以決
定在區塊記憶中的input是否能輸出 。
LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌
的测试表明... 阅读全帖
f****y
发帖数: 243
10
来自主题: EE版 - 图像处理算法还有前途吗
DL也没法数学建模的。。。说到底还是统计推断。。。只不过,这次的神经网络层数多
了,相当于用了好大好大一个模型架构,然后,调参。。。
这么大模型咋调参呢?大数据!通过大量数据来拟合这个巨型模型。。。
以前深度的神经网络没法训练的。。。现在提了各种方法,使得深层次的神经网络能训
练了。。。
反正我觉得说到底就是个统计推断。。。还没啥数值稳定性。。。
C*****5
发帖数: 8812
11
来自主题: EE版 - 图像处理算法还有前途吗
深度神经网络的理论基础还有待完善,但是常用于图像分析的ConvNet的前几层做的就
是edge detection和feature extraction,这个东西最美妙的地方就是用到的数学概念
极其简单,懂微分和一点基本的线性代数和统计(任何理工科大学生,甚至生物系的学
生都应该会的)就能理解
神经网络的基本原理。其实这也好理解,Convnet是神经网络里最接近人脑视觉系统的
模型,感光细胞和神经元的结构决定了不可能是很复杂的数学表达。
f****u
发帖数: 443
12
【 以下文字转载自 Wisdom 讨论区 】
发信人: forayu (thinkorswim), 信区: Wisdom
标 题: 伪时空结构 (中科院生物物理研究所 杨新宇)
发信站: BBS 未名空间站 (Fri May 23 20:28:49 2014, 美东)
略论唯识学的世界观八
分类: 略论唯识学的世界观全文
2.3.1.2.伪时空结构
我们说时空概念可以理解成解释和整理事件之间关系的一种概念工具,并不存在真实的
时空。但这种工具为什么能有效呢?因为事件之间的关系满足时空约束条件,所以能用
时空概念来概括这些事件和关系。那事件之间的关系为什么会满足时空约束条件呢?所
谓满足时空约束条件是指事件之间的定量关系满足一定条件,如果定量关系是在某种更
基本的关系基础上产生的,那么问题就进一步还原为这种更基本的关系怎样造成使事件
之间的定量关系,使之仅仅时空约束条件。这样提问则问题清晰多了,一种自然的解释
是,相对事件构成了某种结构,使得事件之间量化关系接近时空约束条件。这种结构可
称为伪时空结构。伪时空结构可以是一个由众多微细事件交织成的网,构成其它事件展
开的背景。就象电影荧... 阅读全帖
f**d
发帖数: 768
13
来自主题: Neuroscience版 - 神经科学 vs 认知科学
东南大学吴健雄电子生物学实验室对神经科学的定义--相对认知科学而言:
http://www.lmbe.seu.edu.cn/biology/bess/biology/chapt16/16-4.ht
脑科学,狭义的讲就是神经科学,是为了了解神经系统内分子水平、细胞水平、细
胞间的变化过程,以及这些过程在中枢功能控制系统内的整合作用而进行的研究。
(美国神经科学学会)广义的定义是研究脑的结构和功能的科学,还包括认知神经
科学等。
1、基础神经科学:侧重基础理论
– 神经生物学:研究人和动物的神经系统的结构与功能、及其相互关系的科学,
是在分子水平上、细胞水平上、神经网络或回路水平上乃至系统和整体水平上阐明
神经系统特别是脑的物质的、能量的、信息的基本活动规律的科学。(认识脑)
由六个研究分支:分子神经生物学(化学物质)、细胞神经生物学(细胞、亚细胞
)、系统神经生物学、行为神经生物学(学习记忆、情感、睡眠、觉醒等)、发育
神经生物学、比较神经生物学
– 计算神经科学:应用数学理论和计算机模拟方法来研究脑功能的学科。(创造脑
)
2、临床神经科学:侧重医学临床应用
研究与神经系统有关的疾病,... 阅读全帖
f**d
发帖数: 768
14
Terrence J. Sejnowski
Professor and Laboratory Head
Computational Neurobiology Laboratory
Terrence J. Sejnowski, professor and head of the Computational
Neurobiology Laboratory, is a pioneer in the field of computational
neuroscience.
Education
B.S., Physics, Case Western Reserve University
Ph.D., Physics, Princeton University (J.Hopfield was his Ph.d advisor)
Postdoctoral fellow, Biology, Princeton; Neurobiology, Harvard Medical
School
听过几次TERRY的报告,其人说话很快,激情,典型的物理系学者的模式。
http://www.salk.edu/fac... 阅读全帖
h****n
发帖数: 29
15
人的生命由意识和躯体组成。从信息科学的角度分析,人的生命活动可以简化为:
外界信息输入——》信息处理——》信息输出控制肌肉运动。信息处理就是意识活动,
它的载体是大脑神经网络。不同的大脑神经网络结构具有不同的意识活动,每个人的大
脑神经网络结构不同,意识也就不同。
大脑神经网络结构由许多单个神经元相互连接组成。单个的神经元也具有外界信息
输入——》信息处理——》信息输出功能。实验表明,不同网络结构的神经元,其信息
处理能力不同。信息处理能力指:输出信息/输入信息, 或表示为: C/R (C=输出,R=
输入)。神经元的C/R就是该神经元的信息值。
神经元有记忆功能:神经元可以对同一输入信息,总是给出相同的输出信息,对不
同输入信息给出不同输出信息,这就是记忆功能。神经元的这种记忆功能,越刺激使用
它会越强烈,不使用它,就会慢慢衰退。可见,神经元的记忆功能不需要特别的储存记
忆体,它是通过神经元输出/输入比值(C/R)变化来实现的。这与电脑的记忆储存方式不
同。
神经元连接组合(神经网络)有思维功能:神经元数量巨大,都是相互连接起来的,
一头探测外界输入信息,一头输出到控制肌肉运动。当2... 阅读全帖
i**a
发帖数: 98
16
来自主题: Neuroscience版 - 记忆的秘密
我认为这两个的区别,一个要求精确记忆,一个只需要模糊记忆。一个号码虽然可能只
有简单的两三个数字,但需要精确地记住每个数字及顺序。而一段复杂的路径,你未必
真的需要“记住”每一个细节。如果让你在家里复述或回想一下整条路的细节,你未必
能做到。但当你走在这条路上,“熟悉的场景”能不断提醒你做出正确的路径选择,最
后成功达到终点。
记忆一般认为由特定神经元网络中神经元间的连接(突触)强度决定。记忆的形成过程
即是突触强度的修饰过程。不同记忆形式(数字当属语言信息,路径当属空间信息)涉
及的神经网络不同,不同神经网络的可修饰潜力(可塑性)也会有所不同。
记忆的读取过程在这个事例中也有重大差别。就如第一段提到,回忆一串数字是一个比
较纯粹的记忆信息提取过程。而“凭记忆”走上正确的路则不然。在你前进过程中,曾
经见过的场景(已产生或强或弱的记忆痕迹)能刺激大脑(可能是重激活了相关记忆痕
迹的神经网络)使人产生一种“熟悉感”,正是这种“熟悉感”指引你做出正确的路径
选择。
对于语言记忆,联想记忆法应该是有帮助。把需要记忆的东西编成或编入一个熟悉的或
有意思的故事,如果能比较容易的回想这个“故事”,... 阅读全帖
m***r
发帖数: 359
17
来自主题: DataSciences版 - 机器学习日报2015年2月楼
机器学习日报 2015-02-07
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-07/short.html
1) 【WSDM2015上腾讯和百度关于语义匹配的报告】 by @李航博士
关键词:会议活动, 算法, 应用, 资源, Juchao Zhuo, Kaihua Zhu, WSDM, 行业动态,
幻灯片, 会议, 集成学习, 信息检索
#WSDM2015#会议上,腾讯的报告Semantic Matching in APP Search (by Juchao Zhuo)
,百度的报告Boosting Search with Deep Understanding of Contents and Users (
by Kaihua Zhu) 讲的都是语义匹配,其实是搜索的核心问题。幻灯片: [1]
[1] http://www.wsdm-conference.... 阅读全帖
m***r
发帖数: 359
18
来自主题: DataSciences版 - 机器学习日报2015年2月楼
机器学习日报 2015-02-12
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-12/short.html
1) 【特征工程系列文章】 by @爱可可-爱生活
关键词:经验总结, 算法, Python, 博客, 集成学习, 特征工程
[文章]《Selecting good features》特征工程系列文章:Part1.单变量选取 [1]
Part2.线性模型和正则化 [2] Part3.随机森林 [3] Part4.稳定性选择法、递归特征排
除法(RFE)及综合比较 [4] 内容很赞,还有Python代码示例,强烈推荐!
[1] http://blog.datadive.net/selecting-good-features-part-i-univariate-selection/
[2] http://blog.datadive.net/selectin... 阅读全帖
m***r
发帖数: 359
19
来自主题: DataSciences版 - 机器学习日报2015年2月楼
机器学习日报 2015-02-13
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-13/short.html
1) 【世纪佳缘用户推荐系统的发展历史】 by @breezedeus
关键词:算法, 应用, 推荐系统
本周终于把年终总结给写完了,技术篇( [1] )主要介绍了佳缘用户推荐系统的发展
历史,反映了我们对这个推荐问题不断思考和理解的过程。里面也写了一些我这几年做
推荐的感想。另外,世纪佳缘技术研发中心有多个职位(算法、分布式系统、php工程
师)正在招聘,欢迎大家投简历。
[1] https://breezedeus.github.io/2015/01/31/breezedeus-review-for-year-2014-
tech.html
2) 【通过数据分析解读GDP系列文章】 by @爱可可-爱生活
关键词:算法, 聚类
[文章]通过数据分析... 阅读全帖
m***r
发帖数: 359
20
来自主题: DataSciences版 - 机器学习日报2015年2月楼
机器学习日报 2015-02-17
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-17/short.html
1) 【为什么Ray Kurzweil的垃圾科学理论能够骗人?】 by @王威廉
关键词:Ray Kurzweil
什么是垃圾科学?为什么Ray Kurzweil的垃圾科学理论能够骗人? 文/ @王威廉 [1]
[1] http://weibo.com/p/1001603811157545745463
2) 【羊年应该翻译成...Year of the ovicaprid(Victor Mair)】 by @继东微博
关键词:经验总结, 资源, Victor Mair, 博客, 教育网站, 梅维恒, 数据
俺在宾大的导师梅维恒(Victor Mair)对羊年的译法可能最为特别:Year of the
ovicaprid。他主张“羊”是在青铜时代从草原地... 阅读全帖
m***r
发帖数: 359
21
来自主题: DataSciences版 - 大数据日报 2015年2月楼
机器学习日报 2015-02-19
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-19/short.html
1) 【百度Deep Speech讨论会视频】 by @黄浩XJU
关键词:深度学习, Andrew Ng, 行业动态
昨天百度Deep Speech讨论会视频 Andrew Ng ‏ @AndrewYNg Starting right
now! Presentation on Deep Speech breakthrough on deep learning+speech.
Livestream [1]
[1] https://freeflowapp.com/v/2ajfgt
2) 【SearchOnMath:数学搜索引擎】 by @网路冷眼
【SearchOnMath:数学搜索引擎】 [1] SearchOnMath 旨在让学生和研究者... 阅读全帖
m***r
发帖数: 359
22
来自主题: DataSciences版 - 机器学习日报 2015年3月楼
机器学习日报 2015-03-14
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-03-14/short.html
1) 【LINE模型大规模网络降维公布论文以及源代码】 by @chuckpku
关键词:应用, 社交网络
我们的论文“LINE: Large-scale Information Network Embedding”被WWW2015接收。
该论文提出的LINE模型能够在单机上把大规模网络降维到低维空间表示,稍后我们将公
布论文以及源代码 @张铭PKUCS
2) 【概率图模型基础总结】 by @数盟社区
关键词:算法
【概率图模型基础总结】在这一过程中,模型往往是必须的,什么样的模型才是相对正
确的?这又是我们需要解决的问题。这些问题出现在很多领域,包括模式识别、差错控
制编码等。概率图模型是解决这些问题的工具之一。 [1]
[1] http://dat... 阅读全帖
m***r
发帖数: 359
23
来自主题: DataSciences版 - 机器学习日报 2015年3月楼
机器学习日报 2015-03-14
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-03-14/short.html
1) 【LINE模型大规模网络降维公布论文以及源代码】 by @chuckpku
关键词:应用, 社交网络
我们的论文“LINE: Large-scale Information Network Embedding”被WWW2015接收。
该论文提出的LINE模型能够在单机上把大规模网络降维到低维空间表示,稍后我们将公
布论文以及源代码 @张铭PKUCS
2) 【概率图模型基础总结】 by @数盟社区
关键词:算法
【概率图模型基础总结】在这一过程中,模型往往是必须的,什么样的模型才是相对正
确的?这又是我们需要解决的问题。这些问题出现在很多领域,包括模式识别、差错控
制编码等。概率图模型是解决这些问题的工具之一。 [1]
[1] http://dat... 阅读全帖
X******2
发帖数: 5859
24
来自主题: _Hope版 - 京东也IPO了
神经网络训练得速度很慢。
深度学习部分因为这个原因发明,当初某神经网络
大牛让一学生去琢磨多层神经网络的训练速度,结
果歪打正着发现训练出来的结果作为特征得到得模
型精度很高。于是包装下提出了深度学习。
X******2
发帖数: 5859
25
来自主题: _Hope版 - 教授的最好时代
这个吴恩达学术上只能说做得很不错。但是运气很好,
得MJ鼎力支持,斯坦福谷歌和百度又都给了他极好的平台。
娶的老婆很漂亮,还是倒贴上门的,IEEE杂志还专门登了
此事。老夫前天还在硅谷某处看到鸟人,抱着电脑在大厅
里闲庭信步,一副人生得意的姿态。只有羡慕的份。
深度学习没有啥新理论,老Hinton搞了一辈子神经网络,
眼看着神经网络死了又活活了又死。一次偶然歪打正着,
本来是想让学生解决多层神经网络的计算问题,结果得到
了很好的特征,在图象或语音上做预测或是分类效果相当
好。然后这帮手头握有资源较多的人就成了最快的跟风者,
吴就是其中之一,还有那个以前在百度的俞凯。
v*******e
发帖数: 1715
26
来自主题: _PathToTruth版 - 修行这事

机器是强大,不是聪明
人类20瓦的大脑,看过5万盘棋,以每秒85米传输速度的神经网络,
对抗上万瓦的大脑,看过5千万盘棋而且都都反复记住,以每秒30万公里传输速度的神
经网络。
后者赢了,是后者强大,不是后者算法聪明。 如果后者能前着这样归纳抽象外推,是
聪明。 人类大脑经过自然进化,能快速简单发现本质和规律,这是算法优越和聪明。
而提出规律并解释世界,才是最最聪明,所以e=mc2这是聪明。
你看了半天机器学习。。那里面就没规律,根本就没走--现象--规律--外推,
本质就是:强实验,试用各种方法看哪个好,然后记住。 然后大概整体压缩一下(这
远不是抽象)。本质是一个经过一定方法(神经网络)压缩的大量事实。(self
denoise encoder)。 而神经网络的结构还是外在事先确定的,人类还能改变结构。
这段话如果明白了,就懂点机器学习了。
v*******e
发帖数: 1715
27
来自主题: _PathToTruth版 - 修行这事

机器是强大,不是聪明
人类20瓦的大脑,看过5万盘棋,以每秒85米传输速度的神经网络,
对抗上万瓦的大脑,看过5千万盘棋而且都都反复记住,以每秒30万公里传输速度的神
经网络。
后者赢了,是后者强大,不是后者算法聪明。 如果后者能前着这样归纳抽象外推,是
聪明。 人类大脑经过自然进化,能快速简单发现本质和规律,这是算法优越和聪明。
而提出规律并解释世界,才是最最聪明,所以e=mc2这是聪明。
你看了半天机器学习。。那里面就没规律,根本就没走--现象--规律--外推,
本质就是:强实验,试用各种方法看哪个好,然后记住。 然后大概整体压缩一下(这
远不是抽象)。本质是一个经过一定方法(神经网络)压缩的大量事实。(self
denoise encoder)。 而神经网络的结构还是外在事先确定的,人类还能改变结构。
这段话如果明白了,就懂点机器学习了。
C*********g
发帖数: 3728
28
科研人员,无论有多nb,越是老就越是有经验,同时也越会被经验所束缚。这个束缚不
是指头脑僵化,而是指对于自己毕生的研究,越看越伟大光荣正确。即使有着极大地不
确定性甚至是危险,自己也看不到。一个神经网络,反复train了n次,没有
overfitting才怪。
所以老科学家,从事本专业的研究往往很危险。牛顿爱因斯坦都免不了,我等凡人如何
能免得了?老科学家的长处在于指点年轻人,以及对于相邻领域的看法。比如神经网络
的一个著名的例子:Perone&Cooper 1992年的boosting,Cooper是拿了超导体的炸药奖
的,老了却来搞计算机,另辟蹊径,成了一段佳话。
肖的智力确实有留美学界的中上水平,但是没有自我反思的能力。结果就是对于自己毕
生的研究,越看越伟大光荣正确。批评者?那是一定要从肉体上消灭的。方肘子再
文革文风,毕竟还没有肖这样文攻武卫的心理。

而对其研究大肆批判。这到底是一种什么样的心态?是光明磊落,还是别的,大家自己
评判!
夸大这个项目的有效性,没有人给他钱,不会有学生和研究人员跟他搞研究, 他的研究
就进行不下去,可能本来很有用,能够解决无数病患痛苦的这项技术... 阅读全帖
w**********1
发帖数: 2588
29
来自主题: ChinaNews版 - 给大家讲个故事:钟医和希医
个人觉得中医的理论有点像 计算机科学 中的 “神经网络” 理论,
未必对治病可以"知其然且知其所以然",但是对于人体这个"暗箱"
通过输入-> 反馈 -> (修正)输入 的循环往复方式去不断趋近正确的输
入,从而解决病症。
西医则走的是实证主义的逻辑,但其局限性在于只能解决明确知道
原因和解法的病症,而对于有待研究的类似"暗箱"的病症,确实没
什么办法。
两者的方法论是不同的,但是确实可以相互借鉴的,比如西医的研
究可以帮助中医减少输入变量的数目(减少不确定性)。当然,中医
几千年的积累,也确实通过总结,在一定程度上减少了输入变量不确
定性,中医中的名医跟庸医的区别主要也就在经验的积累(通过几千年
的历史积累和自身行医的经验)上的不同,名医能够把输入变量的不确
定性减少到一个更小的范围,从而有更大的概率在短时间内解决病症,
庸医则需要面对更大的不确定性,从而显得(在合理的时间段里)治
不好病。
当然,人体在很大程度上,依然还是一... 阅读全帖
o***s
发帖数: 42149
30
请问:伏羲、姬昌、莱布尼茨、柏拉图,这四人当中谁是二进制思想的最早提出者?请问:以下哪个概念和公孙龙的《指物论》中的“指”字含义相近?a、变量;b、数组;c、对象;d、指针……这样的题目摆在面前,你会不会顿生“这都哪儿跟哪儿”的无助感?这就是在网上热传的让理科生沉默、让文科生流泪的一套文理综合题,题目有够让人抓狂的,不管你是文科生、理科生,不管你是工人、学生、农作物制造者还是知识分子,欢迎前来挑战,至于能做出几题就看诸君天文地理、历史哲学、数学操作等全方位的修养啦!
一,选择题(皆为单选):
1,以下谁是二进制思想的最早提出者?
a,伏羲;b,姬昌;c,莱布尼茨;d,柏拉图。
2,以下哪个概念和公孙龙的《指物论》中的“指”字含义相近?
a,变量;b,数组;c,对象;d,指针。
3,蔺相如,司马相如;魏无忌,长孙无忌。下列哪一组对应关系与此类似?
a,PHP,Python;b,JSP,servlet;c,java,javascript;d,C,C++。
4,秦始皇吞并六国采用了以下哪种算法思想?
a,递归;b,分治;c,迭代;d,模拟。
5,雅典王子忒修斯勇闯克里特岛斩杀米诺牛的时候采用... 阅读全帖
T*******x
发帖数: 8565
31
【 以下文字转载自 Programming 讨论区 】
发信人: wdong (万事休), 信区: Programming
标 题: 我来讨论下意识的问题吧
发信站: BBS 未名空间站 (Mon May 29 17:11:29 2017, 美东)
坛子里很多人喜欢提意识,甚至意识的量子机制,
其实本质上来说是用一些说不清的东西蹚浑水。
我觉得很多人其实没有认真思考过这些问题。
这些东西我思考过很多,而且还在不断思考,
下面说说我的看法。
佛教里有八识之说。其中前五识眼耳鼻舌身,其实
就是目前普通计算机能处理的视觉,听觉等输入。
第六识意识,就是神经网络的自反馈。从实现上来说,
就是把部分神经元的状态作为神经网络的输入,也就是
recurrent neural network。
佛教的第七识末那识,也就是“我执”的起源,
我觉得还可以再分解。其中的“执”,其实就是
AI的优化目标。对于人类而言,这个目标是写死在
基因里的。对于AI而言,则是程序员指定的一个目标。
以上这些,目前AI理论中都已有对应部分。
至于“我执”中的“我”,这个才是坛子里的诸位
在谈“意识”时真正所指的东西。如果... 阅读全帖
m***n
发帖数: 12188
32
中国那几个问题,
有些人不是要讨论,而是要灌输,通过三千万之类,灌输你对中共的负面情感
好比对神经网络的训练,要训练你的神经网络。
N*******g
发帖数: 370
33
来自主题: Military版 - 下一代大数据分析技术
随着以Hadoop为代表的大数据分析技术的普及,大数据的商业价值得到深入挖掘,并开
始在互联网、零售、医疗、物联网等多个行业里成为商业变革的主导力量。Facebook最
近就发布了名为Graph Search的新型社交搜索产品,基于海量的社交关系网络及“
Likes”行为数据,为用户提供个性化的社交搜索服务,该产品被认为将是Google搜索
业务的重要竞争对手。在电子商务领域,淘宝的数据魔方就是一个基于大数据分析的典
型产品。数据魔方基于淘宝所掌握的大量消费数据提供各种各样的分析服务,例如展示
消费者的购物习惯,地域分布,年龄分布,热销排名等,为淘宝卖家提供了非常有价值
的分析数据。然而,这些现有的大数据分析技术处理的主要对象仍集中于文本数据,例
如社交图谱,搜索关键字,商品数目,店铺、商品浏览记录,成交、收藏、评价记录等
等,却没有涵盖一类非常重要的数据:多媒体。
实际上,多媒体数据的数据不仅规模远远超过文本数据,其商业价值也毫不逊色。以全
球流量最大的网站Youtube为例,它在07年一年所消耗的网络带宽就等同于整个互联网
在2000年的全部流量。另一方面,多媒体数据的来源也是异常... 阅读全帖
c****3
发帖数: 10787
34
现在的人工神经网络,其实是搞计算机,稍微知道一点大脑神经元工作原理,然后凭着
自己想象,创造出来的。那个深度神经网络,也是一样。
说白了还是觉得自己是上帝,认为靠自己想象,就可以胜过上帝(大自然)的创造
c****3
发帖数: 10787
35
所以我说现在的人工智能方向,都在搞计算机自己想象的,你去问学生物的,他们肯定
不同意这个方向。
神经网络是不错,但是具体到神经脉冲的编码,这个最基本的,都没有人知道。具体到
神经网络里面,每个模块,是预先设计好基本功能,同时又具备适应性。还是都是随机
产生的,区别大了。
z*******3
发帖数: 13709
36
来自主题: Military版 - 今年生物学奖我觉得靠谱啊
搞的是神经科学
然后最近的图灵奖给的是分布式
我对图灵奖给的领域无意见
make sense,但是给的人有点恩
感觉那个人就没做出啥东西来
都是很简单的一些笼统的总结和概括
但是总得来说,分布式要拿一个奖应该是众望所归
如果有更大的突破再拿就更好了
目前这些感觉都是扯蛋,初中生科普下就能懂
然后分布式和神经网络有异曲同工之妙
分布式可以用来模拟神经网络
所以炸药奖和同性恋奖今年都给了人工智能相关
我觉得这个评奖可以接受,当然图灵奖那个有重大突破就更好了
现在就给,有些过于超前了,因为难的东西才刚开始
z*******3
发帖数: 13709
37
脱离了data了吧
神经网络开始apply进去
走下去谁也不知道结果如何
只能边蒙边搞
这就很危险了,一不小心就被炮灰了
发现生物神经网络那个德裔加拿大叫兽
已经死了几十年了
c**a
发帖数: 561
38
神经网络也好、其他ai说法也好
终究还是需要 data、signal输入
[在 zhaoce073 (迟到早退不思上进的蜥蜴) 的大作中提到:]
:脱离了data了吧
:神经网络开始apply进去
:...........
x********e
发帖数: 35261
39
来自主题: Military版 - 门捷列夫居然没有得过诺贝尔
神经网络可以用电脑模拟,但是现实中remodel神经网络不容易啊。
d*********u
发帖数: 2952
40
来自主题: Military版 - 人脸识别是怎么做到的
这些也没超出以往神经网络的那个认知程度啊。
从民科角度看,以往的神经网络对人的模拟纯属开玩笑。
模拟人脑这活儿,你不嗑药,不吸毒,很难构造出比较靠谱的学习算法。

use
d*********u
发帖数: 2952
41
来自主题: Military版 - 人脸识别是怎么做到的
我给你再加俩字:现场
现场定义模式再识别,这才是人干的,当然人干的远不止这些。
你说这些特征,没一个绝对靠谱的,甚至会毁掉整个判断。直接特征提取是绝对不可行
的。
我之前对径向基,还有稍好些的elman神经网络都小试过。
之后再也不弄了。
管那叫神经网络,侮辱人啊。
y********l
发帖数: 3970
42
谷歌围棋科学欺诈表现的重要原因 大象关冰箱要几步?
信源:刘锋博客|编辑:2016-03-06| 网址:http://www.popyard.org 抄送朋友|打印保留
在讨论谷歌围棋AI及其比赛问题之前,我们先看那个著名的笑话“把大象关进冰箱要几
步“,2000年中国春晚,赵本山、宋丹丹的小品《钟点工》,曾经用到了这个笑话:问
“把大象放进冰箱总共分几步?”答:“三步,第一步把冰箱门打开;第二步把大象放
进去,第三步把冰箱门带上”。
小品中的情景只是一个笑话,
从科研角度看,因为故意忽视最为关键的第二步,使得这个原本伟大的科学实验,变成
了笑话段子。本文提出谷歌围棋AI及其比赛有科学欺诈表现,根源也在这里。
...
Nature论文阐述的AlphaGo基本原理,按照人工智能专家的评价:”其基本原理并没有
新东西“,但核心价值是学习了近万盘人类历史高手的棋局,和自我对战下的3000万盘
棋局总结的经验。
请注意,这个关键内容,也就是AlphaGo到底终结出什么围棋规律,或者其神经网络的
权重值是什么,谷歌并没有发表出来。也就是谷歌在”大象关进冰箱要几步“问题上,
说出了... 阅读全帖
t******g
发帖数: 4044
43
看来网上扑克赌场的生意做不了多久了。
学界 | 新论文提出玩扑克人工智能DeepStack:已达职业玩家水平
2017-01-10 机器之心
选自arxiv.org
机器之心编译
参与:吴攀、李亚洲
当地时间 1 月 11 日,在宾夕法尼亚州匹兹堡的 Rivers 赌场,由卡耐基梅隆大学(
CMU)开发的名为 Libratus 的人工智能系统将与人类顶级职业德州扑克玩家进行 20
万美元的比赛。然而 CMU 并不是唯一一个在研究如何让人工智能学习玩扑克牌的地方
,近日,加拿大阿尔伯塔大学、捷克布拉格查理大学和捷克理工大学的研究者联合发表
了一篇论文,表示其人工智能已经在无限制扑克(No-Limit Poker)游戏上达到了专家
级的水平。点击阅读原文可下载该论文。
摘要
近些年来,人工智能领域出现了很多突破,其中游戏往往被用作重要的里程碑。过去实
现那些成功的游戏的一个常见的特征是它们都涉及到玩家之间的信息对称,即所有的玩
家都获取了相同的信息。然而和游戏相比,这种完美信息(perfect information)的
性质在真实世界问题中却少见得多。扑克是一个典型的不完美信息(impe... 阅读全帖
Z********n
发帖数: 300
44
当地时间2月8日,美国国家工程院(The National Academy of Engineering ,NAE)
公布了最新入选的84名院士和22名外籍院士名单。加上今年新院士后,美国国家工程院
院士总数为:院士2281名,外籍院士249名。
在这份新鲜出炉的名单中,共有8位华人入选。分别是:
加利福尼亚大学计算机科学系教授丛京生;
加利福尼亚大学电子工程与计算机科学系教授King Liu, Tsu-Jae;
通用电气副总裁陈向力;
美国能源部太平洋西北国家实验室Leung, L. Ruby;
伦斯勒理工学院电子与计算机系统工程学院教授周祖康(Chow, Joe H);
南加州大学化学工程和材料科学系教授张东晓;
西北大学机械工程学院教授黄永刚;
微软全球执行副总裁沈向洋(外籍院士)。
美国国家工程院的新闻稿称,入选NAE院士,对于工程师而言是最高的专业荣誉。这一
荣誉是对入选人在工程领域内从事研究、实践和教育做出卓越贡献的肯定。
美国国家工程院官网介绍,院士的评定由同行(当前美国国家工程院院士)推荐。
值得一提的是,美国国家工程院拒绝个人申请。无论是院士(美国国籍)还是外籍院士
... 阅读全帖
m*****u
发帖数: 15526
45
如果有一天,你突然发现身上的一颗痣变得有些奇怪,你会怎么做?虽然这可能是一个
危险的信号,但很多人因为工作忙、去医院不便等种种原因,往往不会及时去检查。现
在,人工智能为这个问题提供了更好的解决方案:在未来,我们或许可以在手机上下载
一个APP,开个摄像头让机器医生帮我们看一看,这是不是皮肤癌的早期症状。
斯坦福大学一个联合研究团队开发出了一个皮肤癌诊断准确率媲美人类医生的人工智能
,相关成果刊发为了1月底《自然》杂志的封面论文,题为《达到皮肤科医生水平的皮
肤癌筛查深度神经网络》(Dermatologist-level classification of skin cancer
with deep neural networks)。他们通过深度学习的方法,用近13万张痣、皮疹和其
他皮肤病变的图像训练机器识别其中的皮肤癌症状,在与21位皮肤科医生的诊断结果进
行对比后,他们发现这个深度神经网络的诊断准确率与人类医生不相上下,在91%以上。
深度学习为医学添砖加瓦
在中国,皮肤癌并不是癌症家族中特别瞩目的成员,这是因为黄种人的皮肤癌发病率要
低于白种人。但在美国,皮肤癌却是最常见的癌症... 阅读全帖
d*****u
发帖数: 17243
46
来自主题: Military版 - AI真要能起来还是应该留在美国
所以现在神经网络又火了呢
因为神经网络理论上可以学会各种复杂的函数
任何一个系统都可以看成是对输入进行转换
你用(造物主设计的)电容电感硬件作积分或者微分
我也可以用习得的函数软件直接对输入做积分或者微分(不需要人直接写微积分code)
m*****e
发帖数: 10963
47
来自主题: Military版 - 从科学到科幻。。。好书好书!
好书好书,一口气读完! 作者很给力,知识丰富,素养扎实!
哪位菌斑读完的请本帖留名,有空本版切磋!
没读的就请别过了。
必须说明的是这是一本新书刚刚成书,是alfago战胜李世石后出的书!不是一本老掉牙
的老生常谈,十分值得菌斑有思辨爱好的将军一读!
谢谢
------------
从科学到科幻 —— 给《不存在》的讲稿
180 塔塔酱 作者
2016.05.10 02:18 打开App
目录
开场白
科学家的工作方式
理论物理与实验物理
理论物理与数学
物理与哲学
物理与科幻
现代物理中所用的数学工具
微分几何
纤维丛
群论
其它数学
更多的物理话题
大尺度额外维
全息原理
标度相对论与二元相对论
Finsler宇宙
作为统计的宇宙
宇宙的诞生与演化
关于黑洞
量子理论与自由意志
大数据与心灵史学
结尾
开场白
科幻与奇幻、魔幻的根本区别在哪里?
这种区别的主要体现,就在于整个世界环境的背景构建上,也在于人物对世界的观点与
看法上。
也及,科幻作品的整个世界背景的设定,以及人物对其所处环境的整个看法,必须要让
读者相信自己真的深处一个科技的世界。同样的魔幻... 阅读全帖
a***m
发帖数: 5037
48
DL的神经网络不是模拟了人脑神经网络 。只是 inspired by 人脑

发帖数: 1
49
人工智能根本就不是计算机领域里的
当年做神经网络的都是ee系的人甚至做生物信息学的人。cs根本不做神经网络
你仔细看看四大牛人的背景,即便李飞飞都是物理系的背景,吴恩达是数学系和统计系
出身,Michael Jordan在Berkeley的统计系,根本就不是计算机系。

:稍有计算机常识的人都知道 DL只是概念上 Inspired by 人脑 而不是 imitate。
b****s
发帖数: 872
50
大脑是有神经网络,但是这个网络除了传递神经脉冲,还有其他什么用,谁也不知道。
神经网络可能也就是个通信网络,是传递信号的。
真的的意识和记忆在哪里,怎么产生的,没有人知道
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)