最简单的FNN也流行higher order化了 - Programming版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 最简单的FNN也流行higher order化了

相关主题
● question: C#,python,C interfacing	● 谈谈编程的目的是什么?
● CNN网络之后一般还要加FNN？	● 抛砖引玉： Bill Gates的话有没有道理？
● [合集] 这是个数学问题吧? 想不出来	● 问几个很俗的C++问题啊！
● 问个编程算法题	● 编程大牛一般赚多少钱?
● 问卷，2016你最想学习的一门技术	● 关于投资的思考
● Re: [BSSD] GTX1080是业余GPU (转载)	● Gate One看起来很不错
● 请教：关于sentence classification	● 据说Bill Gates要回微软工作
● 请推荐java 机器学习库。。。	● goodbug真是可悲啊

相关话题的讨论汇总
话题: fnn话题: 网络话题: order话题: higher话题: 流行

进入Programming版参与讨论

(共1页)

l******x
发帖数: 1

最近看到一堆gated linear unit（GLU）的东西：两路feedforward网络结果dot
product一下再输给下一级，这样网络系数的个数就double了。Recurrent网络已经彻底
二阶化了，gates无处不在。Attention其实也是一个大的gate，只是一组输出共用一个
weight。这趋势，基本上所有的一阶网络都会换成second order neural network的形
式了。

(共1页)

进入Programming版参与讨论

相关主题
● MS 有戏	● 问卷，2016你最想学习的一门技术
● 这个 GOODBUG 太让人恶心	● Re: [BSSD] GTX1080是业余GPU (转载)
● 赵海平加入阿里巴巴	● 请教：关于sentence classification
● 假如想实现 entity recognition， relation extraction这些功能的话，除了GATE，还有哪些其它的open source library。	● 请推荐java 机器学习库。。。
● question: C#,python,C interfacing	● 谈谈编程的目的是什么?
● CNN网络之后一般还要加FNN？	● 抛砖引玉： Bill Gates的话有没有道理？
● [合集] 这是个数学问题吧? 想不出来	● 问几个很俗的C++问题啊！
● 问个编程算法题	● 编程大牛一般赚多少钱?

相关话题的讨论汇总
话题: fnn话题: 网络话题: order话题: higher话题: 流行

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

boards

未名新帖统计// 7月16日

历史上的今天