g****t
发帖数: 31659 | 1 不就是加权平均吗。怎么这么神。
张益唐著名论文也是十几层卷积，我一行都看不懂。
不知是不是神经网类似的。 |
w*****r
发帖数: 197 | 2 这个好比做菜。卷积网络牛逼在于可以通过菜的最终味道，逆向工程出佐料的比例(
weight)，放料的次序(layer)，甚至火候(scale)。。。 |
g****t
发帖数: 31659 | 3 make sense.
【在 w*****r 的大作中提到】
: 这个好比做菜。卷积网络牛逼在于可以通过菜的最终味道，逆向工程出佐料的比例(
: weight)，放料的次序(layer)，甚至火候(scale)。。。
|
x****u
发帖数: 44466 | 4 卷积的没什么神奇的，神奇的是深层次反向传导，一下子就能生成几百亿年进化不出的
参数。
谁都知道几百万个参数能拟合世界一切，函数现成，问题是只有上帝知道这百万个数字
应该是什么。有了DL，你能摸到上帝脚趾头了。
【在 g****t 的大作中提到】
: 不就是加权平均吗。怎么这么神。
: 张益唐著名论文也是十几层卷积，我一行都看不懂。
: 不知是不是神经网类似的。
|
g****t
发帖数: 31659 | 5 Can we obtain the Boltzeman constant by using DL?
Or the speed of light?
【在 x****u 的大作中提到】
: 卷积的没什么神奇的，神奇的是深层次反向传导，一下子就能生成几百亿年进化不出的
: 参数。
: 谁都知道几百万个参数能拟合世界一切，函数现成，问题是只有上帝知道这百万个数字
: 应该是什么。有了DL，你能摸到上帝脚趾头了。
|
r*g
发帖数: 3159 | 6 问个土问题，为啥不是点积x(k)y(k) 而是一个k,一个-k?
【在 g****t 的大作中提到】
: 不就是加权平均吗。怎么这么神。
: 张益唐著名论文也是十几层卷积，我一行都看不懂。
: 不知是不是神经网类似的。
|
w***g
发帖数: 5958 | 7 你说的这个叫cross-correlation。
卷积用负号是为了得到对称性。虽然只是一个符号的差别，
卷积满足交换率结合率，推导起公式来方便得多，
而x. corr.没有这些性质。有的数学现象，用卷积
描述是一个漂亮的公式，能看出来规律。如果用x. corr.
描述就是一堆mess， 看不出来规律。规律其实一直都在，
看不看得出来的差别。
如果是训练神经网络，k还是-k没关系。所以我说
其实神经网络就是一个brutal force pattern matching
with sliding window，本来也是很牛x和普世的东西。
只不过那批人愿意硬套数学概念，叫什么卷积和张量。
上面xiaoju说得对，神经网络的牛x在另一个层次上。
光靠套一个卷积概念，还看不出里面的规律来。
这个规律得发明新的数学概念才能看出来。
【在 r*g 的大作中提到】
: 问个土问题，为啥不是点积x(k)y(k) 而是一个k,一个-k?
|
g****t
发帖数: 31659 | 8 (1)
Coorelation/卷积/乘法 都是移位加法.
我写过汇编乘法，如果reuse code，就能看出来是一样.
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
etc. FFT is more efficient.
随机信号的 time domain correlation
和频率域power density的关系是Einstein发明的.
"Method for the determinination of the statistical values of observations
concerning quantities subject to irregular fluctuations"
只有12个引用，Lol
(2)
CNN 后面几步能不能展开说说，我还没学到...
【在 w***g 的大作中提到】
: 你说的这个叫cross-correlation。
: 卷积用负号是为了得到对称性。虽然只是一个符号的差别，
: 卷积满足交换率结合率，推导起公式来方便得多，
: 而x. corr.没有这些性质。有的数学现象，用卷积
: 描述是一个漂亮的公式，能看出来规律。如果用x. corr.
: 描述就是一堆mess， 看不出来规律。规律其实一直都在，
: 看不看得出来的差别。
: 如果是训练神经网络，k还是-k没关系。所以我说
: 其实神经网络就是一个brutal force pattern matching
: with sliding window，本来也是很牛x和普世的东西。
|
l*******m
发帖数: 1096 | 9 一般RAM不是很小的系统，都是用im2col搞成一个大矩阵，然后来一个matmul.
BTW, 随机的那个应该叫 autocorrelation
【在 g****t 的大作中提到】
: (1)
: Coorelation/卷积/乘法 都是移位加法.
: 我写过汇编乘法，如果reuse code，就能看出来是一样.
: 1 2 3
: 1 2 3
: 1 2 3
: 1 2 3
: 1 2 3
: 1 2 3
: etc. FFT is more efficient.
|
g****t
发帖数: 31659 | 10 Einstein did not bring useless extra names in his paper.
All are Shift, weight, and Add. Therefore FFT is applicable and
we can reuse code.
【在 l*******m 的大作中提到】
: 一般RAM不是很小的系统，都是用im2col搞成一个大矩阵，然后来一个matmul.
: BTW, 随机的那个应该叫 autocorrelation
|
|
|
x****u
发帖数: 44466 | 11 这个迟早，而且ai还会把人类漏掉的都扫一遍
目前简单结构的网络已经足够很多人挣大钱了，没动力造更大的
【在 g****t 的大作中提到】
: Can we obtain the Boltzeman constant by using DL?
: Or the speed of light?
|
d*****l
发帖数: 8441 | 12 Polynomial multiplication, smoothing, ...
not that mysterious, if you are EE majored.
【在 g****t 的大作中提到】
: 不就是加权平均吗。怎么这么神。
: 张益唐著名论文也是十几层卷积，我一行都看不懂。
: 不知是不是神经网类似的。
|
b***i
发帖数: 3043 | 13 卷积在这里干嘛的？
乘积的傅立叶变换等于傅立叶变换的卷积
【在 d*****l 的大作中提到】
: Polynomial multiplication, smoothing, ...
: not that mysterious, if you are EE majored.
|
g****t
发帖数: 31659 | 14 I majored in EE and had been in this area 20 years.
If u nested 20 layers convolution,
How to control the error propagation for such complicate systems?
Or, let's say u had a 20 order differential equation, all coefficients had
some inaccuracy and uncertainty. How could that machine work?
The only way I can imagine is, it is not necessary to nest them.
They are actually weakly nested and can be separated into some
Irreverent parts in MOST cases without nest.
In other words, I guess that the very complicated CNN should be decomposed
or decoupled into some small pieces, then the connections or nests are
actually used to fix the corner cases.
Since the connection does not affect the major part and the corner cases
themselves are irreverent. The system is robust.
When we model a car's dynamics, we do not consider human being's neck moving.
That is the most case. When we design the seat belt, we added it.
: Polynomial multiplication, smoothing, ...
: not that mysterious, if you are EE majored.
【在 d*****l 的大作中提到】
: Polynomial multiplication, smoothing, ...
: not that mysterious, if you are EE majored.
|
g****t
发帖数: 31659 | 15 傅立叶变换本身就是加权平均。权值是指数衰减信号。
因为三角函数的方程是x''=x
那么通过傅立叶变换，你把一个信号变成了x的线性组合。那么
这个信号也成了一个微分方程定义的信号。那么就
得到了这个信号的产生方程或者generating machine
卷积也是加权平均。都是类似的。
最后就是一些常系数微分方程互相凑。
常系数线性微分方程在这种凑法下，
是封闭的。所以好用，意外不多，容易解决问题。
最后就是矩阵的一些特征根。
我现在不理解的是，一个大的随机矩阵居然特征根稳定了？
: 卷积在这里干嘛的？
: 乘积的傅立叶变换等于傅立叶变换的卷积
【在 b***i 的大作中提到】
: 卷积在这里干嘛的？
: 乘积的傅立叶变换等于傅立叶变换的卷积
|
v*******e
发帖数: 11604 | 16 卷积为什么牛？其实不是卷积牛，是层层抽象的神经网络牛（高一层的网络对低一层进
行抽象；低一层对高一层有多对few的关系）。如果是all对all的对应关系，主要困难
是很难训练，反向传播算法不容易收敛。加了卷积，其实是加了束缚关系，在大部分保
留层层抽象的能力的条件下，因为这些束缚关系所以反向传播算法能够进行。
猫的视觉处理也有这些束缚关系，是自然条件带来的。V1层就抽象出短线，它们的角度
等。V2层的抽象又高了一些，比如有各种型状。V4又高了一些。最高层里面就有
grandma cell，就是你看到gradma，这个细胞就兴奋了。这就是你们研究的人工神经网
络的输出层。当然你们研究的一般是这个细胞看到汽车就兴奋。别的细胞看到交通标志
就兴奋。 |
v*******e
发帖数: 11604 | 17
生物的大脑里面没有反向传播，所以训练非常缓慢。这是为什么我认为人工智能必将超
越生物智能的基础之一----生物智能毕竟受限制太多了，很多功能，只能用非常复杂的
方法去实现，因为没有反向传播方法，只好用别的方法去实现反向传播算法。生物里面
采用的是Hebbian法，就是用生物的笨方法实现反向传播算法。Motor learning 用的是
微扰法。
【在 x****u 的大作中提到】
: 卷积的没什么神奇的，神奇的是深层次反向传导，一下子就能生成几百亿年进化不出的
: 参数。
: 谁都知道几百万个参数能拟合世界一切，函数现成，问题是只有上帝知道这百万个数字
: 应该是什么。有了DL，你能摸到上帝脚趾头了。
|
x****u
发帖数: 44466 | 18 生物大脑的学习能力弱的吓人啊，ImageNet上AI只用直觉就能击败人类的复杂逻辑分类
【在 v*******e 的大作中提到】
:
: 生物的大脑里面没有反向传播，所以训练非常缓慢。这是为什么我认为人工智能必将超
: 越生物智能的基础之一----生物智能毕竟受限制太多了，很多功能，只能用非常复杂的
: 方法去实现，因为没有反向传播方法，只好用别的方法去实现反向传播算法。生物里面
: 采用的是Hebbian法，就是用生物的笨方法实现反向传播算法。Motor learning 用的是
: 微扰法。
|
g****t
发帖数: 31659 | 19 生物可以写垃圾论文。改造价值观和社会潮流。
机器不行吧？42%的ai论文老中写的。机器行吗
要认真讲，科学研究早就是机器超过人了。我觉得
人的作用主要是销售员。
: 生物大脑的学习能力弱的吓人啊，ImageNet上AI只用直觉就能击败人类的
复杂逻
辑分类
【在 x****u 的大作中提到】
: 生物大脑的学习能力弱的吓人啊，ImageNet上AI只用直觉就能击败人类的复杂逻辑分类
|
x****u
发帖数: 44466 | 20 现在机器追上来了
直觉和灵感已经超过人类了，目前差的是把现有网络组合搞大产品，即神经网络码农
现在地球上虽然各种网络很多，但没有类似Linux那样几千万几亿行的代码定义的大杂
烩网络吧。有的话更具体的工作就能做了。
【在 g****t 的大作中提到】
: 生物可以写垃圾论文。改造价值观和社会潮流。
: 机器不行吧？42%的ai论文老中写的。机器行吗
: 要认真讲，科学研究早就是机器超过人了。我觉得
: 人的作用主要是销售员。
:
:
: 生物大脑的学习能力弱的吓人啊，ImageNet上AI只用直觉就能击败人类的
: 复杂逻
: 辑分类
:
|
