f*******t
发帖数: 7549 | 1 来自主题: Programming版 - 可微分编程 DL与FP的结合，会不会成为未来的编程方式呢？
Yann LeCun：深度学习已死，可微分编程万岁！
原创 2018-01-06 文强 新智元
【新智元导读】LeCun又发表惊人言论，继昨天参与深度学习论战、喷机器人Sophia后
，今天他在Facebook主页发文，称“深度学习已死，可微分编程万岁！”深度学习真的
死了？而可微分编程又是什么呢？
LeCun又语出惊人了，这次直指深度学习——
好，深度学习作为一个流行词，现在时效已过。
深度学习已死，可微分编程万岁！
事情要回溯到前天。
1月4日，AAAI前主席Thomas Dietterich连发10条Twitter，驳斥纽约大学心理学家Gary
Marcus对深度学习的批评。其中，Dietterich提到，
“深度学习本质上是一种新的编程方式——可微分编程——而且这个领域正试图用这种
方式来制定可重用的结构。目前我们已经有：卷积，池化，LSTM，GAN，VAE，memory单
元，routing单元，等等。”
这个说法让英伟达的AI架构VP Clement Farabet深表赞同，Farabet还评价说，这是对
现今深度学习的最好总... 阅读全帖 |
|
m*********1
发帖数: 42 | 2
就是啊.我觉得二战后至今应该是微分几何（广义）, 特别是复微分几何(包括辛几何)
的辉煌时期. 前有Kodaira(算半个微分几何学家吧),后有丘成桐,Gromov, Donaldson,
Taubes等等。其实Atiyah，Hitchin， Grifiths等的部分工作也与微分几何直接相关。
复代数几何与复微分几何（包括辛几何）已经分不清了。这从Grifiths—Harris的书中
可见一斑。所以有这些发展，最根本的原因是因为有了陈氏示性类这一套打通拓扑和微
分几何的工具。另一原因是DeRham-Hodge理论。实微分几何（Riemann几何）相对没有
那么辉煌，直到Perelman的工作。
微分（分析）比代数多了一个取极限运算，所以微分几何/几何分析有时能得到纯代数
几何得不到的结果。但分析是局部的，工作通常都比较繁复，是局部性的。不像直接用
代数或拓扑方法得到的结果那样“层次”高，漂亮。应是各有长短。 |
|
p***n
发帖数: 17190 | 3 天是積分 地是比例, 人是微分
比如說 GDP怎麼都公佈的是年增長率? 這個是微分
人愛看微分, 微分比起比例來說, 似乎多點學問
地是比例 是多少就是多少, 不難看出來
那為啥說是天意? 天 是積分
積分很難積,得先懂微分才行,
所以要懂天 ,就得先懂人
金融界喜歡說領先指數跟落後指數,那都是微分
但我喜歡看積分, 貨幣總發行量,這是積分
金圓券105兆,人民幣 153兆,這是積分
天意,在其中矣 |
|
p***n
发帖数: 17190 | 4 天是積分 地是比例, 人是微分
比如說 GDP怎麼都公佈的是年增長率? 這個是微分
人愛看微分, 微分比起比例來說, 似乎多點學問
地是比例 是多少就是多少, 不難看出來
那為啥說是天意? 天 是積分
積分很難積,得先懂微分才行,
所以要懂天 ,就得先懂人
金融界喜歡說領先指數跟落後指數,那都是微分
但我喜歡看積分, 貨幣總發行量,這是積分
金圓券105兆,人民幣 153兆,這是積分
天意,在其中矣 |
|
p***n
发帖数: 17190 | 5 天是積分 地是比例, 人是微分
比如說 GDP怎麼都公佈的是年增長率? 這個是微分
人愛看微分, 微分比起比例來說, 似乎多點學問
地是比例 是多少就是多少, 不難看出來
那為啥說是天意? 天 是積分
積分很難積,得先懂微分才行,
所以要懂天 ,就得先懂人
金融界喜歡說領先指數跟落後指數,那都是微分
但我喜歡看積分, 貨幣總發行量,這是積分
金圓券105兆,人民幣 153兆,這是積分
天意,在其中矣 |
|
p***n
发帖数: 17190 | 6 三次以上的微分
三次以上的式子
蓋不得以而用之
一次不對稱 那三次五次的都塞這邊
兩次對稱 那四次六次的都塞這邊
一次微分不管正負是自己 那就e
兩次正微分是自己 也是 e
兩次負微分是自己 那就是 sin cos 波動函數
就這樣
工數 沒別的了
厭世負教授的數學 |
|
l*********g
发帖数: 1899 | 7 我在这个bbs上混了十几年，第一次看到“纯人工”转帖。哈哈。
我还想起个笑话，就是当年朱经武作为陈省身女儿的男友第一次去见陈省身的时候，他
的同学还是同事提醒他在去之前要系统详细地学习研究一下微分几何，以便应对微分几
何数学家陈省身的提问。不过后来据说两人见面后并没有谈及微分几何。
看来泡数学家或其女儿好像也不需要学习微分几何。for别的就更没必要学了。哈哈...
... |
|
p***n
发帖数: 17190 | 8 那富麗葉轉換就是取出
二次負微分的 衡重 參數
那有沒有三次負微分 四次負微分?
用不著
都可以用一次二次概括
還有數學家也懶得用比二次更高的
除了寫論文之外 |
|
s*******n
发帖数: 740 | 9 经典的关于曲线和曲面的微分几何
或者 微分流形
微分拓扑？ |
|
L*******t
发帖数: 2385 | 10 【 以下文字转载自 Quant 讨论区 】
发信人: Leinhardt (Leinhardt), 信区: Quant
标 题: 版上有微分几何高手吗
关键字: 金融几何学
发信站: BBS 未名空间站 (Mon Sep 21 14:59:21 2015, 美东)
准备正式开始金融几何学的研究了，我想把所有金融理论用微分几何的理论重新写一遍。
需要一个微分几何高手和我一起工作。
说白了就是想要抱大腿啊！给我头条吧。 |
|
g**********t
发帖数: 475 | 11 【 以下文字转载自 Mathematics 讨论区 】
发信人: geneticdrift (yellow), 信区: Mathematics
标 题: 问一下微分和积分交换顺序的规律
发信站: BBS 未名空间站 (Fri Mar 5 21:57:08 2010, 美东)
非数学专业菜鸟在看随机过程方面的东西，发现很多时候可以交换微分和积分的顺序。
请问这有没有规律可循？什么时候可以交换微分符号和积分符号的顺序？什么时候不可
以呢？谢谢。 |
|
L****8
发帖数: 3938 | 12 来自主题: Programming版 - 可微分编程 可微分这个说法太局限了
从优化的角度讲 可以用 数值差分得到导数 取代 微分解析表达式得到导数
比如说我有一个神经网络
我可以设计一个子模块 y1=g(x1) 这个子模块内 求导异常复杂 简直不可能
所以 back propagation 出问题了
但是如果用数值差分 近似可以得出导数
比如说matlab的 优化函数 就支持数值差分法求导
Gary |
|
l********1
发帖数: 13 | 13 在matlab中求解一个常微分方程组（ODEs)，使用ode45时，求解速度非常的慢。
MATLAB帮助中提示如果ode45的求解速度非常慢，说明该微分方程组是stiff的，可以尝
试ode15s。
我的问题是：是什么造成了方程组出现stiff的情况？ 如何避免方程组出现stiff的情
况？
请高手指点,不胜感激！ |
|
m****n
发帖数: 45 | 14 如果f是从光滑流形M到光滑流形N的一个光滑映射
那么是不是可以用f和N的微分结构在M上定义一个新的pullback微分结构？
如果不行，那么是不是当f满足一定条件后就可以呢？ |
|
m*******s
发帖数: 3142 | 15 现在的教材上把常系数常微分方程组已经讨论的比较清楚了，但是我遇到一个问题，就
是当常微分方程组的系数不是常数，而是自变量的函数的时候，有没有比较一般的讨论.
即类似于如下的方程组
dX/dt=f11(t)X+f12(t)Y
dY/dt=f21(t)X+f22(t)Y |
|
g****t
发帖数: 31659 | 16 x'=A(t)x的解一般没有close形式。
在对A(t)一般的光滑性条件之下。
Picard iteration展开式必然收敛。
所以A(t)的矩阵指数函数应该看作对A(t)x使用Picarard iteration得到的级数。
现在的教材上把常系数常微分方程组已经讨论的比较清楚了，但是我遇到一个问题，就
是当常微分方程组的系数不是常数，而是自变量的函数的时候，有没有比较一般的讨论.
即类似于如下的方程组
dX/dt=f11(t)X+f12(t)Y
dY/dt=f21(t)X+f22(t)Y |
|
g**********t
发帖数: 475 | 17 非数学专业菜鸟在看随机过程方面的东西，发现很多时候可以交换微分和积分的顺序。
请问这有没有规律可循？什么时候可以交换微分符号和积分符号的顺序？什么时候不可
以呢？谢谢。 |
|
w**a
发帖数: 1024 | 18 一个n阶的常微分方程可以化成 一阶常微分方程组 （n个方程）。这个过程很简单。
反过来 怎么 把 一阶常微分方程组 变成一个高阶微分方程。有没有简单方法。例如
d/dx [yn] = A(x) [yn]
其中 [yn] = (y1, y2, ..., yn) 列向量，每个 yj = yj(x).
A = A(x) is a n-by-n matrix.
多谢。 |
|
R**********n
发帖数: 523 | 19 为什么二战以后微分几何只有Yau一个菲尔兹奖?而数论代数几何拓扑分析等都很多?至
不是微分几何太散没有大问题? |
|
l******r
发帖数: 18699 | 20 怎么说你，你这个人没一点主见，丫胡说八道你也信？你到底是不是数学系phd？
首先我先跟你科普一些调和分析的发展历史。怕你不水平不高给你说的通俗易懂点。我
就是要让这个版敢挑战我权威的人原型鄙陋
调和分析是很广泛的学科，总体来说就是数学分析＋拓扑＋返汉（包括函数论和算子论
），凡是你能把其他学科用到数学分析上都可以算作调和分析的范畴，所以有人建议不
要用调和分析了，就叫分析算了
调和分析起源最早是fourier算子，plancheral算子等等在古典数学分析里的应用，这
很简单，不说了，
后来椭圆蒜子的发展，也就是你常见的Delta蒜子，带动了调和函数论的发展。调和函
数有很多好的性质，比如最大模原理。调和函数论开启了一个很好的开端，就是将古典
分析和算子结合起来。通过研究算子的性质来刻画特征函数的性质
20世纪随着拓扑，返韩的兴起，数学进一步走向抽象画。算子的范畴也不再是傅立叶算
子，椭圆蒜子这种简单特殊的算子，而是抽象的更一般的算子，它的特征值特征根的性
质。比如各种复杂的微分算子，积分算子，极大算子，。。。另外，函数空间的抽象画
也赋予调和分析新的内容，不一定是傅立叶分析里L2空间... 阅读全帖 |
|
L*******t
发帖数: 2385 | 21 俺的数学就是master水平，甚至连master都算不上啊，现在好后悔当年读微分几何的时
候，没有静下心来多读几本经典教材，多看几篇好文章。。。
搞的现在要用的时候，捉襟见肘啊。
数学PhD都是有两把刷子的人读的。我本科就意识到这条路我自己走不通了。
陈维桓和陈省身的两本书，都是经典教材中文的，中英文我倒不太在乎。
我现在需要的是把以前学过的赶紧捡起来，因为现在我要用的从微分流形，黎曼几何，
主纤维丛，李群李代数和Gauge理论（这个我没学过，有没有从数学角度入手介绍的
notes？）都有
些借鉴。所以一下子懵了。
GTM是要看的，但是我觉得凭我的水平，一下子看GTM肯定是以卵击石，所以想先看一些
简单的过度一下。 |
|
L*******t
发帖数: 2385 | 22 准备正式开始金融几何学的研究了，我想把所有金融理论用微分几何的理论重新写一遍。
需要一个微分几何高手和我一起工作。
说白了就是想要抱大腿啊！给我头条吧。 |
|
t********t
发帖数: 1264 | 23 微分几何是啥？我初中几何很好，从没低过一百分，可是大学微分不行 |
|
s***e
发帖数: 911 | 24
是常微分方程?
高价微分都是可以通过升维变成一次微分的. 最后的结构是:
D[Y[t],t]=F[Y,t;P]
如果F中不含X,就是自治方程. P是个参数, Y是个矢量.
平衡点就是:
F=0的解.
对给定平衡点Y_{*}, 就可以作稳定性分析:
把F在Y_{*}作展开,到一价就是个矩阵A:
D[Y[t],t]=AY
然后对A的分析决定这个点的稳定性. 比如说如果A的特征值都是负的, 就是稳定的.
这个分析不难, 找本微分方程书看看就有. |
|
a******9
发帖数: 20431 | 25 我老非杀老鼠专业的工科博士 现在也不太记得咋微分了 |
|
|
发帖数: 1 | 27 教个屁的微积分，就会套几个微分，积分公式，其实根本不懂微积分怎么回事。
都是刷分骗大学录取的。那头黑猪，不就靠AA录了所有名校？ |
|
s*****g
发帖数: 225 | 28 好像是这么回事。地震预报也可以这样试试：
把各种数据的各阶微分/积分列出来，再拿地震地点，时间，震级比较，
能大致对上，就研究这类数据 |
|
w**********5
发帖数: 1741 | 29 把大象装进冰箱里！
一 数学家的办法
把大象放到冰箱里的分析学方法
1）先把大象微分，然后把它放到冰箱里，再在冰箱里把它积分。
2）重新定义冰箱或者大象的测度（如Radon测度）。
3）用Banach-Tarski定理。
把大象放到冰箱里的代数学方法
1）先证明大象的每一部分都可以放到冰箱里。
2）再证明冰箱对加法封闭。
把大象放到冰箱里的拓扑学方法
1）让大象把冰箱吞了，再把冰箱从里到外翻出来。
2）把冰箱做成Klein瓶。
把大象放到冰箱里的线性代数方法
1）把大象的基先放进去，再在冰箱里张成空间。
2）把大象作奇异值分解，去掉大于冰箱维数所对应的特征值，由剩余特征向量即可恢
复出一头可以放进冰箱之中的大象。
把大象放到冰箱里的集合论方法
1）冰箱 = {大象}
2）大象和冰箱的内部有相同的势。
把大象放到冰箱里的复分析方法
1）把冰箱放在原点，大象放在单位圆之外，作反演变换。
把大象放到冰箱里的数值计算方法
1）把大象的尾巴放进去，剩余部分当作余项处理。
2）用最快的Pentium解决这个问题。
把大象放到冰箱里的统计学方法
1）取大象的尾巴作样本。
糟糕的统计学方法
1）不停地... 阅读全帖 |
|
H*****1
发帖数: 4815 | 30 就是 differential 吧 或者是 ordinary differential
偏微分才说 partial differential |
|
s*****V
发帖数: 21731 | 31 来自主题: Programming版 - 可微分编程 数值微分比直接求导要慢多了，有多少个参数N，就要EVAL多少次，对于神经网络这样
的有上千万的参数，这个TASK不是tractable的 |
|
g****t
发帖数: 31659 | 32 来自主题: Programming版 - 可微分编程 也可以链式数值微分。尽管还是不如autograd快。autograd是把一些函数的导数存起来
了，所以不用算exp. |
|
L****8
发帖数: 3938 | 33 来自主题: Programming版 - 可微分编程 对于复杂操作 写不出导数来的 就得数值微分
这应该是个研究方向 |
|
O*t
发帖数: 75 | 34 我有一个函数
re[k_] = Cos[z*(Sqrt[(w/v)^2 - k^2] - Sqrt[(w/c)^2 - k^2] - w/v + w/c)]
我需要对这个函数求2*l 次阶的对k 微分， 其他的w, v, c, z, 可当作
不受k影响的变量， 作符号运算
我定义：
d2lre[k_, l_] = D[re[k], {k, 2*l}]
我是在windows上算的， 但是发现算到 l=12是没问题的， 到l = 16就很吃力了
到l=18就说memory不够了。。。
我的问题是， 我这么算，对吗？ 有没有别的方法， or mathematica有deal with
memory 的办法吗？
实在是mathematica 初初级选手...望高手指点一二... |
|
w*s
发帖数: 272 | 35 【 以下文字转载自 Physics 讨论区,原文如下 】
发信人: wms (sigh), 信区: Physics
标 题: 非线性常微分方程组，用什莫软件搞点啊
发信站: Unknown Space - 未名空间 (Wed Apr 27 21:29:23 2005) WWW-POST
二阶的， |
|
l***y
发帖数: 174 | 36 一个常微分方程组，大约有100个左右要estimate的parameters
10，000个equations。equations>>parameters
所以考虑用Least Square Fit求近似解
用什么软件，什么函数可以解决
我对数值计算没有什么经验，新手问题，希望大家不吝赐教，谢谢 |
|
l********1
发帖数: 13 | 37 多谢！
AUTO可能很好，只是它是用Fortran写的，而我的那个微分方程组（一个动态系统）是
用MATLAB写的。这么看来，我暂时还无法借用AUTO了。 |
|
O*t
发帖数: 75 | 38 【 以下文字转载自 Computation 讨论区 】
【 原文由 Oct 所发表 】
我有一个函数
re[k_] = Cos[z*(Sqrt[(w/v)^2 - k^2] - Sqrt[(w/c)^2 - k^2] - w/v + w/c)]
我需要对这个函数求2*l 次阶的对k 微分， 其他的w, v, c, z, 可当作
不受k影响的变量， 作符号运算
我定义：
d2lre[k_, l_] = D[re[k], {k, 2*l}]
我是在windows上算的， 但是发现算到 l=12是没问题的， 到l = 16就很吃力了
到l=18就说memory不够了。。。
我的问题是， 我这么算，对吗？ 有没有别的方法， or mathematica有deal with
memory 的办法吗？
实在是mathematica 初初级选手...望高手指点一二... |
|
S****t
发帖数: 1186 | 39 不知道怎么清除的表达:-)
我想做的一些工作包括：
根据曲面方程(z = f(x,y))推导出一些曲面的signature,
比如说曲面上任何一点的坡度，通过该点的任意平面和曲面
方程z=f(x,y)相交的曲线的曲率(curvature)，等等。
有没有比较好的微分几何教材或专著含盖了这些内容，谢谢。 |
|
|
l*****n
发帖数: 18 | 41 我需要求下面这个目标函数关于矩阵W的微分：
Tr( (W'*inv(W*W')*W-I) * C * (W'*inv(W*W')*W-I)' )
这里面W是个M by N的矩阵，M
by N，semi-positive definite matrix；Tr是trace operator。
已经想了半天了，完全没有头绪。大家帮帮忙！ |
|
l*****n
发帖数: 18 | 42 一个师弟帮我推出来了，关于W的微分是：
inv(W*W')*W*C'*(W'*inv(W*W')*W-I)
具体推导太长了。
，N |
|
f*********g
发帖数: 632 | 43 积分微分可推广到分数次、实数次，推广到复数次的。具体有何重要应用？ |
|
f*********g
发帖数: 632 | 44 去年夏天作出这个推广后发现已经有所谓分数次、实数次、复数次的微分积分。这几天
才突然想起，是否我当初推广的方法和已有的方法不一样？不知道已有的推广方法是怎
么推广的。 |
|
f*******y
发帖数: 139 | 45 一阶常微分方程组可以用ode45等解，但需要输入方程组的定义 dy(1) = y(1)+y(2)
如果有上百个变量，这样输入未免太麻烦了
有没有比较好的办法，只用矩阵就可以定义的(等式右边没有变量的高阶项 如y(1)^2)
这种方程组也可以直接手动数值解，就是怕影响速度。 |
|
i******n
发帖数: 78 | 46 请问有什么方法可以求出以下微分方程组的解析解？谢谢！
dx1/dt=a-bx1-cx1(1-x2)
dx2/dt=cx1(1-x2) |
|
w********s
发帖数: 59 | 47 设 f(x,y)=x+2y
做如下变量替换：z=x+y, 得到新函数 f(z,y)=z+y=2z-y=3z-2y=....
问：partial f(z,y) / partial z =?
这样的偏微分有意义吗？谢谢 |
|
q**********7
发帖数: 857 | 48 【 以下文字转载自 Physics 讨论区 】
发信人: qinglong1397 (荊陽公), 信区: Physics
标 题: 求助！！！陳省身《微分幾何講義》題目！！！
发信站: BBS 未名空间站 (Fri Jun 15 17:50:38 2012, 美东)
圖片中被紅圈圈起來的那個式子是如何從黃色高亮的式子得出來的？指標不能隨便放吧。
多謝！ |
|
l********e
发帖数: 3632 | 49 微分几何学基础的大多都要学吧。
你直接问不就完了？ |
|
Y****3
发帖数: 963 | 50 It is difficult to find a 同志 who is studying 微分几何! |
|
