a***w
发帖数: 63 | 1 近日AI有了新进展，Ilya Sutskever（Hinton的学生）介绍了新算法，不再需要NN 的
backpropagation，看来不再需要大型矩阵运算，因此可以用CPU 代替GPU
https://www.technologyreview.com/s/603916/a-new-direction-for-artificial-
intelligence/
I read that paper (quickly), and I was thinking that the core idea is to use
CPUs instead of GPUs.
https://www.reddit.com/r/MachineLearning/comments/60n8qy/p_evolution_
strategies_in_pytorch/ |
C*****5
发帖数: 8812 | 2 Thank you for sharing
use
【在 a***w 的大作中提到】
: 近日AI有了新进展，Ilya Sutskever（Hinton的学生）介绍了新算法，不再需要NN 的
: backpropagation，看来不再需要大型矩阵运算，因此可以用CPU 代替GPU
: https://www.technologyreview.com/s/603916/a-new-direction-for-artificial-
: intelligence/
: I read that paper (quickly), and I was thinking that the core idea is to use
: CPUs instead of GPUs.
: https://www.reddit.com/r/MachineLearning/comments/60n8qy/p_evolution_
: strategies_in_pytorch/
|
a***w
发帖数: 63 | 3
这儿有对算法的详细讨论：
https://www.reddit.com/r/MachineLearning/comments/62e59j/research_evolution_
strategies_a_review_and_a_few/
【在 C*****5 的大作中提到】
: Thank you for sharing
:
: use
|
C*****5
发帖数: 8812 | 4 要好好看看。我一直都说，这种东东是NVDA最大的风险
evolution_
【在 a***w 的大作中提到】
:
: 这儿有对算法的详细讨论：
: https://www.reddit.com/r/MachineLearning/comments/62e59j/research_evolution_
: strategies_a_review_and_a_few/
|
T*********r
发帖数: 2953 | |
T*********r
发帖数: 2953 | 6 他说
ES is able
to achieve linear speedup in the number of CPU cores.
那用 GPU core 更好了 |
C*****5
发帖数: 8812 | 7 快速的看了一下视屏，简单的说几句：
1）Evolution Strategy对deep reinforcement learning（RL）效果很好，可以在某些
benchmark problems上和back prop比肩（但是需要更多的数据）。
2）对于deep supervised learning来说，效果还远不如back prop，也许永远也比不上
back prop。具体原因是reinforcement learning的gradient非常noisy，用back prop
效果就很差。但是对于supervised learning来说，它的gradient比较平缓，现在的
back prop方法似乎已经很好了，Evolution Strategy似乎也不能提供没有更好的效能
（再具体的我才疏学浅，暂时说不清楚）。
3）现在这个阶段，nvda的GPU大部分都是在做deep supervised learning，比如图像，
语言等。RL的实际应用远远不如supervised learning。这个进展对NVDA亦喜亦忧。忧的
是可能以后做RL用不到这么多GPU了（but again, supervised learning的需求还是大头
）。但是喜的是有些更复杂的所谓的true AI问题，比如自动驾驶的进展可能长远来看
更仰仗RL的进步。如果RL算法没有进步，对整个产业的生态也是打击。如果RL能像
supervised learning那样突破，也许每个应用少用一半GPU，但是应用多出来5倍，整体
对GPU产业也是有帮助的。这个具体以后还要在看。
总之要密切关注算法的进展。哥最大的噩梦就是那天一觉醒来发现用个ARM
cortex32 就能算imagenet了，那NVDA就真的完蛋了。但是那一天暂时还看不到。所以
还是继续long and hold NVDA, 明天得买个47块的leap put. 毕竟巴菲特炒股第一条，
Never lose Money.
【在 T*********r 的大作中提到】
: 他说
: ES is able
: to achieve linear speedup in the number of CPU cores.
: 那用 GPU core 更好了
|
