w***g
发帖数: 5958 | 1 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
有的要lua，有的要很奇怪的python库。有的要用scons编译。
然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
lua这语言有啥好的地方，用
的同学能给普及普及吗？看了眼语法觉得好糙的说，
连整数和浮点数都不分。 |
C******8
发帖数: 501 | 2 tensorflow怎么样？
【在 w***g 的大作中提到】
: 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
: 有的要lua，有的要很奇怪的python库。有的要用scons编译。
: 然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
: 我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
: lua这语言有啥好的地方，用
: 的同学能给普及普及吗？看了眼语法觉得好糙的说，
: 连整数和浮点数都不分。
|
N*****m
发帖数: 42603 | 3 apt是ubuntu系的，不难吧
，用
【在 w***g 的大作中提到】
: 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
: 有的要lua，有的要很奇怪的python库。有的要用scons编译。
: 然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
: 我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
: lua这语言有啥好的地方，用
: 的同学能给普及普及吗？看了眼语法觉得好糙的说，
: 连整数和浮点数都不分。
|
S****8
发帖数: 401 | 4 cuda_convnet2 跟 caffe 折腾一下都不算太麻烦哈 |
w***g
发帖数: 5958 | 5 caffe我早就已经上production system了。我就想搞个序列数据的recurrent NN，
分析文本和股票数据。caffe很好C++的，就是速度慢点。CPU版本的convolution
写得比较差，如果好好优化优化能快三五倍。
【在 S****8 的大作中提到】
: cuda_convnet2 跟 caffe 折腾一下都不算太麻烦哈
|
w***g
发帖数: 5958 | 6 刚出来的时候看过review，performance相当差。
目前学术界新的牛B算法一般都是在caffe上做的。
所以deep learning做图像用caffe做是王道。
【在 C******8 的大作中提到】
: tensorflow怎么样？
|
N*****m
发帖数: 42603 | 7 caffe author投靠狗狗了，还搞得下去吗？
【在 w***g 的大作中提到】
: 刚出来的时候看过review，performance相当差。
: 目前学术界新的牛B算法一般都是在caffe上做的。
: 所以deep learning做图像用caffe做是王道。
|
w***g
发帖数: 5958 | 8 这个领域现在很乱。但是caffe目前的model中
颇有几个非常好用的。目前的代码稳定性也不错。
我有自己的fork，做了一些改动，已经好久没同步了。
除了稍微慢点没啥问题。
搞不搞得下去其实无所谓，到时候挑最好的
轮子用就可以。
【在 N*****m 的大作中提到】
: caffe author投靠狗狗了，还搞得下去吗？
|
S****8
发帖数: 401 | 9 晕,这你是搞hedge fund啊...
话说caffe的C++优化快三五倍, 是说假设底层用最快的blas库啥的情况下? 我乍一看还
真不知道caffe 的c++从何下手优化,能不能展开说说?
【在 w***g 的大作中提到】
: caffe我早就已经上production system了。我就想搞个序列数据的recurrent NN，
: 分析文本和股票数据。caffe很好C++的，就是速度慢点。CPU版本的convolution
: 写得比较差，如果好好优化优化能快三五倍。
|
w***g
发帖数: 5958 | 10 一般都是上GPU的，CPU这块什么人关注。我因为要集成到我的系统里，
distribute一个到处跑的binary，不能依赖GPU。所以我的prediction
这一步用的是专门编译的纯CPU版本。我profile过，大部分时间都
费在了convolution上。我以前自己写过neural network，所以这块
比较清楚。如果不用FFT，就用土法，最好是先把图像按sliding
window摊开成一个大矩阵，然后用一个gemm乘法一步解决。
caffe是每个sliding window分别拷出来调用gemm。因为每个
sliding window尺寸很小，其实BLAS是发挥不出威力的。
如果优化得好，主流GPU比主流CPU快不了１０倍的。
不过已经有基于FFT的convolution了，所以我说的土法的优化
也就不值得做了。坐等FFT版本的出来。
【在 S****8 的大作中提到】
: 晕,这你是搞hedge fund啊...
: 话说caffe的C++优化快三五倍, 是说假设底层用最快的blas库啥的情况下? 我乍一看还
: 真不知道caffe 的c++从何下手优化,能不能展开说说?
|
|
|
a*f
发帖数: 1790 | 11 神经网络做系统为什么不用Java
现在又回TIOBE排行榜首位了
C和Java一直排榜首是有原因的
过去十年这样
未来十年还是这样
大部分鸡毛语言十年后不是变了就是消失了 |
S****8
发帖数: 401 | 12 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
, 看看能不能搞到 caffe里面去, 比如FLENS
【在 w***g 的大作中提到】
: 一般都是上GPU的，CPU这块什么人关注。我因为要集成到我的系统里，
: distribute一个到处跑的binary，不能依赖GPU。所以我的prediction
: 这一步用的是专门编译的纯CPU版本。我profile过，大部分时间都
: 费在了convolution上。我以前自己写过neural network，所以这块
: 比较清楚。如果不用FFT，就用土法，最好是先把图像按sliding
: window摊开成一个大矩阵，然后用一个gemm乘法一步解决。
: caffe是每个sliding window分别拷出来调用gemm。因为每个
: sliding window尺寸很小，其实BLAS是发挥不出威力的。
: 如果优化得好，主流GPU比主流CPU快不了１０倍的。
: 不过已经有基于FFT的convolution了，所以我说的土法的优化
|
P**H
发帖数: 1897 | 13 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
960也就不到200。实在不行750ti也凑合了。
tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
机，他家有海量的CPU GPU可用。
mxnet好像也很火。
单机CPU真没必要折腾。
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
S****8
发帖数: 401 | 14 只有 GT 750m ...
【在 P**H 的大作中提到】
: 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
: 960也就不到200。实在不行750ti也凑合了。
: tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
: 机，他家有海量的CPU GPU可用。
: mxnet好像也很火。
: 单机CPU真没必要折腾。
|
w***g
发帖数: 5958 | 15 对：用了blas，但是没用好。
如果真心要搞图像类的deep learning，一千块钱买个titan X，
能省你很多事，train整个imagenet都够了。
现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
premature optimization。
blas/lapack的C++ template library我看过不少，都比较鸡肋。
你见过啥好的给推荐下吧。
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
P**H
发帖数: 1897 | 16 mxnet很好装。mnist demo立马可跑。你试试，说不定750m都比你笔记本的CPU快。
【在 S****8 的大作中提到】
: 只有 GT 750m ...
|
w***g
发帖数: 5958 | 17 我有一块960，内存实在不够啊。后来拿960做了个demo，找到冤大头给我买了titan X。
【在 P**H 的大作中提到】
: 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
: 960也就不到200。实在不行750ti也凑合了。
: tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
: 机，他家有海量的CPU GPU可用。
: mxnet好像也很火。
: 单机CPU真没必要折腾。
|
S****8
发帖数: 401 | 18 哈哈,多谢大牛建议
blas/lapck的库我折腾过很多, 强烈推荐FLENS (很多人用eigen 3, 但是其实不咋地)
【在 w***g 的大作中提到】
: 对：用了blas，但是没用好。
: 如果真心要搞图像类的deep learning，一千块钱买个titan X，
: 能省你很多事，train整个imagenet都够了。
: 现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
: premature optimization。
: blas/lapack的C++ template library我看过不少，都比较鸡肋。
: 你见过啥好的给推荐下吧。
|
P**H
发帖数: 1897 | 19 现在普通作坊里面，单机最好就是插4个Titan x，随便一个4核i7和1t SSD喂data。
没钱适当减配。
【在 w***g 的大作中提到】
: 对：用了blas，但是没用好。
: 如果真心要搞图像类的deep learning，一千块钱买个titan X，
: 能省你很多事，train整个imagenet都够了。
: 现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
: premature optimization。
: blas/lapack的C++ template library我看过不少，都比较鸡肋。
: 你见过啥好的给推荐下吧。
|
P**H
发帖数: 1897 | 20 试试mxnet。他家号称内存消耗少。mnist只要几百m。
X。
【在 w***g 的大作中提到】
: 我有一块960，内存实在不够啊。后来拿960做了个demo，找到冤大头给我买了titan X。
|
|
|
w***g
发帖数: 5958 | 21 mxnet应该是目前最好的实现了吧。
说实话神经网络最啰嗦的是调网络结构，就是对着输一遍
都看得眼花。caffe的model直接下下来就能用，这个太有
吸引力了。
【在 P**H 的大作中提到】
: 试试mxnet。他家号称内存消耗少。mnist只要几百m。
:
: X。
|
T********i
发帖数: 2416 | 22 lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
几年还可以，现在也做滥了。弄到最后还是比谁快。
最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
还不知道需要多少年！ |
w***g
发帖数: 5958 | 23 魏老师多日不见。我最近搞kaggle上那个心脏图片分析的比赛搞得焦头烂额的，没跟进
你的项目不好意思。
你自己也说了“除非有更好的idea”。我脑子不够用了，不过有人要有idea，现在是
单枪匹马干过大团队的最好的时间。deep learning已经有几年没有本质的进展了。
大团队其实也不知道将来要怎么做。不知道怎么办的时候，１００个人和１个人
其实没太大差别。差别是１００个人还要开会浪费时间。
【在 T********i 的大作中提到】
: lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
: 搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
: 几年还可以，现在也做滥了。弄到最后还是比谁快。
: 最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
: 到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
: 还不知道需要多少年！
|
a*****g
发帖数: 19398 | 24 good
正想看看 lua的情况，和latex结合
【在 T********i 的大作中提到】
: lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
: 搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
: 几年还可以，现在也做滥了。弄到最后还是比谁快。
: 最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
: 到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
: 还不知道需要多少年！
|
T********i
发帖数: 2416 | 25 看你想干啥了？比如做trading。你要知道看什么东西？time series就那么简单，你要
知道看些啥。假定你的information和别人一样，你要做的和别人差不多才行，否则你
买卖都和大多数人不一样咋赚钱？model做出来，你就知道自己在什么频率上交易了。
要想information和别人一样，你的data quality至少要和人家一样。要做的和别人差
不多，你速度不能比人家慢太多。这两样其实也是体力活儿。都有了，数据分析还是体
力活儿。 |
w***g
发帖数: 5958 | 26 你说的这个太专业了。我在炒股这方面没那么大追求。
我最近发现神经网络这个东西很逆天，在特定任务上大有超过人脑的趋势，
比如图像识别，现在不用怎么调参数就能做得很好了。几年前真是千难万难。
所以我天真地想用它训练训练历史数据，预测一下比如说什么时候暴量了
可以买这种事情，也就是搞搞自己的退休金，没多少钱的，一年搞个20%就
满足了。
【在 T********i 的大作中提到】
: 看你想干啥了？比如做trading。你要知道看什么东西？time series就那么简单，你要
: 知道看些啥。假定你的information和别人一样，你要做的和别人差不多才行，否则你
: 买卖都和大多数人不一样咋赚钱？model做出来，你就知道自己在什么频率上交易了。
: 要想information和别人一样，你的data quality至少要和人家一样。要做的和别人差
: 不多，你速度不能比人家慢太多。这两样其实也是体力活儿。都有了，数据分析还是体
: 力活儿。
|
T********i
发帖数: 2416 | 27 这种低频大尺度的交易，我也不懂。我也不知道要看些啥？哪里能拿到免费数据？你要
是能做出好结果还望不吝赐教。
你要是能一年搞个20%出来，别说20%，能有个稳定的10%，sharpe好一点，资金岂不是
要多少有多少？
【在 w***g 的大作中提到】
: 你说的这个太专业了。我在炒股这方面没那么大追求。
: 我最近发现神经网络这个东西很逆天，在特定任务上大有超过人脑的趋势，
: 比如图像识别，现在不用怎么调参数就能做得很好了。几年前真是千难万难。
: 所以我天真地想用它训练训练历史数据，预测一下比如说什么时候暴量了
: 可以买这种事情，也就是搞搞自己的退休金，没多少钱的，一年搞个20%就
: 满足了。
|
w***g
发帖数: 5958 | 28 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
【在 T********i 的大作中提到】
: 这种低频大尺度的交易，我也不懂。我也不知道要看些啥？哪里能拿到免费数据？你要
: 是能做出好结果还望不吝赐教。
: 你要是能一年搞个20%出来，别说20%，能有个稳定的10%，sharpe好一点，资金岂不是
: 要多少有多少？
|
l*******m
发帖数: 1096 | 29 caffe用blas，如果FLENS有blas的接口，改改编译设置可能就不远了
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
T********i
发帖数: 2416 | 30 股票不一样，因为可以被操纵，人家知道自己的market impact你不知道。没准其他领
域比如图像识别更靠谱。
deep learning我是外行。不过貌似过去几年没啥突破。一个手写识别９９％以上搞了
很多年。每次都是百分之零点几的改善。搞笑的是故意skew和rotate认为增加输入，还
获得了明显改善。
这方面估计你能有更好的idea。
【在 w***g 的大作中提到】
: 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
: 找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
: 报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
: 我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
|
|
|
x***4
发帖数: 1815 | 31 我觉得是不是别人的数据比你强。我的感觉的是上nn，大家比的是谁的数据多。质量好
。我猜测如果google的主要优势是算法而不是数据的话，他也不会这么好心open
source tensorflow
【在 w***g 的大作中提到】
: 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
: 找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
: 报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
: 我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
|
l*******m
发帖数: 1096 | 32 Lecun 试过用DL去做trading，似乎不是很成功
【在 T********i 的大作中提到】
: 股票不一样，因为可以被操纵，人家知道自己的market impact你不知道。没准其他领
: 域比如图像识别更靠谱。
: deep learning我是外行。不过貌似过去几年没啥突破。一个手写识别９９％以上搞了
: 很多年。每次都是百分之零点几的改善。搞笑的是故意skew和rotate认为增加输入，还
: 获得了明显改善。
: 这方面估计你能有更好的idea。
|
S****8
发帖数: 401 | 33 恩, FLENS可以用mkl或者atlas作为blas
【在 l*******m 的大作中提到】
: caffe用blas，如果FLENS有blas的接口，改改编译设置可能就不远了
|
w***g
发帖数: 5958 | 34 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
有的要lua，有的要很奇怪的python库。有的要用scons编译。
然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
lua这语言有啥好的地方，用
的同学能给普及普及吗？看了眼语法觉得好糙的说，
连整数和浮点数都不分。 |
C******8
发帖数: 501 | 35 tensorflow怎么样？
【在 w***g 的大作中提到】
: 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
: 有的要lua，有的要很奇怪的python库。有的要用scons编译。
: 然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
: 我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
: lua这语言有啥好的地方，用
: 的同学能给普及普及吗？看了眼语法觉得好糙的说，
: 连整数和浮点数都不分。
|
N*****m
发帖数: 42603 | 36 apt是ubuntu系的，不难吧
，用
【在 w***g 的大作中提到】
: 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
: 有的要lua，有的要很奇怪的python库。有的要用scons编译。
: 然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
: 我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
: lua这语言有啥好的地方，用
: 的同学能给普及普及吗？看了眼语法觉得好糙的说，
: 连整数和浮点数都不分。
|
S****8
发帖数: 401 | 37 cuda_convnet2 跟 caffe 折腾一下都不算太麻烦哈 |
w***g
发帖数: 5958 | 38 caffe我早就已经上production system了。我就想搞个序列数据的recurrent NN，
分析文本和股票数据。caffe很好C++的，就是速度慢点。CPU版本的convolution
写得比较差，如果好好优化优化能快三五倍。
【在 S****8 的大作中提到】
: cuda_convnet2 跟 caffe 折腾一下都不算太麻烦哈
|
w***g
发帖数: 5958 | 39 刚出来的时候看过review，performance相当差。
目前学术界新的牛B算法一般都是在caffe上做的。
所以deep learning做图像用caffe做是王道。
【在 C******8 的大作中提到】
: tensorflow怎么样？
|
N*****m
发帖数: 42603 | 40 caffe author投靠狗狗了，还搞得下去吗？
【在 w***g 的大作中提到】
: 刚出来的时候看过review，performance相当差。
: 目前学术界新的牛B算法一般都是在caffe上做的。
: 所以deep learning做图像用caffe做是王道。
|
|
|
w***g
发帖数: 5958 | 41 这个领域现在很乱。但是caffe目前的model中
颇有几个非常好用的。目前的代码稳定性也不错。
我有自己的fork，做了一些改动，已经好久没同步了。
除了稍微慢点没啥问题。
搞不搞得下去其实无所谓，到时候挑最好的
轮子用就可以。
【在 N*****m 的大作中提到】
: caffe author投靠狗狗了，还搞得下去吗？
|
S****8
发帖数: 401 | 42 晕,这你是搞hedge fund啊...
话说caffe的C++优化快三五倍, 是说假设底层用最快的blas库啥的情况下? 我乍一看还
真不知道caffe 的c++从何下手优化,能不能展开说说?
【在 w***g 的大作中提到】
: caffe我早就已经上production system了。我就想搞个序列数据的recurrent NN，
: 分析文本和股票数据。caffe很好C++的，就是速度慢点。CPU版本的convolution
: 写得比较差，如果好好优化优化能快三五倍。
|
w***g
发帖数: 5958 | 43 一般都是上GPU的，CPU这块什么人关注。我因为要集成到我的系统里，
distribute一个到处跑的binary，不能依赖GPU。所以我的prediction
这一步用的是专门编译的纯CPU版本。我profile过，大部分时间都
费在了convolution上。我以前自己写过neural network，所以这块
比较清楚。如果不用FFT，就用土法，最好是先把图像按sliding
window摊开成一个大矩阵，然后用一个gemm乘法一步解决。
caffe是每个sliding window分别拷出来调用gemm。因为每个
sliding window尺寸很小，其实BLAS是发挥不出威力的。
如果优化得好，主流GPU比主流CPU快不了１０倍的。
不过已经有基于FFT的convolution了，所以我说的土法的优化
也就不值得做了。坐等FFT版本的出来。
【在 S****8 的大作中提到】
: 晕,这你是搞hedge fund啊...
: 话说caffe的C++优化快三五倍, 是说假设底层用最快的blas库啥的情况下? 我乍一看还
: 真不知道caffe 的c++从何下手优化,能不能展开说说?
|
a*f
发帖数: 1790 | 44 神经网络做系统为什么不用Java
现在又回TIOBE排行榜首位了
C和Java一直排榜首是有原因的
过去十年这样
未来十年还是这样
大部分鸡毛语言十年后不是变了就是消失了 |
S****8
发帖数: 401 | 45 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
, 看看能不能搞到 caffe里面去, 比如FLENS
【在 w***g 的大作中提到】
: 一般都是上GPU的，CPU这块什么人关注。我因为要集成到我的系统里，
: distribute一个到处跑的binary，不能依赖GPU。所以我的prediction
: 这一步用的是专门编译的纯CPU版本。我profile过，大部分时间都
: 费在了convolution上。我以前自己写过neural network，所以这块
: 比较清楚。如果不用FFT，就用土法，最好是先把图像按sliding
: window摊开成一个大矩阵，然后用一个gemm乘法一步解决。
: caffe是每个sliding window分别拷出来调用gemm。因为每个
: sliding window尺寸很小，其实BLAS是发挥不出威力的。
: 如果优化得好，主流GPU比主流CPU快不了１０倍的。
: 不过已经有基于FFT的convolution了，所以我说的土法的优化
|
P**H
发帖数: 1897 | 46 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
960也就不到200。实在不行750ti也凑合了。
tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
机，他家有海量的CPU GPU可用。
mxnet好像也很火。
单机CPU真没必要折腾。
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
S****8
发帖数: 401 | 47 只有 GT 750m ...
【在 P**H 的大作中提到】
: 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
: 960也就不到200。实在不行750ti也凑合了。
: tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
: 机，他家有海量的CPU GPU可用。
: mxnet好像也很火。
: 单机CPU真没必要折腾。
|
w***g
发帖数: 5958 | 48 对：用了blas，但是没用好。
如果真心要搞图像类的deep learning，一千块钱买个titan X，
能省你很多事，train整个imagenet都够了。
现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
premature optimization。
blas/lapack的C++ template library我看过不少，都比较鸡肋。
你见过啥好的给推荐下吧。
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
P**H
发帖数: 1897 | 49 mxnet很好装。mnist demo立马可跑。你试试，说不定750m都比你笔记本的CPU快。
【在 S****8 的大作中提到】
: 只有 GT 750m ...
|
w***g
发帖数: 5958 | 50 我有一块960，内存实在不够啊。后来拿960做了个demo，找到冤大头给我买了titan X。
【在 P**H 的大作中提到】
: 作坊还是上GPU。跑demo，k600都把xeon12线程秒了。这方面cudnn的优势太大了。弄个
: 960也就不到200。实在不行750ti也凑合了。
: tensor flow刚出来。用的cudnn v2速度一般。以后可能会快点。Google的重点不是单
: 机，他家有海量的CPU GPU可用。
: mxnet好像也很火。
: 单机CPU真没必要折腾。
|
|
|
S****8
发帖数: 401 | 51 哈哈,多谢大牛建议
blas/lapck的库我折腾过很多, 强烈推荐FLENS (很多人用eigen 3, 但是其实不咋地)
【在 w***g 的大作中提到】
: 对：用了blas，但是没用好。
: 如果真心要搞图像类的deep learning，一千块钱买个titan X，
: 能省你很多事，train整个imagenet都够了。
: 现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
: premature optimization。
: blas/lapack的C++ template library我看过不少，都比较鸡肋。
: 你见过啥好的给推荐下吧。
|
P**H
发帖数: 1897 | 52 现在普通作坊里面，单机最好就是插4个Titan x，随便一个4核i7和1t SSD喂data。
没钱适当减配。
【在 w***g 的大作中提到】
: 对：用了blas，但是没用好。
: 如果真心要搞图像类的deep learning，一千块钱买个titan X，
: 能省你很多事，train整个imagenet都够了。
: 现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
: premature optimization。
: blas/lapack的C++ template library我看过不少，都比较鸡肋。
: 你见过啥好的给推荐下吧。
|
P**H
发帖数: 1897 | 53 试试mxnet。他家号称内存消耗少。mnist只要几百m。
X。
【在 w***g 的大作中提到】
: 我有一块960，内存实在不够啊。后来拿960做了个demo，找到冤大头给我买了titan X。
|
w***g
发帖数: 5958 | 54 mxnet应该是目前最好的实现了吧。
说实话神经网络最啰嗦的是调网络结构，就是对着输一遍
都看得眼花。caffe的model直接下下来就能用，这个太有
吸引力了。
【在 P**H 的大作中提到】
: 试试mxnet。他家号称内存消耗少。mnist只要几百m。
:
: X。
|
T********i
发帖数: 2416 | 55 lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
几年还可以，现在也做滥了。弄到最后还是比谁快。
最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
还不知道需要多少年！ |
w***g
发帖数: 5958 | 56 魏老师多日不见。我最近搞kaggle上那个心脏图片分析的比赛搞得焦头烂额的，没跟进
你的项目不好意思。
你自己也说了“除非有更好的idea”。我脑子不够用了，不过有人要有idea，现在是
单枪匹马干过大团队的最好的时间。deep learning已经有几年没有本质的进展了。
大团队其实也不知道将来要怎么做。不知道怎么办的时候，１００个人和１个人
其实没太大差别。差别是１００个人还要开会浪费时间。
【在 T********i 的大作中提到】
: lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
: 搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
: 几年还可以，现在也做滥了。弄到最后还是比谁快。
: 最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
: 到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
: 还不知道需要多少年！
|
a*****g
发帖数: 19398 | 57 good
正想看看 lua的情况，和latex结合
【在 T********i 的大作中提到】
: lua就是最简化版本的js。这种脚本语言哪个能区分浮点和整数？
: 搞这种deep learning，除非自己有更好的idea，否则很难和大团队竞争。做trading前
: 几年还可以，现在也做滥了。弄到最后还是比谁快。
: 最近加入两个NLP的群。感觉术业有专攻，人家达到的高度是时间和资源的积累，能达
: 到也不容易。同时任重道远，这里面需要啃的硬骨头还是太多，能达到真正的图灵检验
: 还不知道需要多少年！
|
T********i
发帖数: 2416 | 58 看你想干啥了？比如做trading。你要知道看什么东西？time series就那么简单，你要
知道看些啥。假定你的information和别人一样，你要做的和别人差不多才行，否则你
买卖都和大多数人不一样咋赚钱？model做出来，你就知道自己在什么频率上交易了。
要想information和别人一样，你的data quality至少要和人家一样。要做的和别人差
不多，你速度不能比人家慢太多。这两样其实也是体力活儿。都有了，数据分析还是体
力活儿。 |
w***g
发帖数: 5958 | 59 你说的这个太专业了。我在炒股这方面没那么大追求。
我最近发现神经网络这个东西很逆天，在特定任务上大有超过人脑的趋势，
比如图像识别，现在不用怎么调参数就能做得很好了。几年前真是千难万难。
所以我天真地想用它训练训练历史数据，预测一下比如说什么时候暴量了
可以买这种事情，也就是搞搞自己的退休金，没多少钱的，一年搞个20%就
满足了。
【在 T********i 的大作中提到】
: 看你想干啥了？比如做trading。你要知道看什么东西？time series就那么简单，你要
: 知道看些啥。假定你的information和别人一样，你要做的和别人差不多才行，否则你
: 买卖都和大多数人不一样咋赚钱？model做出来，你就知道自己在什么频率上交易了。
: 要想information和别人一样，你的data quality至少要和人家一样。要做的和别人差
: 不多，你速度不能比人家慢太多。这两样其实也是体力活儿。都有了，数据分析还是体
: 力活儿。
|
T********i
发帖数: 2416 | 60 这种低频大尺度的交易，我也不懂。我也不知道要看些啥？哪里能拿到免费数据？你要
是能做出好结果还望不吝赐教。
你要是能一年搞个20%出来，别说20%，能有个稳定的10%，sharpe好一点，资金岂不是
要多少有多少？
【在 w***g 的大作中提到】
: 你说的这个太专业了。我在炒股这方面没那么大追求。
: 我最近发现神经网络这个东西很逆天，在特定任务上大有超过人脑的趋势，
: 比如图像识别，现在不用怎么调参数就能做得很好了。几年前真是千难万难。
: 所以我天真地想用它训练训练历史数据，预测一下比如说什么时候暴量了
: 可以买这种事情，也就是搞搞自己的退休金，没多少钱的，一年搞个20%就
: 满足了。
|
|
|
w***g
发帖数: 5958 | 61 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
【在 T********i 的大作中提到】
: 这种低频大尺度的交易，我也不懂。我也不知道要看些啥？哪里能拿到免费数据？你要
: 是能做出好结果还望不吝赐教。
: 你要是能一年搞个20%出来，别说20%，能有个稳定的10%，sharpe好一点，资金岂不是
: 要多少有多少？
|
l*******m
发帖数: 1096 | 62 caffe用blas，如果FLENS有blas的接口，改改编译设置可能就不远了
【在 S****8 的大作中提到】
: 恩,多谢哈, 我也是身边没k40这种GPU所以想折腾下CPU的效率
: 你是说其实performance还是差在没能利用mkl或者atlas这种blas库上面是吧,
: 回头我试试, blas/lapack这块有很多c++ template library 挺高效的用起来也方便
: , 看看能不能搞到 caffe里面去, 比如FLENS
|
T********i
发帖数: 2416 | 63 股票不一样，因为可以被操纵，人家知道自己的market impact你不知道。没准其他领
域比如图像识别更靠谱。
deep learning我是外行。不过貌似过去几年没啥突破。一个手写识别９９％以上搞了
很多年。每次都是百分之零点几的改善。搞笑的是故意skew和rotate认为增加输入，还
获得了明显改善。
这方面估计你能有更好的idea。
【在 w***g 的大作中提到】
: 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
: 找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
: 报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
: 我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
|
x***4
发帖数: 1815 | 64 我觉得是不是别人的数据比你强。我的感觉的是上nn，大家比的是谁的数据多。质量好
。我猜测如果google的主要优势是算法而不是数据的话，他也不会这么好心open
source tensorflow
【在 w***g 的大作中提到】
: 资金越多越难做啊。免费的数据应该没有，但是从quantquote.com买似乎也不是很贵。
: 找那么几十个个股，回归最近几年的数据，然后每天自动检测，发现信号后发邮件
: 报告。我之所以在想这个，是因为很多时候神经网络暴力拟合能超过手工搞的模型。
: 我最近搞比赛也是，精心设计的手工模型被别人的神经网络暴力拟合秒得找不到北了。
|
l*******m
发帖数: 1096 | 65 Lecun 试过用DL去做trading，似乎不是很成功
【在 T********i 的大作中提到】
: 股票不一样，因为可以被操纵，人家知道自己的market impact你不知道。没准其他领
: 域比如图像识别更靠谱。
: deep learning我是外行。不过貌似过去几年没啥突破。一个手写识别９９％以上搞了
: 很多年。每次都是百分之零点几的改善。搞笑的是故意skew和rotate认为增加输入，还
: 获得了明显改善。
: 这方面估计你能有更好的idea。
|
g********n
发帖数: 296 | 66 lua是最快耗资源最少的的script, 应该没有之一，可惜轮子不多。
要是python有lua 那么快就好了。游戏和安全工业用lua很多的
其实python 和golang都吸收了很多lua的元素。
【在 w***g 的大作中提到】
: 最近想搞个神经网络的东西玩玩，你玛就没一个能舒舒服服上的轮子。
: 有的要lua，有的要很奇怪的python库。有的要用scons编译。
: 然后无一例外的都要加新的apt源（redhat系的人还有不少好不好！！！）
: 我已经是一个很能折腾的人了，最近都感觉快抗不住了br />
: lua这语言有啥好的地方，用
: 的同学能给普及普及吗？看了眼语法觉得好糙的说，
: 连整数和浮点数都不分。
|
c*******9
发帖数: 9032 | 67 对mac 支持怎样？
【在 w***g 的大作中提到】
: 对：用了blas，但是没用好。
: 如果真心要搞图像类的deep learning，一千块钱买个titan X，
: 能省你很多事，train整个imagenet都够了。
: 现在很多算法都还在剧烈地改，你折腾CPU优化从长远看很可能是
: premature optimization。
: blas/lapack的C++ template library我看过不少，都比较鸡肋。
: 你见过啥好的给推荐下吧。
|
r*g
发帖数: 3159 | 68 能否谈谈flens和eigen的比较？
【在 S****8 的大作中提到】
: 哈哈,多谢大牛建议
: blas/lapck的库我折腾过很多, 强烈推荐FLENS (很多人用eigen 3, 但是其实不咋地)
|
r******y
发帖数: 3838 | 69 tesla m40 专门做深度学习吧。
【在 P**H 的大作中提到】
: 现在普通作坊里面，单机最好就是插4个Titan x，随便一个4核i7和1t SSD喂data。
: 没钱适当减配。
|
e*******o
发帖数: 4654 | 70 小药股俱乐部股哥 自己建模炒股
用的就是 broker提供的data 专挑翻倍股 基本都中了
最牛逼的cpxx 翻了至少15倍
【在 w***g 的大作中提到】
: 你说的这个太专业了。我在炒股这方面没那么大追求。
: 我最近发现神经网络这个东西很逆天，在特定任务上大有超过人脑的趋势，
: 比如图像识别，现在不用怎么调参数就能做得很好了。几年前真是千难万难。
: 所以我天真地想用它训练训练历史数据，预测一下比如说什么时候暴量了
: 可以买这种事情，也就是搞搞自己的退休金，没多少钱的，一年搞个20%就
: 满足了。
|
|
|
c*******h
发帖数: 107 | 71 对于time series老大有啥可推荐的网站/文章？
【在 T********i 的大作中提到】
: 看你想干啥了？比如做trading。你要知道看什么东西？time series就那么简单，你要
: 知道看些啥。假定你的information和别人一样，你要做的和别人差不多才行，否则你
: 买卖都和大多数人不一样咋赚钱？model做出来，你就知道自己在什么频率上交易了。
: 要想information和别人一样，你的data quality至少要和人家一样。要做的和别人差
: 不多，你速度不能比人家慢太多。这两样其实也是体力活儿。都有了，数据分析还是体
: 力活儿。
|
r******y
发帖数: 3838 | 72 gtx 1080 更划算？
【在 P**H 的大作中提到】
: 现在普通作坊里面，单机最好就是插4个Titan x，随便一个4核i7和1t SSD喂data。
: 没钱适当减配。
|
