d********9 发帖数: 3927 | 1 在跑一个词向量的程序。我那大爷计算机已经跑了5个小时还没跑完。我的是Intel
Celeron 2.16GHZ 4GB ram.
该上 Amazon cloud? |
m******n 发帖数: 453 | |
d********9 发帖数: 3927 | 3 大牛有啥推荐的,amazon cloud, google cloud 还是 microsoft cloud?
还是自己搭机器?
【在 m******n 的大作中提到】 : absolutely
|
f*****n 发帖数: 499 | 4 同问。
我 macpro retina
2.6Ghz Intel core
8GB RAM
Intel Iris 1536 MB Graphics
如果自己的mac不够,学校的 high-performance computing cluster 应该够了把?
【在 d********9 的大作中提到】 : 在跑一个词向量的程序。我那大爷计算机已经跑了5个小时还没跑完。我的是Intel : Celeron 2.16GHZ 4GB ram. : 该上 Amazon cloud?
|
m******n 发帖数: 453 | 5 会自己搭机器的是大牛
而且费用较高
像我们这样转行的,会用AWS/AZure就行了……
就是半天的事搞清楚configuration
反正大部分公司也是用AWS/Azure
【在 d********9 的大作中提到】 : 大牛有啥推荐的,amazon cloud, google cloud 还是 microsoft cloud? : 还是自己搭机器?
|
s*********h 发帖数: 6288 | 6 Mac………小打小闹还行。
上AWS之前先搭个linux机,32g内存,4 core 8 thread加gfx1080可以了。
: 同问。
: 我 macpro retina
: 2.6Ghz Intel core
: 8GB RAM
: Intel Iris 1536 MB Graphics
: 如果自己的mac不够,学校的 high-performance computing cluster 应该够了
把?
【在 f*****n 的大作中提到】 : 同问。 : 我 macpro retina : 2.6Ghz Intel core : 8GB RAM : Intel Iris 1536 MB Graphics : 如果自己的mac不够,学校的 high-performance computing cluster 应该够了把?
|
f*****n 发帖数: 499 | 7 请问AMS的租金多少呢
我在学校HPCC上折腾半天安装,因为没有root access,所以搞不了
不知道AMS啥样子?有root么?
【在 m******n 的大作中提到】 : 会自己搭机器的是大牛 : 而且费用较高 : 像我们这样转行的,会用AWS/AZure就行了…… : 就是半天的事搞清楚configuration : 反正大部分公司也是用AWS/Azure
|
f*****n 发帖数: 499 | 8 linux机,你意思是Desktop,台式机?装个Ubuntu啥的?
另外貌似最简单的Mnist data,40000 sample X 700 feature,用tensorflow也就2-4
个小时?
40000 X 700,已经不小了吧?
所以我很好奇,为何deep learning运算量如此巨大?
我刚入门DL,所以问些蠢问题
【在 s*********h 的大作中提到】 : Mac………小打小闹还行。 : 上AWS之前先搭个linux机,32g内存,4 core 8 thread加gfx1080可以了。 : : : 同问。 : : 我 macpro retina : : 2.6Ghz Intel core : : 8GB RAM : : Intel Iris 1536 MB Graphics : : 如果自己的mac不够,学校的 high-performance computing cluster 应该够了 : 把?
|
y******2 发帖数: 326 | 9 Linux是因为编程快,能用command line. 深层Neural network 几百万的parameter,
dot product用显卡快很多,因为内核多。游戏画多边形都是dot product。1070完全够
,有钱可以弄个1080ti。mnist 是最简单的,我平时都是>50million x 500的矩阵,
1080得跑个两三天。neural network 其实是穷举,都是靠数据大,运算快,运算方法
并不先进。
4
【在 f*****n 的大作中提到】 : linux机,你意思是Desktop,台式机?装个Ubuntu啥的? : 另外貌似最简单的Mnist data,40000 sample X 700 feature,用tensorflow也就2-4 : 个小时? : 40000 X 700,已经不小了吧? : 所以我很好奇,为何deep learning运算量如此巨大? : 我刚入门DL,所以问些蠢问题
|
f*****n 发帖数: 499 | 10 很受教!
mnist 40000 X 784我觉得大,因为比如我们做病人feature analysis;你能有个
10000个病人就已经不得了了;有100个feature也不得了了。看来还是patient feature
的获取太昂贵
所以的确要做真正的big data,还是要跳出biomed
“我平时都是>50million x 500的矩阵”
不知道你这具体是做啥的呢?这么大的matrix
比如你如果做图像处理,这里的500是pixel number,然后处理50million张图像?
或者图像pixel是50million,处理500张?
【在 y******2 的大作中提到】 : Linux是因为编程快,能用command line. 深层Neural network 几百万的parameter, : dot product用显卡快很多,因为内核多。游戏画多边形都是dot product。1070完全够 : ,有钱可以弄个1080ti。mnist 是最简单的,我平时都是>50million x 500的矩阵, : 1080得跑个两三天。neural network 其实是穷举,都是靠数据大,运算快,运算方法 : 并不先进。 : : 4
|
y******2 发帖数: 326 | 11 我的不是图像,是anomaly detection。一行数据是一个event,最近这次8千万行,
1100多个feature。图像现在一般没有那么大的数据,所以都是transfer learning,就
是用以前train的模型,套到自己的图片上。大概是224x224 pixel, 3个RGB的channel
,再有个几万的图片就不得了,所以大概是10000x224x224x3。最原始的模型大概有几
百万的图片,但是那个小,也就128x128 pixel. mnist是黑白的,所以最后的只有一个
channel。 |
f*******6 发帖数: 56 | |
n******m 发帖数: 719 | 13 2-4小时?。我2*980 用 Tensorflow也就10分钟
4
【在 f*****n 的大作中提到】 : linux机,你意思是Desktop,台式机?装个Ubuntu啥的? : 另外貌似最简单的Mnist data,40000 sample X 700 feature,用tensorflow也就2-4 : 个小时? : 40000 X 700,已经不小了吧? : 所以我很好奇,为何deep learning运算量如此巨大? : 我刚入门DL,所以问些蠢问题
|