w***g
发帖数: 5958 | 1 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
有两块GPU还需要手工分配其实不如两台单GPU的方便。
我搞FCN，batch size永远都是1, 所以往往一个GPU都用不满。
我想请教下双GPU对deep learning有啥实际的优势。 |
l*******m
发帖数: 1096 | 2 如果要用自己的网络结构，没有pretrained，就要自己训练imagenet, 这个可是GPU越
多越好。对fcn而言，batch size=1, 就是在不同图像大小时比较方便，不过就不能用
batch norm了。其实，使用 patch/crop/pad整成一样大小的batch, 还是会快些，而且
可以用batch norm
当然双路适合折腾，reduce, sync什么的。如果GPU的芯片相同，可能会支持P2P通信，
不用走CPU. 还有如果网络中有batch norm, 为了速度，batch norm一般是local的，但
是反而比单GPU(同步)的性能好一点点，我估计有些ensembling gain
【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN，batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。
|
N*****m
发帖数: 42603 | 3 你多机是用spark吗？有什么caveat？
【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN，batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。
|
l*******m
发帖数: 1096 | 4 我就是单机，多机tensorflow就够了
【在 N*****m 的大作中提到】
: 你多机是用spark吗？有什么caveat？
|
N*****m
发帖数: 42603 | 5 如果不用tensorflow呢？
【在 l*******m 的大作中提到】
: 我就是单机，多机tensorflow就够了
|
w***g
发帖数: 5958 | 6 多机主要是按图片并行做预测，或者训练多个模型，
不是多机并行训练一个模型。
【在 N*****m 的大作中提到】
: 如果不用tensorflow呢？
|
N*****m
发帖数: 42603 | 7 这个我知道啊
但是并行的job scheduler/orchastration啥的你用的啥？
【在 w***g 的大作中提到】
: 多机主要是按图片并行做预测，或者训练多个模型，
: 不是多机并行训练一个模型。
|
w***g
发帖数: 5958 | 8 没有scheduler。每个输入文件一个输出文件，开始处理前先写一个空文件
占位，如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。
如果想用scheduler，torque/qsub比较适合这类问题。
【在 N*****m 的大作中提到】
: 这个我知道啊
: 但是并行的job scheduler/orchastration啥的你用的啥？
|
N*****m
发帖数: 42603 | 9 好像这些没有文件分割，工作流程管理，failover，也不太适合云部署
【在 w***g 的大作中提到】
: 没有scheduler。每个输入文件一个输出文件，开始处理前先写一个空文件
: 占位，如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。
: 如果想用scheduler，torque/qsub比较适合这类问题。
|
l*******m
发帖数: 1096 | 10 装多GPU坑很多。比如
1。 一定不要2.5slot宽的
2。最好冷却系统是blower，否则机箱温度过高
3。主板x16/x16/x8/NA的模式一般要在bios里开启
4. 每个PCIe插槽不是一样的，要看主板说明
【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN，batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。
|
w*****r
发帖数: 197 | 11 我怎么觉得如果你有两块GPU,batch改为2，训练速度可以快将近一倍。caffe和mxnet应
该都可以在PCIE上完成parameter同步，tensorflow不了解。
【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN，batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。
|
S*******e
发帖数: 525 | 12 Yahoo 的玩意： Tensorflow on Spark（https://github.com/yahoo/
TensorFlowOnSpark） 也不能用多机并行训练一个模型吗？
【在 w***g 的大作中提到】
: 多机主要是按图片并行做预测，或者训练多个模型，
: 不是多机并行训练一个模型。
|
N*****m
发帖数: 42603 | 13 yahoo还有caffeonspark
【在 S*******e 的大作中提到】
: Yahoo 的玩意： Tensorflow on Spark（https://github.com/yahoo/
: TensorFlowOnSpark） 也不能用多机并行训练一个模型吗？
|
