k****f
发帖数: 3794 | 1 手头只有一个2g的750ti，随便跑一下，就说内存不够了，难道只能上12g以上显卡？ |
w***g
发帖数: 5958 | 2 设batch = 1试试
【在 k****f 的大作中提到】
: 手头只有一个2g的750ti，随便跑一下，就说内存不够了，难道只能上12g以上显卡？
|
k****f
发帖数: 3794 | 3 用了，还是一样内存不够。
有可能参数空间太大了，需要修改model
【在 w***g 的大作中提到】
: 设batch = 1试试
|
l*******m
发帖数: 1096 | 4 试试这个
https://github.com/dmlc/mxnet-memonger
【在 k****f 的大作中提到】
: 用了，还是一样内存不够。
: 有可能参数空间太大了，需要修改model
|
j********g
发帖数: 61 | 5 batch = 1 很难收敛。
【在 w***g 的大作中提到】
: 设batch = 1试试
|
L****8
发帖数: 3938 | 6 momentom 加大？
【在 j********g 的大作中提到】
: batch = 1 很难收敛。
|
c*******9
发帖数: 9032 | 7 什么应用要这么多层？
【在 k****f 的大作中提到】
: 手头只有一个2g的750ti，随便跑一下，就说内存不够了，难道只能上12g以上显卡？
|
k****f
发帖数: 3794 | 8 玩玩ms coco，数据很多
【在 c*******9 的大作中提到】
: 什么应用要这么多层？
|
w***g
发帖数: 5958 | 9 我遇到的dataset都是很小的, 多的也就几百个图片,
都是batch = 1训练FCN. 如果图片尺寸不一样,
只能是batch = 1. 训练数据少层数太深参数太多也不行.
【在 j********g 的大作中提到】
: batch = 1 很难收敛。
|
j********g
发帖数: 61 | 10 尺寸不一样的怎么直接放进去train？ padding?
【在 w***g 的大作中提到】
: 我遇到的dataset都是很小的, 多的也就几百个图片,
: 都是batch = 1训练FCN. 如果图片尺寸不一样,
: 只能是batch = 1. 训练数据少层数太深参数太多也不行.
|
w***g
发帖数: 5958 | 11 尺寸不一样没事. forward之前系统会自动resize各种内存.
Caffe和tensorflow都支持. 你看眼FCN就知道.
【在 j********g 的大作中提到】
: 尺寸不一样的怎么直接放进去train？ padding?
|
w*******e
发帖数: 1588 | 12 "Although multi-layer neural networks with many layers can represent deep
circuits, training deep networks has always been seen as somewhat of a
challenge. Until very recently, empirical studies often found that deep
networks generally performed no better, and often worse, than neural
networks with one or two hidden layers."
Bengio, Y. & LeCun, Y., 2007. Scaling learning algorithms towards AI. Large-
Scale Kernel Machines, (1), pp.1-41. |
