x*****2
发帖数: 117 | 1 不久前，lambdalabs做了测试，在不同模型下，FP32单精度性能 RTX 2080 Ti 比 GTX
1080 Ti高出27%到45%，FP16半精度中性能高出60%到65%。
我记得卫东好像说过他需要用PF64，是不是有这件事？ |
w***g
发帖数: 5958 | 2 我最开始自己实现过一个深学框架，然后为了验证正确性，要把
back-propate出来的导数和直接数值模拟算得的导数对比。
同样的程序，用fp32时两个数值相差经常在1%以上，改用fp64后
基本上就能比较完美地对上了。所以我一直有个印象，就是fp32
算比较深的神经网络时，其实数值精度是不太够的。
并不是说我需要FP64。
GTX
【在 x*****2 的大作中提到】
: 不久前，lambdalabs做了测试，在不同模型下，FP32单精度性能 RTX 2080 Ti 比 GTX
: 1080 Ti高出27%到45%，FP16半精度中性能高出60%到65%。
: 我记得卫东好像说过他需要用PF64，是不是有这件事？
|
x****u
发帖数: 44466 | 3 话说显卡算出来的浮点数从20年前就和理论上的对不上啊
【在 w***g 的大作中提到】
: 我最开始自己实现过一个深学框架，然后为了验证正确性，要把
: back-propate出来的导数和直接数值模拟算得的导数对比。
: 同样的程序，用fp32时两个数值相差经常在1%以上，改用fp64后
: 基本上就能比较完美地对上了。所以我一直有个印象，就是fp32
: 算比较深的神经网络时，其实数值精度是不太够的。
: 并不是说我需要FP64。
:
: GTX
|
w***g
发帖数: 5958 | 4 我那个用cpu跑的。cuda我没好好练过，不会写。
【在 x****u 的大作中提到】
: 话说显卡算出来的浮点数从20年前就和理论上的对不上啊
|
x****u
发帖数: 44466 | 5 当年3D加速卡起步的时候，用硬件渲染的效果就和软件按照公式算出来的不一样，而且
各个显卡都不同。怀疑是人为忽略了某些步骤或者校验以加速。
【在 w***g 的大作中提到】
: 我那个用cpu跑的。cuda我没好好练过，不会写。
|
