w*******x
发帖数: 489 | 1 我的问题里头内存严重不够用，所以需要把很多浮点数数组（单精度吧）压缩，然后调
用的时候在内存里头一个数组一个数
组的解压缩。
有人知道有效的算法吗？能压缩几倍？即使适当的loss也没关系。数据有大片区域比较
平滑。
谢谢！ |
k**********g
发帖数: 989 | 2 FFT. Keep only the top N coefficients with largest magnitudes.
How many significant bits do you need to keep? |
t***s
发帖数: 4666 | 3 too slow bah. why not keep the data on the disk.
【在 k**********g 的大作中提到】
: FFT. Keep only the top N coefficients with largest magnitudes.
: How many significant bits do you need to keep?
|
w*******x
发帖数: 489 | 4 会不会太慢？。。并且data的结构是5唯的小格子。fft估计效果也不好，压缩不了多少
。。
我需要至少4位有效数字吧。。。
放硬盘上反复读取不可行，因为我的是大型并行计算，（数据）内存总量》1000G，io
太慢了
【在 k**********g 的大作中提到】
: FFT. Keep only the top N coefficients with largest magnitudes.
: How many significant bits do you need to keep?
|
t***s
发帖数: 4666 | 5 SSD? or just get more memory?
io
【在 w*******x 的大作中提到】
: 会不会太慢？。。并且data的结构是5唯的小格子。fft估计效果也不好，压缩不了多少
: 。。
: 我需要至少4位有效数字吧。。。
: 放硬盘上反复读取不可行，因为我的是大型并行计算，（数据）内存总量》1000G，io
: 太慢了
|
c****p
发帖数: 6474 | 6 量化然后霍夫曼？
或者增量压缩？
【在 w*******x 的大作中提到】
: 我的问题里头内存严重不够用，所以需要把很多浮点数数组（单精度吧）压缩，然后调
: 用的时候在内存里头一个数组一个数
: 组的解压缩。
: 有人知道有效的算法吗？能压缩几倍？即使适当的loss也没关系。数据有大片区域比较
: 平滑。
: 谢谢！
|
k**********g
发帖数: 989 | |
