a***n 发帖数: 1616 | 1 【 以下文字转载自 Linux 讨论区 】
【 原文由 adven 所发表 】
主要是要快。
一堆数据,需要分n个类别归类存储。
n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ...
各个类别数据多少参差不齐,且不预先知道各类数据总长度
简单起见,先考虑放内存吧,怎么放才快?
(显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间)
复杂点,要内存耗费不起,得存磁盘里,怎么放才快?
(显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)
棘手的难题啊,大家帮忙参详参详。
另外,这类问题的专业名称叫啥(英文/中文),看能否google到一些hint/paper...
谢了。 | a***n 发帖数: 1616 | 2 for examples:
#1
100MB integer data
100K categories
256MB Physical Memory
#2
1GB integer data
10M categories
256MB Physical Memory
#3
1TB integer data
10G categories
256MB Physical Memory
【在 a***n 的大作中提到】 : 【 以下文字转载自 Linux 讨论区 】 : 【 原文由 adven 所发表 】 : 主要是要快。 : 一堆数据,需要分n个类别归类存储。 : n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ... : 各个类别数据多少参差不齐,且不预先知道各类数据总长度 : 简单起见,先考虑放内存吧,怎么放才快? : (显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间) : 复杂点,要内存耗费不起,得存磁盘里,怎么放才快? : (显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)
|
|