由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Computation版 - [转载] 分类存储大家有什么高招?
相关主题
中国超级计算机"天河一号" 被超越排名降至第二[转载] Mathematica 5 released.
Fortran 77 dynamic memory allocation 1请教一个matlab问题
Fortran 77 dynamic memory allocation 2[合集] 请教matlab中数据存储的问题
请教大家c++ array.rar 后缀的文件怎样打开?
a C language question regarding pointer usage问个算法问题 (转载)
Re: MPI questionPostdoctoral Scholar Research Opportunity at UCSD (SDSC)
请教: C语言一个中等大小的矩阵的内存分配订了辆 i3
大家为什么用beowulf?周末去悄悄摸了一下i3。。
相关话题的讨论汇总
话题: physical话题: 256mb话题: memory话题: 存储话题: categories
进入Computation版参与讨论
1 (共1页)
a***n
发帖数: 1616
1
【 以下文字转载自 Linux 讨论区 】
【 原文由 adven 所发表 】
主要是要快。
一堆数据,需要分n个类别归类存储。
n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ...
各个类别数据多少参差不齐,且不预先知道各类数据总长度
简单起见,先考虑放内存吧,怎么放才快?
(显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间)
复杂点,要内存耗费不起,得存磁盘里,怎么放才快?
(显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)
棘手的难题啊,大家帮忙参详参详。
另外,这类问题的专业名称叫啥(英文/中文),看能否google到一些hint/paper...
谢了。
a***n
发帖数: 1616
2
for examples:
#1
100MB integer data
100K categories
256MB Physical Memory
#2
1GB integer data
10M categories
256MB Physical Memory
#3
1TB integer data
10G categories
256MB Physical Memory

【在 a***n 的大作中提到】
: 【 以下文字转载自 Linux 讨论区 】
: 【 原文由 adven 所发表 】
: 主要是要快。
: 一堆数据,需要分n个类别归类存储。
: n要scalable,比如 1 Mega, 1 Giga, 1 Tera, 1 Peta ...
: 各个类别数据多少参差不齐,且不预先知道各类数据总长度
: 简单起见,先考虑放内存吧,怎么放才快?
: (显然,一边放,一边malloc太慢,而且各类里自己的数据也不在连续空间)
: 复杂点,要内存耗费不起,得存磁盘里,怎么放才快?
: (显然,同时开n个文件不现实也不高效,想想磁头跳来跳去就可怕。。。)

1 (共1页)
进入Computation版参与讨论
相关主题
周末去悄悄摸了一下i3。。a C language question regarding pointer usage
讲个好玩的,老婆对i3的评价:DRe: MPI question
我的存储解决方案 (转载)请教: C语言一个中等大小的矩阵的内存分配
关于 c malloc的一个问题大家为什么用beowulf?
中国超级计算机"天河一号" 被超越排名降至第二[转载] Mathematica 5 released.
Fortran 77 dynamic memory allocation 1请教一个matlab问题
Fortran 77 dynamic memory allocation 2[合集] 请教matlab中数据存储的问题
请教大家c++ array.rar 后缀的文件怎样打开?
相关话题的讨论汇总
话题: physical话题: 256mb话题: memory话题: 存储话题: categories