v*******g 发帖数: 334 | 1 我的数据有10M行,几百列,大概10G,从TXT读入SAS就花很多时间,再用SAS sort 时
更慢,也消耗空间,数据处理完,再输出也要花很多时间。
软硬件
SAS 9.2
Unix
PC ( win 7 , 内存不小,具体多少不确定)
大家怎么处理这种状况的? |
s*********e 发帖数: 1051 | 2 数据不大。
你用什么软硬件
【在 v*******g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的数据有10M行,几百列,大概10G,从TXT读入SAS就花很多时间,再用SAS sort 时 : 更慢,也消耗空间,数据处理完,再输出也要花很多时间。 : 软硬件 : SAS 9.2 : Unix : PC ( win 7 , 内存不小,具体多少不确定) : 大家怎么处理这种状况的?
|
v*******g 发帖数: 334 | 3 软硬件
SAS 9.2
Unix
PC ( win 7 , 内存不小,具体多少不确定) |
d******e 发帖数: 551 | 4 10G 用PC SAS做的话挺大了吧?除了用Server,还能怎么做呢?
【在 s*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 数据不大。 : 你用什么软硬件
|
o****o 发帖数: 8077 | 5 using INDEXING not sorting
also, when you read from TXT, customize length of your variables to minimize
I/O burden
【在 v*******g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的数据有10M行,几百列,大概10G,从TXT读入SAS就花很多时间,再用SAS sort 时 : 更慢,也消耗空间,数据处理完,再输出也要花很多时间。 : 软硬件 : SAS 9.2 : Unix : PC ( win 7 , 内存不小,具体多少不确定) : 大家怎么处理这种状况的?
|
s*********e 发帖数: 1051 | 6 indexing is a very good strategy when handling large data. but very few
people would use now.
minimize
【在 o****o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : using INDEXING not sorting : also, when you read from TXT, customize length of your variables to minimize : I/O burden
|
c****x 发帖数: 6601 | 7 排序的话:
I/O efficient sorting(external merge sort)
或者hadoop terasort |
v*******a 发帖数: 1193 | 8 10m 在row 来说不算特别大,但是有几百column 就大了,所有column 都要用吗?不用
的不要都一起sort
【在 v*******g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的数据有10M行,几百列,大概10G,从TXT读入SAS就花很多时间,再用SAS sort 时 : 更慢,也消耗空间,数据处理完,再输出也要花很多时间。 : 软硬件 : SAS 9.2 : Unix : PC ( win 7 , 内存不小,具体多少不确定) : 大家怎么处理这种状况的?
|
v*******g 发帖数: 334 | |
R*********i 发帖数: 7643 | 10 INDEX,还有如果不是每个OBS都有用,用PROC SQL先挑出来你想要的,比DATA STEP快
。 |
g*******r 发帖数: 270 | 11 也是unix,sas9.2曾经处理过670m obs,近200 column的数据,
一个办法就是只取需要用的column,一般而言也就几(十)个关键column,绝大多数的
是不参与logic运算的,只是最后要populate一下而已。
还有就是第一步就先supset一下,尽可能的减少obs。
最后一点就是注意自己的programming尽可能的efficient,至少逻辑上要最大可能的简
单化,不要重复的join/match,这个就需要搞透彻了整个project的logic. |
h********3 发帖数: 2075 | 12 10M的算小数据。真正的大数据都是10B的级别。SAS本来就不适合做大数据处理。 |
l*******l 发帖数: 204 | 13 SAS SPDE engine and compress |