b*******y 发帖数: 1240 | 1 large log file,含有 customer id, product id, time stamp
想得到在某一天中某个custom看网页的次数
1. 足够memory
2. limited memory |
l*****a 发帖数: 559 | 2 内存有限就external sort。
time stamp , customer id, product id 排序。 |
b*******y 发帖数: 1240 | 3 排序?
有三个column
分别是time, custom和product
【在 l*****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 内存有限就external sort。 : time stamp , customer id, product id 排序。
|
y***m 发帖数: 7027 | 4 最土的办法不是分片读取累加么...
【在 b*******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : large log file,含有 customer id, product id, time stamp : 想得到在某一天中某个custom看网页的次数 : 1. 足够memory : 2. limited memory
|
b*******y 发帖数: 1240 | 5 那个time stap是epic time
你怎么读取啊
【在 y***m 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最土的办法不是分片读取累加么...
|
b*******y 发帖数: 1240 | 6 up一下
【在 b*******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : large log file,含有 customer id, product id, time stamp : 想得到在某一天中某个custom看网页的次数 : 1. 足够memory : 2. limited memory
|
f*****w 发帖数: 2602 | 7 为什么要sort ? log文件不一般都是按照时间排序的么? 所以步骤是 1)找到想要的
时间区间 2) 然后go through一遍
Step 2完全不是问题,不管内存是不是够,可以直接在文件上操作;
对于Step1, 如果内存不够的话就分块载入,然后再在内存中找合适的位置 |
b*******y 发帖数: 1240 | 8 那epic time这个条件应该怎么考虑
【在 f*****w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 为什么要sort ? log文件不一般都是按照时间排序的么? 所以步骤是 1)找到想要的 : 时间区间 2) 然后go through一遍 : Step 2完全不是问题,不管内存是不是够,可以直接在文件上操作; : 对于Step1, 如果内存不够的话就分块载入,然后再在内存中找合适的位置
|
h*********n 发帖数: 11319 | 9 啥叫epic time
【在 b*******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那epic time这个条件应该怎么考虑
|
b*******y 发帖数: 1240 | 10 应该是epoch time
【在 h*********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 啥叫epic time
|
f********3 发帖数: 210 | |
e***s 发帖数: 799 | |
e***s 发帖数: 799 | 13 是这个http://en.wikipedia.org/wiki/Unix_time
【在 f********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : epoch time是啥?
|