k****o 发帖数: 76 | 1 Pig里面可以define某一列为mapper key吗? 比如load之后:
data=load '$INPUT' as (AA, BB, CC);
我经常需要garantee $OUTPUT里面相同的BB要在同一个reducer... partition by 可以
,但是
要自己定义hash function,有没有可以快速定义哪一个是mapper key的?pig
默认是random hashing的吧?目前知道
join by BB之后的BB自动默认为mapper key,但是order by 和group by 都不garentee
。。。
当然,实在不行自己写个mapreduce直接输入输出就可以,但是pig应该有这种不需要脱
裤子放屁的方式吧?
HIVE里面有方法也可以!
多谢大家! | c***z 发帖数: 6348 | |
|