J****R
发帖数: 373 | 1 应该不是把jar 一个个copy到每个node上面吧? |
l*******m
发帖数: 1096 | 2 HADOOP_CLASSPATH
【在 J****R 的大作中提到】
: 应该不是把jar 一个个copy到每个node上面吧?
|
f*******t
发帖数: 7549 | |
J****R
发帖数: 373 | 4 能详细说一下吗？
【在 l*******m 的大作中提到】
: HADOOP_CLASSPATH
|
J****R
发帖数: 373 | 5 你是说用distributed cache?
DistributedCache.addFileToClassPath(hdfsJar, conf);
【在 f*******t 的大作中提到】
: 可以存hdfs里
|
n*******2
发帖数: 89 | 6 可以放到nfs上然后mount到各个node
【在 J****R 的大作中提到】
: 应该不是把jar 一个个copy到每个node上面吧?
|
f*******t
发帖数: 7549 | 7 是的，能用
【在 J****R 的大作中提到】
: 你是说用distributed cache?
: DistributedCache.addFileToClassPath(hdfsJar, conf);
|
l*******m
发帖数: 1096 | |
J****R
发帖数: 373 | 9 谢谢!
总结一下,基本上就是3种途径:
1, copy jar files and config files onto all nodes in cluster.
2, fat jar
3, distributed cache.
第一种太麻烦,上production 不现实,这么搞的话operation team会疯掉.
第二种比较低效,因为fat jar size太大了,跑起来performance恐怕有问题.
第三种解决了这些问题,但也得还得在client node上面单独放上jar, config. 不然启
动Job的时候会出问题.
【在 l*******m 的大作中提到】
: http://grepalex.com/2013/02/25/hadoop-libjars/
|
D**u
发帖数: 288 | 10 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath，
jar file 超过64kb 怎么办， 比如想放一个array进去， 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
想听听大家意见，我只关注hadoop distributed jar files 不是general的 |
J****R
发帖数: 373 | 11 没听说jar size 64k的限制啊，要是fat jar，几十个M的都有。你的那个link里面讨论
的是limit on the a single method in the code。64k 的method，check in 以后会
被群殴的。。。。。。
【在 D**u 的大作中提到】
: 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath，
: jar file 超过64kb 怎么办， 比如想放一个array进去， 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
: 想听听大家意见，我只关注hadoop distributed jar files 不是general的
|
