c*****a 发帖数: 1638 | 1 研究了几天,好像无解?
貌似所有的地方都是说只能用spark-submit那个script,但是这个简直是搞笑吧
如果我有个web application,要根据具体情况提交spark job,难道必须从shell调用
这个spark-submit?
这么基础的功能都没有?或者说这么基础的API都不expose,spark这帮人在干啥啊?
在production里面,难道大家都是直接用这个shell来提交job? |
n*****3 发帖数: 1584 | 2 我看到的git hub 例子, 好像都是 spark summit from the shell
我是在local machine generate the jar file, then ftp it to the cluster
to run with spark-summit
不知道有什么省事的procedure
【在 c*****a 的大作中提到】 : 研究了几天,好像无解? : 貌似所有的地方都是说只能用spark-submit那个script,但是这个简直是搞笑吧 : 如果我有个web application,要根据具体情况提交spark job,难道必须从shell调用 : 这个spark-submit? : 这么基础的功能都没有?或者说这么基础的API都不expose,spark这帮人在干啥啊? : 在production里面,难道大家都是直接用这个shell来提交job?
|
c******f 发帖数: 243 | 3 ooyala好像有个restful api神马东西
我们这是upload file然后shell script运行的 |
c*****a 发帖数: 1638 | 4 难道真的只有这么2的方法啊
这帮学院派的人搞软件开发usability就是不太靠谱。
如果没办法,只好暂时先这么着。
关键是我要用EMR的API提交,那么只能在java的main里面再提交shell了。
【在 c******f 的大作中提到】 : ooyala好像有个restful api神马东西 : 我们这是upload file然后shell script运行的
|
n*****3 发帖数: 1584 | 5 去了spark summit, 感觉这帮 人是 acdemical guys,那个 spark streaming
是一个一年级的 phd student lead。。。。 呵呵 只能说 自古英雄出骚年
【在 c*****a 的大作中提到】 : 难道真的只有这么2的方法啊 : 这帮学院派的人搞软件开发usability就是不太靠谱。 : 如果没办法,只好暂时先这么着。 : 关键是我要用EMR的API提交,那么只能在java的main里面再提交shell了。
|
B*****g 发帖数: 34098 | 6 ding
【在 n*****3 的大作中提到】 : 去了spark summit, 感觉这帮 人是 acdemical guys,那个 spark streaming : 是一个一年级的 phd student lead。。。。 呵呵 只能说 自古英雄出骚年
|
p*****2 发帖数: 21240 | 7 standalone应该可以吧?
【在 c*****a 的大作中提到】 : 研究了几天,好像无解? : 貌似所有的地方都是说只能用spark-submit那个script,但是这个简直是搞笑吧 : 如果我有个web application,要根据具体情况提交spark job,难道必须从shell调用 : 这个spark-submit? : 这么基础的功能都没有?或者说这么基础的API都不expose,spark这帮人在干啥啊? : 在production里面,难道大家都是直接用这个shell来提交job?
|
c******f 发帖数: 243 | 8 我们是写了个EMR step(java)把jar file /bash script上传到master, 再写个step
叫execute script
之前我们是全部bash的,用aws cli tool做的
【在 c*****a 的大作中提到】 : 难道真的只有这么2的方法啊 : 这帮学院派的人搞软件开发usability就是不太靠谱。 : 如果没办法,只好暂时先这么着。 : 关键是我要用EMR的API提交,那么只能在java的main里面再提交shell了。
|
c*****a 发帖数: 1638 | 9 这个shell script不能执行在s3上面的jar,对吧...
这个还要下到本地...
挺麻烦的。
这个usability真要命。虽然这个spark的框架设计真的是不错。
step
【在 c******f 的大作中提到】 : 我们是写了个EMR step(java)把jar file /bash script上传到master, 再写个step : 叫execute script : 之前我们是全部bash的,用aws cli tool做的
|
M***r 发帖数: 79 | |
n*****3 发帖数: 1584 | 11 你觉得好用吗?
jobserver
【在 M***r 的大作中提到】 : Try ooyala's Job server: https://github.com/spark-jobserver/spark-jobserver
|