t*********u
发帖数: 26311 | 1 有很多记录 大概12M个
a1 b1
a1 b2
a1 b3
a2 b1
a2 b4
这样的
想法是
如果给a1, a2 就把b1, b2,b3 ,b4找出来
但是a1，a2是动态的
有什么好方法么？ |
p*******i
发帖数: 1181 | 2 Select Distinct B from table where A in (a1, a2)? |
t*********u
发帖数: 26311 | 3 如果重复这样的过程，但是(a1 a2)不一样，或者变成(a3 a4 a5)
有没有方法变成参数形式？
【在 p*******i 的大作中提到】
: Select Distinct B from table where A in (a1, a2)?
|
s*****n
发帖数: 134 | 4 用 -hiveconf 在命令行传递参数？ 比如 hive -f hive_job.hql -hiveconf eligible
_key1=a1 -hiveconf eligible_key2=a2?
如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
nKey = len(a_list)
paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
list)]
cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
最后用os.system(cmdStr)来kickoff。
不过这样的话hive脚本本身也需要改。 |
t*********u
发帖数: 26311 | 5 Hive出来的结果怎么回传？
我想用jdbc链接，但是老是没法初始化链接
eligible
【在 s*****n 的大作中提到】
: 用 -hiveconf 在命令行传递参数？ 比如 hive -f hive_job.hql -hiveconf eligible
: _key1=a1 -hiveconf eligible_key2=a2?
: 如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
: nKey = len(a_list)
: paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
: list)]
: cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
: 最后用os.system(cmdStr)来kickoff。
: 不过这样的话hive脚本本身也需要改。
|
s*****n
发帖数: 134 | 6 我一般都是HIVE完了直接写成csv喂给下游的程序.如果是要做成数据库供查询的话，就
用mysql的工具上传。
没用过JAVA的Hive client，是不是你的SQL的库不全？根据你的报错信息应该可以
google到吧。
【在 t*********u 的大作中提到】
: Hive出来的结果怎么回传？
: 我想用jdbc链接，但是老是没法初始化链接
:
: eligible
|
t*********u
发帖数: 26311 | 7 在网上查了，有人问了类似问题
，但是给出的解决方案不一致
按照网上信息还是不能搞定
我需要的回传信息其实就是一个数字，但是需要做很多次这样的查询
现在在想实在不行，搬一个瘦身版的数据库到mysql上
【在 s*****n 的大作中提到】
: 我一般都是HIVE完了直接写成csv喂给下游的程序.如果是要做成数据库供查询的话，就
: 用mysql的工具上传。
: 没用过JAVA的Hive client，是不是你的SQL的库不全？根据你的报错信息应该可以
: google到吧。
|
