s****h
发帖数: 3979 | 1 【 以下文字转载自 DataSciences 讨论区 】
发信人: squash (南瓜之夭夭), 信区: DataSciences
标 题: question about using Hive parameter
发信站: BBS 未名空间站 (Fri Oct 17 15:20:07 2014, 美东)
question about Hive parameter
Support we have some parameters as:
set nyear = '2014';
set nmonth = '10';
set nday = '17';
We generate a new parameter as:
set newdatestring = concat('/foldername/', ${hiveconf:nyear}, '/', ${
hiveconf:nmonth}, '/', ${hiveconf:nday},'/');
Comparing 2 queries
q1:
select ${hiveconf:newdatestring};
q1 output:
/folde... 阅读全帖 |
|
s****h
发帖数: 3979 | 2 question about Hive parameter
Support we have some parameters as:
set nyear = '2014';
set nmonth = '10';
set nday = '17';
We generate a new parameter as:
set newdatestring = concat('/foldername/', ${hiveconf:nyear}, '/', ${
hiveconf:nmonth}, '/', ${hiveconf:nday},'/');
Comparing 2 queries
q1:
select ${hiveconf:newdatestring};
q1 output:
/foldername/2014/10/17/
q2:
select "${hiveconf:newdatestring}";
q2 output:
concat('/foldername/', '2014', '/', '10', '/', '17','/')
The question: is there any se... 阅读全帖 |
|
s*****n
发帖数: 134 | 3 用 -hiveconf 在命令行传递参数？ 比如 hive -f hive_job.hql -hiveconf eligible
_key1=a1 -hiveconf eligible_key2=a2?
如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
nKey = len(a_list)
paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
list)]
cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
最后用os.system(cmdStr)来kickoff。
不过这样的话hive脚本本身也需要改。 |
|
d*******3
发帖数: 58 | 4
1.无论你在hive 里搞还是在脚本呢里搞，逻辑上是一样的。你在hiveconf里搞绝对不
会比在脚本里搞简单，hive 本身只提供类sql 的查询语言，逻辑控制没有脚本灵活方
便。
2.脚本里传个起始/终止时间和天数，构造下foldername 传给hive 执行是恨easy 的一
件事情。 |
|
