d*2
发帖数: 2053 | 1 http://vision.cloudera.com/impala-v-hive/
by Mike Olson
December 22, 2013
We introduced Cloudera Impala more than a year ago. It was a good launch for
us — it made our platform better in ways that mattered to our customers,
and it’s allowed us to win business that was previously unavailable because
earlier products simply couldn’t tackle interactive SQL workloads.
As a side effect, though, that launch ignited fierce competition among
vendors for SQL market share in the Apache Hadoop ecosystem, w... 阅读全帖 |
|
w*******y
发帖数: 60932 | 2 Hive
iOS iPhone
Link:
http://itunes.apple.com/us/app/hive/id335501575?mt=8
"Hive for the iPhone: brilliant fun." - (Credit: Scott Stein/CNET) ... NEW
PRICING Feb 1. Many for making us "What's Hot" in January !
"Hive offers diverse gameplay, encompassing single-player action, two-player
action (sharing one phone), and four different tile sets. 8/10" - brickroll
.com
Lotusland Studios is proud to present the official version of John Yianni's
award winning game Hive.
Hive is a board game with a di... 阅读全帖 |
|
w*r
发帖数: 2421 | 3 Yes, it is working properly.
Test case:
Step 1 : create a python script to generate random strings. (copied from
internet with little mod)
#!/usr/bin/env python
import sys
import random
import string
def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
return ''.join(random.choice(chars) for _ in range(size))
line=int(sys.argv[1])
for x in range(1,line):
print(id_generator())
Step 2: generate test data and put into home folder:
./random_string.py 1000 | hdfs dfs -p... 阅读全帖 |
|
P******d
发帖数: 137 | 4 【 以下文字转载自 Statistics 讨论区 】
发信人: PlayCold (玩酷), 信区: Statistics
标 题: 请问如何用JDBC连接R和Hive
发信站: BBS 未名空间站 (Mon Jan 13 14:48:18 2014, 美东)
因为平时都是在Hive下把数据先从Hadoop中提取出来，放到AWS的S3里面，再下载到自
己的电脑上。我想要尝试直接连接R和Hive，用JDBC Driver。
在stackoverflow上找到这个帖子：
http://stackoverflow.com/questions/6057875/establishing-a-conne
但是我在自己尝试的时候，老是出现错误
Error in .jfindClass(as.character(driverClass)[1]) : class not found
这是我的Code：
hive_connection <- function(hostname='myhostname',
port= myportnumber,
... 阅读全帖 |
|
P******d
发帖数: 137 | 5 因为平时都是在Hive下把数据先从Hadoop中提取出来，放到AWS的S3里面，再下载到自
己的电脑上。我想要尝试直接连接R和Hive，用JDBC Driver。
在stackoverflow上找到这个帖子：
http://stackoverflow.com/questions/6057875/establishing-a-conne
但是我在自己尝试的时候，老是出现错误
Error in .jfindClass(as.character(driverClass)[1]) : class not found
这是我的Code：
hive_connection <- function(hostname='myhostname',
port= myportnumber,
lib_dir="my/dir" ){
hive_jars <- c('commons-logging-1.1.3.jar',
'hadoop-core-1.2.1.jar',
... 阅读全帖 |
|
b******8
发帖数: 1251 | 6 【 以下文字转载自 Pharmacy 讨论区 】
发信人: baby2008 (清华紫光), 信区: Pharmacy
标 题: 全身都是hive,吃了benadryl也没什么用，怎么办呀
发信站: BBS 未名空间站 (Fri Jan 13 18:04:25 2012, 美东)
看了医生，就叫我吃benadryl.我们都怀疑是花生过敏，因为我是昨天下午吃花生的时
候觉得痒的，之后hive就逐渐扩散到全身，手，脚，镜子，下巴，就差脸上没有了，但
是没有breath problem.以前从来没有花生过敏过。才怀孕5周，医生说有可能是怀孕引
起的immune system change.我吃了benadryl,过1个小时，HIVE会平静一些，但是再过
一个小时HIVE又起来了，就这么反复。不知道什么时候上ER。早上看医生的时候，医生
说要是明天还严重的话，就去ER打一针benadryl.因为怀孕了，能少弄药就弄药。但是
我也不知道这个HIVE正常不。痒我可以忍受，就是不知道要这样弄多久。 |
|
b******8
发帖数: 1251 | 7 【 以下文字转载自 Pharmacy 讨论区 】
发信人: baby2008 (清华紫光), 信区: Pharmacy
标 题: 全身都是hive,吃了benadryl也没什么用，怎么办呀
发信站: BBS 未名空间站 (Fri Jan 13 18:04:25 2012, 美东)
看了医生，就叫我吃benadryl.我们都怀疑是花生过敏，因为我是昨天下午吃花生的时
候觉得痒的，之后hive就逐渐扩散到全身，手，脚，镜子，下巴，就差脸上没有了，但
是没有breath problem.以前从来没有花生过敏过。才怀孕5周，医生说有可能是怀孕引
起的immune system change.我吃了benadryl,过1个小时，HIVE会平静一些，但是再过
一个小时HIVE又起来了，就这么反复。不知道什么时候上ER。早上看医生的时候，医生
说要是明天还严重的话，就去ER打一针benadryl.因为怀孕了，能少弄药就弄药。但是
我也不知道这个HIVE正常不。痒我可以忍受，就是不知道要这样弄多久。 |
|
b******8
发帖数: 1251 | 8 看了医生，就叫我吃benadryl.我们都怀疑是花生过敏，因为我是昨天下午吃花生的时
候觉得痒的，之后hive就逐渐扩散到全身，手，脚，镜子，下巴，就差脸上没有了，但
是没有breath problem.以前从来没有花生过敏过。才怀孕5周，医生说有可能是怀孕引
起的immune system change.我吃了benadryl,过1个小时，HIVE会平静一些，但是再过
一个小时HIVE又起来了，就这么反复。不知道什么时候上ER。早上看医生的时候，医生
说要是明天还严重的话，就去ER打一针benadryl.因为怀孕了，能少弄药就弄药。但是
我也不知道这个HIVE正常不。痒我可以忍受，就是不知道要这样弄多久。 |
|
c***z
发帖数: 6348 | 9 stream R in HIVE with the TRANSFORM command
e.g.
hive> ADD FILE myscript.r;
hive> SELECT TRANSFORM(*) USING 'myscript.r' FROM mytable; |
|
S******y
发帖数: 1123 | 10 在今年的面试中， Hadoop/Hive 已成为必考的技术面试内容。
我们的Hadoop/Hive 实战课自推出以来，受到很多同学们的欢迎， 已经开了多次， 每
次课都报满。
应同学们要求，十二月及一月份 我们在每个周六都推出Hadoop/Hive 实战课。
欢迎在这里报名
Hadoop/Python/R/Hadoop实战速成课网页-
http://plus.google.com/+statsGuyMITBBS/about
Happy Holiday!
-StatsGuy
[email protected]
/* */ |
|
d*******3
发帖数: 58 | 11
1.无论你在hive 里搞还是在脚本呢里搞，逻辑上是一样的。你在hiveconf里搞绝对不
会比在脚本里搞简单，hive 本身只提供类sql 的查询语言，逻辑控制没有脚本灵活方
便。
2.脚本里传个起始/终止时间和天数，构造下foldername 传给hive 执行是恨easy 的一
件事情。 |
|
s****h
发帖数: 3979 | 12 在shellscript里搞，就要传很多foldername进hive。
而且，如果要按date来patition，不可能几百个patition的location一个一个传进去吧。
如果hive里不能解决，那我估计会简单用python写个生成hive query的东西 |
|
s*****n
发帖数: 134 | 13 用 -hiveconf 在命令行传递参数？ 比如 hive -f hive_job.hql -hiveconf eligible
_key1=a1 -hiveconf eligible_key2=a2?
如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
nKey = len(a_list)
paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
list)]
cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
最后用os.system(cmdStr)来kickoff。
不过这样的话hive脚本本身也需要改。 |
|
t*********u
发帖数: 26311 | 14 需要哪些lib/jar?
现在的问题是 DriverManager.getConnection("jdbc:hive2:// )
会报错
xception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/
conf/Configuration
at org.apache.hive.service.cli.thrift.EmbeddedThriftBinaryCLIService.<
init>(EmbeddedThriftBinaryCLIService.java:33)
at org.apache.hive.jdbc.HiveConnection.(HiveConnection.java:163)
at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
at java.sql.DriverManager.getConnection(DriverManager.j... 阅读全帖 |
|
|
S******y
发帖数: 1123 | 16 在今年的面试中， Hadoop/Hive 已成为必考的技术面试内容。
我们的Hadoop/Hive 实战课自推出以来，受到很多同学们的欢迎， 已经开了多次， 每
次课都报满。
应同学们要求，十二月及一月份 我们在每个周六都推出Hadoop/Hive 实战课。
欢迎在这里报名
Hadoop/Python/R/Hadoop实战速成课网页-
http://plus.google.com/+statsGuyMITBBS/about
Happy Holiday!
-StatsGuy
[email protected]
/* */ |
|
c**********a
发帖数: 659 | 17 Pig, hive 都是类似sql 的语言，都较简单。看看tutorialspoint 上的sql tutorial,
找个sql 平台练练，不出三个星期就差不多了。
Hadoop ， pig, hive 都是在linux上open source的。如果你没有Linux, 有pc , 可以
装个Linux 用USB, YouTube 上搜搜，很多相关视频，dual boot.或者你用mac,直接就
有terminal.
装了Linux 后，装Hadoop, hive 等，google 如何安装，很方便。然后google 个相关
tutorial 上手练练，不出3个星期就差不多了。 |
|
c**********a
发帖数: 659 | 18 网上课程YouTube , google 搜索一下。另外推荐一个网站udemy.com 上面搜索一下。
: Pig, hive 都是类似sql 的语言，都较简单。看看tutorialpoints 上的sql
tutorial,
: 找个sql 平台练练，不出三个星期就差不多了。
: Hadoop ， pig, hive 都是在linux上open source的。如果你没有Linux, 有pc
, 可以
: 装个Linux 用USB, YouTube 上搜搜，很多相关视频，dual boot.或者你用mac,
直接就
: 有terminal.
: 装了Linux 后，装Hadoop, hive 等，google 如何安装，很方便。然后google
个相关
: tutorial 上手练练，不出3个星期就差不多了。
|
|
|
r******t
发帖数: 42 | 20 我女儿上周三早上打了一针Hep A (好像是肝炎）疫苗。周三晚上11：30左右哭着醒来
大喊：“我身上痒痒！” 我和老公开灯一看胳膊上，肚皮上，腿上一片片红色的疹子
。当时第一反应就是疫苗过敏。急忙打疫苗热线，打儿医电话， 被告知先用“
Benydrel" 让孩子睡好觉。确实有效果，可是第二天午睡时，又重演了一遍。又被痒醒
。那些疹子又出来了。赶忙打儿医电话， 还好同意我们在下班前去见医生。
医生问了些常规问题，就确诊是Hives. 他还比较确定不是疫苗过敏。说疫苗过敏应该
是打完后几分钟或数小时之内有过敏反应，不应该是12小时以后。而且告诉我Hives会
come and go couple times in 3-5 days. sometimes is longer than 2 weeks. 让我
用 “Benydrel" 顶着。
我的问题是：
1。 为什么他这么确定不是疫苗过敏？有没有JM有类似情况？
2。 Benydrel 能长期吃吗？有什么样严重的副作用吗？我女儿已经吃了5天了。吃完
了好了，不吃就又起来了。我真怕发展成慢性的，小孩受罪，大人心里更难受。如果不
停药又不知道 |
|
r*********n
发帖数: 4553 | 21 看了两次医生也没有提出什么解决方案，还是只有吃Zyrtec缓解症状，但是一停药，
hives又出来了。从8月初一直持续到现在，已经2个月了，刚出现的一两周比较严重，
现在只是长一两颗，一般一天吃5mg Zyrtec就能压制住。
超过8周貌似就是属于chronical的，验血也验了，说了一堆听不懂的名词，就听懂几个
关键词：molecular infection leading to immune system overreaction，我问什么
是cause，结果回答是：什么都可能。
能不能有什么办法查出来到底是什么引起的hives吗？我妈说国内有种血液培养来查起
因，但是在美国看医生的时候都没有提及这个方案。
我担心一直吃Zyrtec会不会有副作用啊？
PS：我以前从来没有全身过敏过，只是手指附近会偶尔长一些不痒不痛的小红斑，然后
自己又好了，在国内的时候医生说这个也是一种过敏，也不知道起因。
非常感谢任何信息，Thanks a lot！！ |
|
m*****a
发帖数: 2160 | 22 去看Allergist
验血有很大的局限性，假阳性和假阴性都有可能。因此一定要医生首先详细收集病史信
息找蛛丝马迹，然后再考虑配合合适的辅助检查
有一半的慢性寻麻疹找不到原因，此时只能长期抗组胺药治疗。抗组胺药是完全可以长
期服用的，非常安全，绝大多数人不会有副作用。
[在 rainbowrain (温柔乡里人) 的大作中提到：]
:看了两次医生也没有提出什么解决方案，还是只有吃Zyrtec缓解症状，但是一停药，
:hives又出来了。从8月初一直持续到现在，已经2个月了，刚出现的一两周比较严重，
:现在只是长一两颗，一般一天吃5mg Zyrtec就能压制住。
:超过8周貌似就是属于chronical的，验血也验了，说了一堆听不懂的名词，就听懂几
个关键词：molecular infection leading to immune system overreaction，我问什么
:是cause，结果回答是：什么都可能。
:能不能有什么办法查出来到底是什么引起的hives吗？我妈说国内有种血液培养来查起
:因，但是在美国看医生的时候都没有提及这个方案。
:我担心一直吃Zyrtec会不... 阅读全帖 |
|
C****e
发帖数: 1681 | 23 来自主题: NextGeneration版 - Hives Any baby has hives? Please share. My bb had ear infection 10 days ago. After
antibiotic she had hives. Sorry poor mom no baozi now. Please bless she get
wells soon.
One thing after another, never end with baby or kids... |
|
w*****4
发帖数: 3902 | 24 有至少一星期了，不知道是产后hives还是因为过敏。每天的吃的以前应该都吃过，以
前好像也有过hives，但都没两天就没了，这次似乎越来越严重，这种包形状不规则，
过一阵子就没了。该看家庭医生，还是妇科，还是皮科？ |
|
az
发帖数: 16686 | 25 我家娃大概从快一岁开始这个hives，发生了好多次了，10次？不过跟你家的症状一点
都不同，我们是5分钟出出来，全部集中在脸蛋上，不痒，娃一点反应都没有，但是大
人看着难受，然后大概20，30分钟就完全不见了，半点痕迹都没有，脸蛋还跟嫩嫩的鸡
蛋一样。有一次正好是去诊所出的，医生一看就说是hives，如果痒，娃难受就让用你
说的这个药，当时我们大概差10天到一岁
找过敏源把，我娃很明显，就是冷空气，还有太阳，太阳一直射，3，5分钟被照得那面
就出疙瘩了，不过不痒 |
|
q**o
发帖数: 4111 | 26 不影响生活就没事吧，大部分起hives很痒或者很烦躁的
可以看看过敏专科，基本上hives就是过敏和病毒两个原因
粉尘过敏只有勤洗手洗脸了，病毒的话确实做不了什么 |
|
l*******a
发帖数: 438 | 27 I think it is: 荨麻疹
My son had very bad hives when he was eating many processed food and
packaged food. We then started giving him almost exclusively fresh food/
ingredients and organic food. No more hives so far.
Good luck! |
|
w*******e
发帖数: 285 | 28 我现在需要在hive里面用我自己的serde，然后我希望serde能用jni调用我线程的c++程
序，这样我就不需要用java重写。
我现在遇到的问题是首先运行add jar 可以把 serde本身的jar 文件加进去，但是再用
add file 把我的jni xxx.dll或者libxxx.so加上运行就总是找不到class。我在网上
search了半天也没有找到类似的，请问有什么例子可以参考吗？我似乎看到过peking2
有一篇blog讲过hadoop call jni的方法，但是现在找不到在哪里了？多谢帮忙。
add jar xxxSerDe.jar
add file xxx.dll
CREATE EXTERNAL TABLE ...
ROW FORMAT SERDE 'com.cloudera.hive.serde.XXXSerDe' |
|
s****h
发帖数: 3979 | 29 【 以下文字转载自 DataSciences 讨论区 】
发信人: squash (南瓜之夭夭), 信区: DataSciences
标 题: question about using Hive parameter
发信站: BBS 未名空间站 (Fri Oct 17 15:20:07 2014, 美东)
question about Hive parameter
Support we have some parameters as:
set nyear = '2014';
set nmonth = '10';
set nday = '17';
We generate a new parameter as:
set newdatestring = concat('/foldername/', ${hiveconf:nyear}, '/', ${
hiveconf:nmonth}, '/', ${hiveconf:nday},'/');
Comparing 2 queries
q1:
select ${hiveconf:newdatestring};
q1 output:
/folde... 阅读全帖 |
|
s*****t
发帖数: 119 | 30 下面两个HIVE query做同一件事情，请问那个query更efficient？假设在Map Reduce的
frame work 下
Query 1:
select id, count(distinct value) values
from table1
group by id;
Query 2:
select a.id, sum(1) values
from
(select distinct id, value
from table1
)a
group by a.id
;
另外请有哪本书或视频讲HIVE的query efficiency吗 |
|
s*********o
发帖数: 567 | 31 把生成的hive table 转换成csv文件以便和别的部门发来的文件比较。结果发现转化后
的文件里的record比在hive table里少了几十个。可能是什么原因呢？ |
|
d*******3
发帖数: 58 | 32 参数变量放在脚本里处理,再传给hive 执行该多方便
#!/bin/bash
nyear='2014'
nmonth='10'
nday='17'
hql="
create external table tableone
(
id int
) LOCATION '$LOCATION'
"
hive -e "$hql" |
|
t*********u
发帖数: 26311 | 33 1. window 远程上传 mdb到linux上
2.window 远程登录linux，自动运行shell
2.1 用我自己写的jar文件分析mdb的结构，生成hive 脚本用于生成对应的空table
2.2 同时上面的jar文件把对应的数据打包成csv文件
2.3 激活hive脚本，导入csv到table
2.4 删除脚本和csv
3. 远程删除mdb文件
以上应该可以用window batch处理，然后用task scheduler运行 |
|
s*****n
发帖数: 134 | 34 我一般都是HIVE完了直接写成csv喂给下游的程序.如果是要做成数据库供查询的话，就
用mysql的工具上传。
没用过JAVA的Hive client，是不是你的SQL的库不全？根据你的报错信息应该可以
google到吧。 |
|
l******n
发帖数: 1250 | 35 发现所有data scientist 的position 都要求大数据,hadoop 什么的经验，还特别重要
可是，如果hadoop的经验，是指用Hive做query 和 summary, 那根用SQL command没多
少区别啊。可能在底层，hadoop和relation database 差距很大，但是在上层，用hive
的话，这个差距可以说很小很小。
如果是写pig，确实有些不太一样，但也不是那么难学，至少比学编程练算法容易多了。
总之，这个要求“大数据”的经验，我感觉就是一个样子货，没啥真的内涵。
请大家发表意见 |
|
o*******a
发帖数: 46 | 36 compare two partitioned hive tables and verify that they are identical. |
|
g***y
发帖数: 764 | 37 simple, if both hive table has same file format, then just calculate the
check sum for each tables' underlying file |
|
w**2
发帖数: 147 | 38 想换到一个比较高端一点的data analysis的工作，目前会用SQL,R和Python，但是从来
没学过Hadoop/Hive之类的，请问大家有什么比较好的学习材料，特别是可以在电脑上
练习的Hadoop environment。多谢了。 |
|
T********e
发帖数: 215 | 39 I didn't know at the time. But the bee was not aggressive when I was around
their original hive, and I believe Africanized bee is not a problem in
Northern Calif. Not yet anyway.
I had subsequently consulted with a bee expert from a local bee society that
they are indeed regular Italian honey bee. |
|
v********e
发帖数: 2 | 40 来这边6年多,从没有过敏.一个月前,时不时身上会起象蚊子叮的小包,一会儿又消失的
无影无踪.吃了CLARITON,一个星期后失效. 看了专家,他开了HYDRYROXIZINE,吃了嗜睡.
只能晚上吃一次,看了中医,好象也不见效.
网上查了好多资料,好象这种叫HIVES, 寻麻疹. 求助医治方法!! |
|
g********u
发帖数: 8891 | 41 try use fresh ginger root to rub the hives. it may work. |
|
c******y
发帖数: 266 | 42 【 以下文字转载自 Parenting 讨论区 】
发信人: centonly (阿木), 信区: Parenting
标 题: 宝宝得了hives，要不要用 benadryl 啊？9个月大的宝宝
发信站: BBS 未名空间站 (Thu Apr 22 10:01:00 2010, 美东)
已经3天了，还是没有退下去的迹象，宝宝还是很痒的，只不过是在大腿和后别上比较
多所以他抓不到，但是晚上睡觉就不踏实了。老翻来翻去的。
医生说如果想用可以用benadryl，请问这个安全吗？我该不该用啊。或者有什么不用吃
药治风疹的好办法吗？ |
|
E*******h
发帖数: 53 | 43 我家宝宝之前得hives差不多一个月才好完全，痒的时候或者睡前给喝benadryl，我的
ped说不要用超过7天。我们第一个星期比较痒，到后来就不太痒了，就没有给了。
我妈妈叫我用金银花水洗，但是我没有用。 |
|
W**7
发帖数: 421 | 44 3岁娃最近老是出疹子，医生就说是hives，让吃过敏药，可是药停了还是会发. 看过两
个不同的儿医，都一样的话，说很难搞清楚过敏源或者其他原因。难道只能长期吃过敏
药么？ 孩子小时候也没出现过食物过敏或其他过敏，最近这一个多月断断续续地长，
孩子很难受，有时候浑身都是红疹子，有时候就是四肢，看得让人心疼，也不能出门玩
，风一吹红疹就更严重了。
请教有经验的妈妈么，有遇到类似的状况么？都怎么解决的？
多谢啦！ |
|
y***d
发帖数: 2330 | 45 对一岁以下的不清除，忘了，看说明书吧；一岁一上的是安全的；
关键是要找到对什么过敏。是不是什么食物？是不是擦了什么护肤品？
常见的食物过敏比如小麦/牛奶/鸡蛋/坚果/花生/芝麻。如果这些进了护肤品也会导致
hives |
|
r*f
发帖数: 39119 | 46 老师说疑似hives，让小朋友回家，我刚给诊所打电话，还不知道他们啥时候能回电话。
这玩意能很快消掉么，没消掉前是不是就不能去学校了:S |
|
|
d****o
发帖数: 3197 | 48 觉得你这是小case吧，你也不用紧张，Hives最可怕是怕它起在呼吸道，堵塞呼吸道，
起在皮肤上的没事。 |
|
h***m
发帖数: 3 | 49 我家宝宝一个星期前打了四个疫苗（4岁）包括mmr和chickenbox。昨天开始起hives，
不是红色的，是像过敏一样的小包，一串一串的。我给他吃了过敏药，过一回就下去了
，但是很肯定不是过敏。不知道这种情况要持续多久，有别的办法吗（不吃过敏药，）
。准备明天问一下医生，现在在这里问问有没有有经验的？我们以前打疫苗从来没有任
何反应。 |
|
E*********s
发帖数: 93 | 50 When my daughter had her shot at one year old for chicken pox, her dr. said
about 20% kids will have hives one week after the shot and told us if that
appeared, not to worry. |
|
