f**********r
发帖数: 18251 | 1 当今的大赛和超级大赛如万花筒般绚烂，于是我们可能忘却了过去许多闪耀着荣誉的比赛
。但即使与最著名的相比，60年前的今天即1938年卡帕布兰卡阿廖欣11 月举行于荷兰的
AVRO大赛仍是傲然独立。因为它的参赛者都属于精英级的特级大师：世界冠军阿廖欣，两
位前世界冠军卡帕布兰卡和尤伟，未来的世界冠军的鲍德维尼克，十年后他成为王者。非
世界冠军同样令人难忘：捷克斯洛伐克的富洛尔前年刚被FIDE提名为正式的世界冠军挑战
者。两位年轻的美国特级大师列舍夫斯基和法因，他们在30年代中期众多比赛中取得了辉
煌的成绩。还有，来自爱沙尼亚22岁的凯列斯已经在几次强大赛和国际象棋奥林匹克赛中
证明了他是对世界最佳棋手构成威胁的对手。
AVRO大赛经常被拿来与其他几次棋史上杰出的大赛相比较。例如1895年哈斯廷斯大赛
，1927年纽约大赛，还有1936年的诺丁汉大赛。无论这几次大赛的水平有多高，排名最后
的棋手和AVRO的相比要弱一些。看来纽约大赛阵容更均衡，但那次拉斯克和波戈柳波夫的
参战无疑决定了一切，因为其它的如马歇尔、斯皮尔曼等人已经过了他们的颠峰期，而且
即使作为棋手他们天才横溢，也难以被认为是精 |
|
w******g
发帖数: 189 | 2 看见这里有scala 和spark的大牛，问问一个困扰多时的问题。Spark上怎么join avro
format的数据？
如果是plain text，用TAB分割开的数据，做join操作很容易就是把A和B表弄成(key,
value)格式的rdd再调用A.join(B)就可以了。但是我现在要join avro格式的数据，还
是A和B，格式都是(STRING, GenericRecord)。读是可以都的，因为可以执行first和
count的action，但是join貌似要shuffle，shuffle的话要serialize 临时数据。已经
用了kyro的serializer register A和B类了，还是不行。大牛谁有经验或者可以run的
例子吗？ |
|
c*****t
发帖数: 1879 | 3 Using jackson streaming api, how to create an AVRO container?
I tried the following.
Schema s = AvroUtils.getSchema (rs.getMetaData ());
AvroSchema schema = new AvroSchema(s);
AvroFactory f = new AvroFactory();
AvroGenerator g = f.createGenerator (m_os);
g.setSchema (schema);
g.writeStartArray ();
...
g.writeEndArray ();
g.flush ();
But the file generated does not contain the schema... |
|
c*******o
发帖数: 27734 | 4 ☆─────────────────────────────────────☆
tgbqaz (qz) 于 (Sat Apr 2 20:46:51 2011, 美东) 提到:
电影电视MTV加上食物中激素
8岁就在教室手淫
美国一方面把和少女网谈的性犯罪人士监视居住，通报社区，到处发传单，张贴布告，
如临大敌
一方面美国文化鼓励把7岁女儿打扮成的象个小婊子，衣服没有几寸，不到13岁就一个
个被破瓜了，成了熟女
简直joke
☆─────────────────────────────────────☆
bixu1 (2-39) 于 (Sat Apr 2 20:49:08 2011, 美东) 提到:
China is worse.
☆─────────────────────────────────────☆
tgbqaz (qz) 于 (Sat Apr 2 20:52:19 2011, 美东) 提到:
这种美国变态文化造成美国性泛滥，
却拿几个性犯罪者当替死鬼
整个社会高喊吊死巫婆，却不知这个社会已经彻底变态
☆──────────────────... 阅读全帖 |
|
f**********r
发帖数: 18251 | 5 挑战巨人——卡斯帕罗夫评老师一盘经典的棋
1938年荷兰广播公司AVRO为8位最强大的棋手组织了一次双循环制的超级大赛，这次盛举
在象棋历史上一直超然屹立着。当时只有年届七旬的拉斯克没有来，代替他的是刚刚赢得
1937 Semmering-Baden大赛的22岁的保尔·凯列斯。【关于这次名垂青史的大赛之简介，
请看译文《60年前的AVRO大赛》】
比赛结果凯列斯和法因分获冠亚军，鲍特维尼克第三，那两位世界冠军阿廖欣和卡帕
布兰卡还排在后面。那是一次非凡的大赛，它象征了以自然天份主宰一切的象棋巨人之英
雄时代的终结，而开辟了一个新时代，一个如果缺乏象棋的专业性就不可能取得大成就的
时代。鲍特维尼克可以被认为是第一个真正的专业人士，尽管他没有夺得AVRO大赛冠军，
但是他对阿廖欣和卡帕布兰卡的胜利具有真正的历史重要意义，并且已经进入象棋艺术的
金色宝库。
第11轮，鲍特维尼克遭遇卡帕布兰卡的那盘棋，一盘带有他深深烙印的棋。不仅被公
认为大赛最佳对局以及得到两个最高奖项(尽管卡帕布兰卡更喜欢鲍特维尼克战胜阿廖欣
那盘)，而且还被推举为列入“不朽”和“万古长青”之中，真的应该把它看作“未被凌 |
|
w********2
发帖数: 632 | 6 The Gnome 7 Lambda was a French designed, seven-cylinder, air-cooled rotary
aero engine that was produced under license in Britain and Germany. Powering
several World War I era aircraft types it was claimed to produce 80
horsepower (60 kW) from its capacity of 12 litres (720 cubic inches)
although recorded figures are lower.[1]
Just under 1,000 units were produced in Britain, the majority (967) by the
Daimler Company of Coventry. A 14-cylinder variant was known as the Gnome 14
Lambda-Lambda.
In ... 阅读全帖 |
|
发帖数: 1 | 7 麻雀空空导弹经历了下列的演变发展：
麻雀I型
麻雀导弹始于1940年代后期，当时美国海军计划发展一种可被导引的空对空火箭。美国
海军在1947年委托Sperry研发一种使用乘波导引版本、直径5英寸（127毫米）的标准空
用火箭（HVAR）。这个武器被划分为热点计划（Project Hotshot）的一部分。最初使
用KAS-1的编号，之后更改为AAM-2，最后在1948年改为AAM-N-2。弹体由道格拉斯设计
，由于HVAR直径仅5英寸的弹体无法容纳所需电子设备，弹体被增至8英寸（203毫米）
。麻雀导弹原型在1952年首次成功拦截目标。
经过长时间的研发后，编号AAM-N-2的麻雀导弹于1956年开始服役，装备在F3H-2M
Demon和F7U Cutlass上。相对于后续型号，麻雀I型更具流线感，外型和子弹相仿，拥
有一个细长的弹头。
麻雀I型是尚未实用化的武器，性能受限且相当原始。乘波导引必须由光学装置识别和
追踪目标，让麻雀I型无法进行超视距攻击，并且无法有效对抗高速目标。麻雀I型只生
产了2000枚左右。
麻雀 II
在1950年代早期，道格拉斯尝试将麻雀导弹装上主动雷达，最... 阅读全帖 |
|
y*****e
发帖数: 712 | 8 谢大牛分享，只想说图灵自杀不是定论，留下很多疑点。
还想问一下kafka支持的这个avro serialization format，这个是在browser request
阶段就转成了avro的形式，传输给kafka是吗？这个代替传统的json或xml，因为更
compact？ |
|
f**********r
发帖数: 18251 | 9 挑战巨人之二：卡斯帕罗夫再评老师另一盘棋
【译前注：实际上与前一篇《挑战巨人》是一起的，而且本来这一篇才是第一部分。不过
既然是并列关系，先后无碍。这次比赛是伟大的1938年AVRO大赛，集中了当时世界最强的
棋手参加。卡斯帕罗夫认为，那次比赛堪称具有划时代的里程碑的意义，是一个科学的专
业化时代开始取代旧有的巨人天才时代的转折点，而老师鲍特维尼克当时战胜两位前世界
冠军的那两盘棋，则鲜明体现了这点。】
挑战巨人之二：卡斯帕罗夫再评老师另一盘棋
加里·卡斯帕罗夫
鲍特维尼克——阿廖欣
AVRO大赛，阿姆斯特丹 1938
后翼弃兵[D41]
1.Nf3 d5 2.d4 Nf6 3.c4 e6 4.Nc3 c5 5.cxd5 Nxd5 6.e3
鲍特维尼克聪明地避开6.g3 和 6.e4 Nxc3 7.bxc3 cxd4 8.cxd4 Bb4+ 的变化，那些在
1937年阿廖欣—尤伟回敬赛中已经验证过了。
6...Nc6 7.Bc4!?
新颖，特为这局而准备的。
7…cxd4
鲍特维尼克说，“在7…Nf6 之后，这盘棋平静进入接受后翼弃兵的一个著名变化里。我
对手可能失去了这个机会。”
8 |
|
v******a
发帖数: 45075 | 10 英国皇家空军“兰开斯特”轰炸机是二战期间盟国空军主战机种，她的名字不仅仅代表着
一个简单的机型,而是二战期间英国皇家空军的象征,体现了皇家空军英勇无畏的战斗精神
!
“兰开斯特”累计出击156192架次，雄居全英之首！累计投弹608612吨，占皇家空军战
时总投弹量的三分之二！为战时全英三大名机（“喷火”、“蚊”式等）之一。作为战时
英国最大的战略轰炸机，以夜间空袭为主要作战手段，几乎包揽了全部重要的战役、战斗
任务，以意外少的损失，赢得了巨大战果，为反法西斯事业作出了不可估量的贡献。
兰开斯特（AVRO Lancaster）1940年，双发动机的“曼彻斯特”轰炸机由于发动机故
障频繁，迫使皇家空军发誓要尽快改装一种装4台“梅林”Merlin X型发动机的新改型进行
替代。谁都没有料到，这竟导致了一代名机“兰开斯特”的诞生。按P13／36设计规范要求
，新机除必装四发动机以满足远程飞行需要外，还应尽量利用“曼彻斯特”已有的工模具
，该方案可以使用75%的“曼彻斯特”轰炸机部件，以便即刻就能转入大批生产。
阿芙罗飞机公司总设计师罗依·查维克巧妙地通过延长翼肋间距的简便方法，轻而易 |
|
C**R
发帖数: 1047 | 11 ～0.1m^2 在通用波段，是“隐形”的标准。
Reduced cross section designs
Chengdu J-20] - Chengdu Aircraft Industry Group
SR-71 Blackbird - Skunkworks Blackbirds were first production RCS
aircraft; 1962 with CIA A-12, then later with SR-71, YF-12 and M-21
Blackbird series of aircraft
Tu-160 - Russian strategic bomber
Avro Vulcan - British strategic bomber with delta wing and buried
engines that gave an unplanned low radar cross-section
B-1B Lancer - RCS to about 10 m2 [22]
Dassault Rafale - ... 阅读全帖 |
|
t****z
发帖数: 8931 | 12 Inventions and improvements
Notable Canadian inventions and improvements to existing technologies
include:
Computing and Animation
Key frame animation was co-invented by Nestor Burtnyk and Marcelli Wein at
the NRC in the 1970s.[1]
Multi-Dynamic Image Technique was invented by Christopher Chapman in 1967.
IMax Movie System was co-invented by Grahame Ferguson, Roman Kroitor, and
Robert Kerr in 1968.[2]
The trackball was first built for the DATAR computer (although the concept
was first mentioned i... 阅读全帖 |
|
z*******3
发帖数: 13709 | 13 这是apache的top projects
如果你能看懂，就知道开源在干嘛了
不过如果你是做os这种的，估计你看不懂这些是做啥的
这些社区都很活跃，版本号都在更新
Abdera Accumulo ActiveMQ Ant Aries Apache HTTP Server APR Avro Axis
Bloodhound Buildr Camel Cassandra Cayenne Chemistry Click CloudStack Cocoon
Continuum Cordova CouchDB cTAKES CXF Deltacloud Derby Directory Empire-db
Felix Flex Forrest Geronimo Gora Gump Hadoop Hama Hive HBase Isis Jackrabbit
James JMeter Kafka Lenya Mahout Marmotta Maven MINA mod_perl MyFaces ODE
OFBiz OpenEJB OpenJPA OpenNLP OpenOffice POI Pivot... 阅读全帖 |
|
V********n
发帖数: 3061 | 14 “每架协和飞机装配了四具由劳斯莱斯和斯纳克玛公司联合研制的奥林匹斯593 Mk 610
型轴流式双转子（twin spool）涡轮喷气发动机，是当时世界上推力最大涡喷发动机，
每具可产生多达18.7吨的推力。奥林匹斯发动机最初是为火神式轰炸机（Avro Vulcan
）研制，其后再为协和飞机发展出593型。”
“斯纳克玛股份有限公司（法语：Snecma S.A.）是总部位于法国库尔库罗纳的飞机和
火箭发动机制造商，为军用与民用飞机、运载火箭和卫星提供发动机设计、研发、生产
和销售，同时也为航空公司、军队等提供发动机支持服务。斯纳克玛是赛峰集团（
Safran）的子公司，其公司名“Snecma”是法文中“Société Nationale d'étude
et de Construction de Moteurs d'Aviation”（国家航空发动机设计制造公司）的缩
写。” |
|
C****2
发帖数: 2904 | 15 万维读者网（Creaders.Net）读者文悦阁来稿：当今由于资讯和网络的空前发展，我们
中的许多人大概已不会以否定的态度来看待频繁发生于世界各地的飞碟 （Flying
Saucer）事件。对于飞碟及外星文明，人们有很多的猜测和遐想。这其中，最令人着迷
的是飞碟匪夷所思的飞行性能。其超高速，超机动 以及无燃料喷射的推进方式是当今
的火箭和飞机无法做到的。如果能够成功制造出类似于飞碟的动力装置，那么其蕴含的
先进科学技术无疑将会给人类社会带来质的跃变。然而，至今世界上没有任何国家公开
表明拥有这样的科技。令人震惊的是，这两三年互联网上的视频及资料披露二战期间纳
粹德国进行了绝密的飞碟研制和生产，而且将飞碟用于战场军情侦查。据媒体报道，去
年德国的电视台播放了有关纳粹绝密科技的片子，引起了很大的轰动。
在纳粹德国飞碟研制过程中，有一位传奇的科学家起到了至关重要的核心作用。他就是
维克多肖伯格（Viktor Schauberger）, 卓越的奥地利自然科学家，发明家，流体力学
专家，农学家及环境保护和可持续发展的倡导者。
维克多肖伯格于1885 年出生在奥地利霍茨施拉格（Holzschlag... 阅读全帖 |
|
|
g*q
发帖数: 26623 | 17 飞机有72名乘客和9名机组
据最新消息称，目前共8人幸存，其中确认名字的五人，一名机组人员为空姐苏亚雷斯
，另外三名正是沙佩科恩斯队的球员，后卫鲁斯切尔，替补门将福尔曼，以及刚刚被救
出的该队门将达尼洛，还有一名是球队副主席托索。
机型是Avro RJ85,四发支线客机,好像很NB的样子 |
|
|
z**********e
发帖数: 22064 | 19 2014年07月22日20:48
1914年7月28日，第一次世界大战爆发。男人们都上了战场，很多人长眠他乡。女人们
开始独立持家，她们制造炮弹、开有轨电车、焊接金属……也有一些女人上了战场，成
为护士或者战士。战后，她们中的大多数人立即失去工作，在一夜之间回到厨房。尽管
如此，一战仍然改变了女性的生活。
战争爆发后，各交战国都有大量妇女自愿参战。一开始，各国政府都不知道如何应付她
们的热情。一开始法国和德国不许妇女参军。英国于1917年创立陆军、海军、空军中的
女兵部队，美国女人也在这一年上了战场。图为英国陆军女兵。供图：Gettyimages/
CFP
在第一次世界大战期间，女性服役是一项大胆的尝试。她们在所有服务单位中的一个共
同的愿望，就是填补男性遗留下来的职位。战场上，英国皇家女子空军部队的机械师在
修理Avro-504飞机。供图：Gettyimages/CFP
英国皇家女子空军女兵在白金汉宫前准备参加一个为战争女工举行的活动，此图为1919
年一战刚刚结束后拍摄。
在美国，13000名妇女首次应招入伍，成为美国海军以及海军陆战队成员，也有一少部
分人成为美国海岸警卫队队员。... 阅读全帖 |
|
T*****n
发帖数: 2456 | 20 干脆一并贴了，各种yinmou论，很欢乐啊
http://zh.wikipedia.org/wiki/%E9%99%B0%E8%AC%80%E8%AB%96
科技
加水就能跑的車子，但由於損壞了經濟既得利益者，而被特務機關消滅證據。
Avro Arrow（英文）
在庫克斯港終止火箭試驗（英文）
Vril Society陰謀論（英文）
誰殺了電動車？（英文）
尼古拉·特斯拉
Phoebus cartel（英文）
免費能源被打壓（英文）
蒙淘克計劃
高頻主動式極光研究計劃
費城實驗
Chemtrail陰謀論（英文）
登陸月球：阿波罗登月计划阴谋论認為美國政府在攝影棚內製造出登陸月球的假象。
外星人
美國軍方隱瞞論：軍方刻意向外散佈一些誇張失實的外星人謠言。久而久之，使國
民覺得外星人只是無稽之談，降低普羅大眾對外星人的興趣及相信程度。
納粹飛碟：納粹德國於第二次世界大戰期間在布拉格建立了飛行試驗基地，並研發
出軍用飛碟。而在蘇俄紅軍攻入布拉格後，納粹科學家緊急銷燬當時眾多... 阅读全帖 |
|
H***e
发帖数: 476 | 21 gzip
我用过sequence file和avro都可以split的
也在书上见过有些compression的不能，但是没记得哪种 |
|
h***i
发帖数: 1970 | 22 Java要学的东西太多，光会core用处不大，起码Spring, JMS, Guava, RPC(Thrift,
avro), memcached，很多东西都必须涉猎。 |
|
h***i
发帖数: 1970 | 23 Java要学的东西太多，光会core用处不大，起码Spring, JMS, Guava, RPC(Thrift,
avro), memcached，很多东西都必须涉猎。 |
|
c******n
发帖数: 4965 | 24 其实都扯淡， 只不过是一个 encoding,encapsulation 的问题。
用avro thrift protobuf 之类的idl 写出逻辑的interface, 想compile 出什么样的on
wire protocol 都可以（json XML. binary )
所以 goog 内部根本不屌什么 rest.
rest ,横行完全是因为历史原因：soap 做出来了， 但是tool chain 很烂， 搞得人去
写机器该做的事，不堪其苦。 有些程序员就说， 啊算了我写个简单的吧， 其实他还
是解决问题的方向错了， 该去让工具更强大而不是让product 更crudep |
|
c******n
发帖数: 4965 | 25 protobuf. avro thrift all come naturally with a RPC generation framework
RPC ( including soap rest) are really nothing more than object encapsulation
, just on wire, not on disk.
plus these specially designed encapsulation mechanisms are so much more
advanced, for example allowing schema evolution ( API changes) without
efforts by application developers
readable |
|
c******n
发帖数: 4965 | 26 it's u that's not getting it.
of course u can just use protobuf just as an envolope, in that sense it's
parallel to XML JSON.
but protobuf thrift avro all come with an RPC server , which gives u a sever
equivalent to http server + rest
I don't know why u keep arguing on this cuz the simplest way to see it is to
look at the documentation , which simply says that they provide an RPC
server,(apart from encapsulating) |
|
J******u
发帖数: 42 | 27 我是4月8号面的。电面面了一轮，题目已经已经是很早之前面得，完全忘了，我记得是
个比较偏实际的但是很简单的问题。所以说下自己的Onsite吧。我因为受伤已经有很满
意的Offer，本身也不是特别在乎，所以面试前完全没有准备。结果听同学说我其实考
到了常考题，而我自己那题常考题没有答好。所以劝各位面试前一定好好看面经。
第一轮是个白人+印度人的组合（此烙印比较nice，所以就尊称为印度人吧）。期间一
直这个印度人在问问题。问题就是给一个二叉树，print出来某一层的所以节点，开始
我用了两个queue做，印度人问为什么，我解释了一下。写好后面，跑了下test，后来
问我如何用一个queue，提出了解决方案就过了。第二问往了。。。不过我答得应该也
很不错。最后几分钟，白人终于开口了，题目是在东岸和西岸之间有很多位置记录装置
，有很多车一起从西岸开到东岸，然后你要返回top k的车，这些车时开的最快的。用
double linked list和hash table来做。然后说可以不可以优化，就是把相同距离的车
放到一个bucket里面，比如说set里面，这是我在版上看到的。白人和印度人都表示... 阅读全帖 |
|
d********w
发帖数: 363 | 28 硅谷最火的高科技创业公司都有哪些？
在硅谷大家非常热情的谈创业谈机会，我也通过自己的一些观察和积累，看到了不少最
近几年涌现的热门创业公司。我给大家一个列表，这个是华尔街网站的全世界创业公司
融资规模评选（http://graphics.wsj.com/billion-dollar-club/）。它本来的标题是billion startup club，我在去年国内讲座也分享过，不到一年的时间，截至到2015年1月17日，现在的排名和规模已经发生了很大的变化。首先，估值在10Billlon的达到了7家，而一年前一家都没有。其次，第一名是中国人家喻户晓的小米，第三，前20名中，绝大多数（8成在美国，在加州，在硅谷，在旧金山！）比如Uber, Airbnb, Dropbox, Pinterest. 第四 里面也有不少相似模式成功的，比如Flipkart就是印度市场的淘宝，Uber与Airbnb都是共享经济的范畴。所以大家还是可以在移动(Uber)，大数据（Palantir），消费级互联网，通讯(Snapchat)，支付(Square)，O2O App里面寻找下大机会。这里面很多公司我都亲自面... 阅读全帖 |
|
r******y
发帖数: 21 | 29 这是楼主第二次onsite他家，希望这次能有好结果吧。
面的组是内部维护hadoop和数据的组。
第一次电面，hiring manager，纯聊天，简历。谈得还不错。于是就有了接下来的下一
步。
第二次电面，依然是问简历，相关工作经历。主要问了问对开源项目的理解，尤其是他
家的impala。还有avro, thrift, nifi, hbase也都问了一些。
下一步是做了个oa，codility的oa，不难，三题，第三题时间不够，第二题有个小bug
，修了以后就提交了。
接下来是onsite，每轮一个小时。
onsite第一面，是个很资深的engineer，还是详细问简历，之前做的project的
architecture，要在白板上画出来。最后题问题的时候问cloudera在这方面也是不是这
样处理的，对方说是很相似的设计。
onsite第二面，大组的manager。详细聊聊hdfs，以及实时data ingestion进hdfs这方
面的设计。主要是考察系统设计以及对开源项目的了解。
onsite第三面，一个刚从ops转到dev的engineer。主要问linux的方方面面，我坦承... 阅读全帖 |
|
发帖数: 1 | 30 https://www.smartrecruiters.com/Ancestry/88345635-senior-data-s
Company Description
Ancestry is the world's largest online resource for family history. We have
helped pioneer the market for online family history research, taking a
pursuit that was expensive and time-consuming and making it easy, affordable
and accessible to anyone with an interest in their family history. The
foundation of our service is an extensive collection of billions of
historical records that we have digitized, indexed an... 阅读全帖 |
|
R*********9
发帖数: 342 | 31 Please send your resume to [email protected]/* */ I will forward your resume.
Company: Expedia (Egencia)
Location: Bellevue, WA
Job title: Sr. BI Developer
Contract duration: 6+ months
Within the Global Business Intelligence division of Egencia, we are
developing BI reporting solutions that will transform two regional service
reporting teams into a single global reporting product for Egencia Global
Customer Operations. Your work/contributions have direct and enduring
impacts on the Egencia... 阅读全帖 |
|
H**********5
发帖数: 2012 | 32 如题。以下这些东东，哪些目前在就业市场更受关注，面试时更可能的被问的详细?
Mongodb
Json
Restful API
Avro
Kafka
Oozie
Azure
Zookeeper
Protobuf
HDFS
Hadoop
Yarn
calsh
Cassandra
RabbitMq
ActiveMq
ZeroMq |
|
发帖数: 1 | 33 楼主就职于Marlabs Inc. 这家公司 在科技服务方面成军20年，全球范围内员工超过
2500人。虽然对于国际学生部分都是Consulting业务， 但跟大多数consulting 企业不
同，Marlabs的主营业务是软件开发，consulting培训项目是因客户的大量需求营运而
生。我们不仅为你提供快速的职业成长空间，移民政策也是极为诱人的。
以下是二月初（2/3/2016）大数据项目的招聘信息，有兴趣请发简历至：pengfei.qian
@marlabs.com。
Big Data Program
Course Information：
Distributed File Systems -- HDFS, Tachyon, Ceph, Lustre, Disco
Distributed Frameworks -- Spark, Shark, MapReduce, Tez, Storm, Hive, Pig,
Disco
Resource Manager -- YARN, Mesos
Data Format -- Protocol Buffer, Thrift, Avro
SQ... 阅读全帖 |
|
发帖数: 1 | 34 诚邀立志在大数据处理方向发展的Fresh Graduate
Marlabs Inc. 在科技服务方面成军20年，全球范围内员工超过2500人。虽然对于国际
学生部分都是Consulting业务， 但跟大多数consulting 企业不同，Marlabs的主营业
务是软件开发，consulting培训项目是因客户的大量需求营运而生。我们不仅为你提供
快速的职业成长空间，移民政策也是极为诱人的。以下是六月初大数据项目的招聘信息
，有兴趣请发简历至[email protected]/* */
Big Data Program
Course Information：
Distributed File Systems -- HDFS, Tachyon, Ceph, Lustre, Disco
Distributed Frameworks -- Spark, Shark, MapReduce, Tez, Storm, Hive, Pig,
Disco
Resource Manager -- YARN, Mesos
Data Format -- Protocol Buffer, Thri... 阅读全帖 |
|
R*****n
发帖数: 355 | 35 请写明你想申请的职位， email简历至[email protected]/* */
-----------------------------------------------
1, Access/SQL
Financial/Banking in Minnetonka, MN
Our client is looking for someone that loves data! This candidate’s ideal
background for this role would be SQL, ETL, Data Warehouse, Access, and
business intelligence in their background. The client needs someone with a
change management and price improvement mindset. This person must support
best practices and will be joining a team that will con... 阅读全帖 |
|
c******n
发帖数: 4965 | 36 SOAP, REST all bs
it's really just due to different people all believing his stuff is best.
it's all just a matter of enveloping/encoding and unpacking/decoding data.
there is no merit in this part of work.
more elegant solutions exist such as ProtocolBuffer/Avro
than |
|
s*******y
发帖数: 46535 | 37 布兰诗歌还真是one of a kind的那种，呵呵，大多数声乐合唱作品都是宗教性质的
有张发烧碟一开始有个合唱有点这种意思，不过一下子找不到了，好像叫黑教堂还是什
么
刚google了一下，出来了这么个list，你参考一下
John Adams: Harmonium, for chorus and large orchestra ~ the recording with t
he composer conducting is the best.
Bela Bartok: The White Stag (Listen only to a recording sung in Hungarian)
Johannes Brahms: Ein Deutsches Requiem
Benjamin Britten: War Requiem
Gabriel Faure: Requiem
Georg Friederich Haendel: The Messiah (oratorio)
Leos Janacek: Slavonic Mass
David Lang: The Passing Measur... 阅读全帖 |
|
t*******e
发帖数: 684 | 38 SOAP和Thrift, Avro可以类比。
replace
build |
|
l*****t
发帖数: 2019 | 39 是不是都是Facebook用thrift？其他公司用avro或pb？ |
|
|
k*******n
发帖数: 190 | 41 写一个parser,定义如何每行转成ROWRDD，再定义一个Schema,apply之后，就成为
SchemaRDD,然后可以 按照 SPARK SQL select, join 随便操作。 |
|
t***0
发帖数: 4 | 42 小弟刚接触大数据不久，最近做了一个项目， 可以让客户自己制定一些规则然后on
demand提交hadoop mapreduce job对自己的数据做analytics。
一般每个job执行时间从几分钟到几十分钟不等，现在大头希望大幅度缩短执行时间，
我们内部有些主意， 比如小的job用uber task， avro代替json， 压缩数据什么的，
准备做些poc。
还有什么其他办法或者替代技术能大幅缩短batchjob执行时间的？ 比如spark，对只迭
代一次的运行有没有比hadoop mapreduce快很多 |
|
h*****4
发帖数: 4219 | 43 现在公司里用来向Hadoop写入的框架是13年搭建的，有很多限制，比如要把JSON转成
POJO再用FileSystem写入，麻烦太多。
现在我重新搞了下，可以直接把JSON用FileSystem写入。不过如果AVRO里面定义了type
是union的话就会报错说数据定义不匹配。比如{"name":"age", "type":[null, "int"]
, "default":null} 这样的话{"age":12}, {"age":null} 都报错。
现在想问两个问题：
1. 有没有业界流行的框架能直接把JSON写入到Hadoop，就不用走FileSystem那一套？
2. 如果没有很好的框架，继续用FileSystem写，有没有办法处理union的问题？
谢谢大家！ |
|
S***s
发帖数: 104 | 44 you should ask server to send AVRO if it's expected schema evolution
this doesn't look very complicated once you solve data de/serialization
typical kafka data pipeline |
|
S***s
发帖数: 104 | 45 AVRO format embed schema used to generate data
so you should have no problem parsing it on receiving end |
|
d****n
发帖数: 12461 | 46 这算data scientist，不算big data engineer。
我说说我们这里的big data engineer都干啥的吧：
1. 设计一个系统，把传统的etl工作用hadoop框架跑起来。当中用到hadoop, mr/pig,
spark, kafka还有诸多nosql数据库不说；
2. 负责系统稳健运行；
3. 各种运行中的问题；
4. 自动化工具， 测试工具；
资深一点的在干嘛：
1. 根据系统特点设计集群大小，设计网络
2. 给BI设计UI自动生成脚本和job产生结果。
还有一些给内部用户和部分外部用户写api的，还有就是解决data scientist各种稀奇
古怪问题的。例如有的data scientist要求在avro和parquet格式之间转换，还有的
data scientist没法处理全部数据，要求帮忙取样。 |
|
