c*******o
发帖数: 21 | 1 看到版上大牛们都说 real time data processing 是热门，那做传统hadoop的还有前
途吗？ |
z****e
发帖数: 54598 | 2 hadoop是基础，没有mr和nosql谈不上什么real time processing
storm也是建立在hadoop之上，或者说你总得找一个类似的东西
cloud底层是soa，不知道为什么总有人以为这行是革命
这行很多时候是发展，旧的东西也不是说随随便便就淘汰不用的
更多时候新的东西对于旧的东西是一种补充，而不是替换 |
e***a
发帖数: 1661 | 3 cloud is a revolution for the business model. |
p*****2
发帖数: 21240 | 4
storm不是hadoop之上吧？
【在 z****e 的大作中提到】
: hadoop是基础，没有mr和nosql谈不上什么real time processing
: storm也是建立在hadoop之上，或者说你总得找一个类似的东西
: cloud底层是soa，不知道为什么总有人以为这行是革命
: 这行很多时候是发展，旧的东西也不是说随随便便就淘汰不用的
: 更多时候新的东西对于旧的东西是一种补充，而不是替换
|
C*******n
发帖数: 24 | 5 楼主是说写Hadoop上的Job这样的工作吗？个人感觉码农在这个方向发展有限。Hadoop
是什么？是工具。这个工具是用来干什么的？降低并行运算的门槛。降低门槛有什么好
处？无/弱编程能力者上手轻松，开发人员可以更focus在业务上而非并行运算的实现上
。所以说Hadoop框架降低了程序编写的价值。相对的，这成了一个有利于业务/模型相
关人员的领域，也就是说这个领域里统计、数学等专业的人会更具优势。个人感觉现在
是因为现在Hadoop相关职位缺口较大，所以大量码农涌入。从大方向上来看，码农在
Hadoop Job编写这个领域不占优势。当然，不否认，聪明的码农们也可以在这个领域逐
渐学会各种模型和业务，最后转型成为数据分析相关类型的人才。所以还是要看楼主你
心中的职业发展道路是怎样的了。 |
z****e
发帖数: 54598 | 6 两个没有必然联系
不过总得有一个东西做类似hadoop的工作
还有就是spark以后就跑在yarn上
【在 p*****2 的大作中提到】
:
: storm不是hadoop之上吧？
|
d********u
发帖数: 5383 | 7 顶一下你。现在居然有人还以为会用H做个HELLO WORLD就能退休了，幼稚地一塌糊涂。
你连ML的皮毛都不懂，门儿都没入呀。
Hadoop
【在 C*******n 的大作中提到】
: 楼主是说写Hadoop上的Job这样的工作吗？个人感觉码农在这个方向发展有限。Hadoop
: 是什么？是工具。这个工具是用来干什么的？降低并行运算的门槛。降低门槛有什么好
: 处？无/弱编程能力者上手轻松，开发人员可以更focus在业务上而非并行运算的实现上
: 。所以说Hadoop框架降低了程序编写的价值。相对的，这成了一个有利于业务/模型相
: 关人员的领域，也就是说这个领域里统计、数学等专业的人会更具优势。个人感觉现在
: 是因为现在Hadoop相关职位缺口较大，所以大量码农涌入。从大方向上来看，码农在
: Hadoop Job编写这个领域不占优势。当然，不否认，聪明的码农们也可以在这个领域逐
: 渐学会各种模型和业务，最后转型成为数据分析相关类型的人才。所以还是要看楼主你
: 心中的职业发展道路是怎样的了。
|
f********g
发帖数: 76 | 8 好牛哇， ORZ一下
然后那么更traditional 的SQL是不是就更老了
mapreduce 是各个 那啥的基础，那么这些大公司现在用的都是啥database system呢？
望指点
比如google 是不是用hadoop哦，
facebook HIVE?
Amazon
Apple
Linkedin
Microsoft
Oracle
【在 z****e 的大作中提到】
: hadoop是基础，没有mr和nosql谈不上什么real time processing
: storm也是建立在hadoop之上，或者说你总得找一个类似的东西
: cloud底层是soa，不知道为什么总有人以为这行是革命
: 这行很多时候是发展，旧的东西也不是说随随便便就淘汰不用的
: 更多时候新的东西对于旧的东西是一种补充，而不是替换
|
l*****t
发帖数: 2019 | 9 不是，但可以在同一个j
host上coexist
【在 p*****2 的大作中提到】
:
: storm不是hadoop之上吧？
|
p*****2
发帖数: 21240 | 10
mesos?
【在 l*****t 的大作中提到】
: 不是，但可以在同一个j
: host上coexist
|
|
|
m**p
发帖数: 189 | 11 有， 前途大大地！
数据分两种：
structured or unstructured. MapReduce/Handoop is the most important tool for
unstructured data processing, no matter real time or not. |
h**********k
发帖数: 105 | |
s*****r
发帖数: 43070 | 13 你忘了BI了，搞data warehouse的主要是码农。
hadoop是个工具没错，合格的backend和BI码农，至少要熟练掌握几十种开源项目，
hadoop只是其中之一，不存在只依靠hadoop过日子的码农。
编程也不是ML或者Data scientist的强项，他们可能会用pig，但绝对不会成为hadoop
的专家。
Hadoop
【在 C*******n 的大作中提到】
: 楼主是说写Hadoop上的Job这样的工作吗？个人感觉码农在这个方向发展有限。Hadoop
: 是什么？是工具。这个工具是用来干什么的？降低并行运算的门槛。降低门槛有什么好
: 处？无/弱编程能力者上手轻松，开发人员可以更focus在业务上而非并行运算的实现上
: 。所以说Hadoop框架降低了程序编写的价值。相对的，这成了一个有利于业务/模型相
: 关人员的领域，也就是说这个领域里统计、数学等专业的人会更具优势。个人感觉现在
: 是因为现在Hadoop相关职位缺口较大，所以大量码农涌入。从大方向上来看，码农在
: Hadoop Job编写这个领域不占优势。当然，不否认，聪明的码农们也可以在这个领域逐
: 渐学会各种模型和业务，最后转型成为数据分析相关类型的人才。所以还是要看楼主你
: 心中的职业发展道路是怎样的了。
|
C*******n
发帖数: 24 | 14 如果要从现存的几十种开源项目中选取最合适当前所做项目的，码农的知识与经验肯定
是很具有优势的。编程确实不是ML/Data scientist的强项，这也是我的猜测依据之一
——工具的易用性降低了编程的难度，所以码农的优势被削弱了。我不知道你说的
hadoop的专家是指什么样的人，如果是指给hadoop写job的熟练工的话，我感觉ML/Data
scientist应该也不难做到。这也是为什么我先问楼主这份工作是否是单纯写hadoop的
job。当然我猜测hadoop的专家肯定不是这么肤浅的角色，你可否讲一下hadoop专家应
具备的技能，也算是为楼主指一个方向。
hadoop
【在 s*****r 的大作中提到】
: 你忘了BI了，搞data warehouse的主要是码农。
: hadoop是个工具没错，合格的backend和BI码农，至少要熟练掌握几十种开源项目，
: hadoop只是其中之一，不存在只依靠hadoop过日子的码农。
: 编程也不是ML或者Data scientist的强项，他们可能会用pig，但绝对不会成为hadoop
: 的专家。
:
: Hadoop
|
z****e
发帖数: 54598 | 15 我的感觉，转行跟科班很难竞争的地方在于无法看到的部分
比如linux server，这就需要command line，各种命令要记
看不到，没有可视化界面，这个时候科班的优势会很明显
但是如果用的是windows的话，转行一般没啥问题
所以web, app都是很直观，可以直接看到的部分
转行的做这些问题也不大，稍微练习一下就能上手
但是hadoop这个，一个是nosql，一个是mapreduce
都不是很直观的部分，所以需要时间投入，没有投入就是不太会
这个是传统backend的部分，hadoop的那个mr框架现在是yarn
有越来越复杂的趋势，并没有简化，实际上nosql对于db的改良
也不是简化，而是进一步复杂化，选择变多了，以前db一个选择
现在三种组合可以自由选择，所以backend的幸福感就在于此
其实并不是越来越简单，而是越来越复杂，因为当你解决了一个问题
其它人能想到额外的三个领域让你去处理，因为backend本身就是集成的系统
只会越来越大，越来越复杂，虽然同一个问题会越来越简单
但是本身这个领域外延会越来越广
但是这些在frontend和app都不成立，frontend和app也的确越写越简单
也越来越小
Data
【在 C*******n 的大作中提到】
: 如果要从现存的几十种开源项目中选取最合适当前所做项目的，码农的知识与经验肯定
: 是很具有优势的。编程确实不是ML/Data scientist的强项，这也是我的猜测依据之一
: ——工具的易用性降低了编程的难度，所以码农的优势被削弱了。我不知道你说的
: hadoop的专家是指什么样的人，如果是指给hadoop写job的熟练工的话，我感觉ML/Data
: scientist应该也不难做到。这也是为什么我先问楼主这份工作是否是单纯写hadoop的
: job。当然我猜测hadoop的专家肯定不是这么肤浅的角色，你可否讲一下hadoop专家应
: 具备的技能，也算是为楼主指一个方向。
:
: hadoop
|
z****e
发帖数: 54598 | 16 db是更老了
但是db很重要，因为核心涉及到钱的数据是db在处理
其它的，其实什么都用，你觉得哪个合适就用哪个
没有理由说a能用的g不让用，尤其是开源的产品
【在 f********g 的大作中提到】
: 好牛哇， ORZ一下
: 然后那么更traditional 的SQL是不是就更老了
: mapreduce 是各个 那啥的基础，那么这些大公司现在用的都是啥database system呢？
: 望指点
: 比如google 是不是用hadoop哦，
: facebook HIVE?
: Amazon
: Apple
: Linkedin
: Microsoft
|
