T******7 发帖数: 1419 | 1 storm和spark, maprduce比有什么优势? |
z****e 发帖数: 54598 | 2 苹果橘子了
storm在streaming上目前还没有竞争对手
唯一麻烦的就是clojure
随着java8开始出现streaming api
storm的优势也在被逐渐蚕食
flink出来以后这两个对比会更清楚一点
flink的streaming和dataset处理是分离的api |
b**********5 发帖数: 7881 | 3 java8 的streaming和storm的streaming不一样把。java8的streaming是在一个机器上
, storm的streaming可是在不同机器上的。 bolt里的logic,too complex for java
8 streaming functions
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 苹果橘子了 : storm在streaming上目前还没有竞争对手 : 唯一麻烦的就是clojure : 随着java8开始出现streaming api : storm的优势也在被逐渐蚕食 : flink出来以后这两个对比会更清楚一点 : flink的streaming和dataset处理是分离的api
|
a******3 发帖数: 170 | 4 Mapreduce 一般用来批处理存在分布式文件系统里的大文件
storm 是用来实时处理流数据。
Map/Reduce 有个缺点是过于依赖文件来存储中间结果,后果是运算turnaround 的时间
很长。Spark 的设计目标之一是解决这个问题,spark 里所有的运算都在内存里进行,
所以速度快很多,尤其是对于需要多个iteration 的运算。Spark 的另外一个优点是它
采用了functional programming 的编程模式,写程序要比MapReduce 简洁很多,和其
他(ML, graph process) libraries 的接口做得很好。Spark 的缺点是可靠性暂时还
比不上 Hadoop. |
z****e 发帖数: 54598 | 5 牛肉姐,如果是跨机的,用rxjava等streaming framework
一般跨机要看网络协议,纯java的可以用序列化,跨语言用json这些
真要做其实不难,不过现在主要是用rxjava
java
【在 b**********5 的大作中提到】![](/moin_static193/solenoid/img/up.png) : java8 的streaming和storm的streaming不一样把。java8的streaming是在一个机器上 : , storm的streaming可是在不同机器上的。 bolt里的logic,too complex for java : 8 streaming functions
|
l*****n 发帖数: 199 | 6 上班用过一年storm,曾以为走在了科技的前沿,后来一去twitter面试,里面一个大牛
和我说Twitter已经抛弃Storm了,还说觉得storm不好scale,听完我整个人都不好了。
。。 |
S**********5 发帖数: 896 | 7 看了你好几个帖子,你怎么什么都知道,这些你平时都用吗?如果想知道这些平时该怎
么学习呢?谢谢啊
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 苹果橘子了 : storm在streaming上目前还没有竞争对手 : 唯一麻烦的就是clojure : 随着java8开始出现streaming api : storm的优势也在被逐渐蚕食 : flink出来以后这两个对比会更清楚一点 : flink的streaming和dataset处理是分离的api
|
l*n 发帖数: 529 | 8 大神,Java Stream,rxJava以及Spark Streaming是三回事儿啊,别因为共用一个
Stream单词就乱了。
Spark和MapReduce这些分布式框架最重要一点是内置好failure的处理和重计算。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 牛肉姐,如果是跨机的,用rxjava等streaming framework : 一般跨机要看网络协议,纯java的可以用序列化,跨语言用json这些 : 真要做其实不难,不过现在主要是用rxjava : : java
|
N*D 发帖数: 3641 | 9 realtime vs batch
online vs offline
【在 T******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : storm和spark, maprduce比有什么优势?
|
z****e 发帖数: 54598 | 10 没有说是一回事啊
一开始就说了是苹果和橘子
后面说的是牛肉姐的具体需求未必需要用spark呀
【在 l*n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 大神,Java Stream,rxJava以及Spark Streaming是三回事儿啊,别因为共用一个 : Stream单词就乱了。 : Spark和MapReduce这些分布式框架最重要一点是内置好failure的处理和重计算。
|
z****e 发帖数: 54598 | 11
什么都知道那是古德霸,涉及os等底层的部分我已经还给老师了
学过早忘了,我从需求出发学习技能
每天就琢磨有什么东西我还不会做,解决不了的
如何解决,原理是啥,然后有什么轮子正在解决这些问题
然后剩下就是熟悉api的问题了
【在 S**********5 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 看了你好几个帖子,你怎么什么都知道,这些你平时都用吗?如果想知道这些平时该怎 : 么学习呢?谢谢啊
|