p*****2
发帖数: 21240 | 1 今天conference上根本没人用，都用Clojure的Storm。 |
m******t
发帖数: 635 | |
c******o
发帖数: 1277 | |
p*****2
发帖数: 21240 | |
m******t
发帖数: 635 | |
w**z
发帖数: 8232 | |
z****e
发帖数: 54598 | 7 我觉得这篇文章讲得很不清楚，只是单纯滴比较
没有实战价值
不过看评价缺点还是很有启发的，跟我猜的差不多
主要问题就是
hadoop慢
我们用hadoop是因为没有选择
而且hbase存文件容量比较大，能放得多
但是并不代表我们不能自己动手做优化
实际上cap理论里面，hbase就牺牲了a
这个就意味着总是很慢，但是慢没有关系，可以优化
其中一个优化手段是参考传统db建view的方式
找一个db，做预处理查询，把结果存在某一个查询快的角落
比如内森用的elephonedb，db牺牲的是p，没有牺牲a，所以快
然后storm放到前端用来处理最近时间段的数据
persistence这个时候就不能再用hbase了，慢
所以上cassandra，我总是很喜欢cassandra
cassandra牺牲的是c，没有牺牲a，所以快
然后并发存取，并把历史数据存到hbase里面去
这样通过三个不同的数据存储方式hbase，db和cassandra
分别对应历史数据，历史数据视图和即时数据存储
就能解决hadoop慢的问题
绕了这么一大圈就是因为hadoop慢
storm帮忙做了不少事，但是如果换成akka
那你就要从线程写起，效率差很多
storm安装好就能用了，很多工具可以马上用
差别就类似java Execution类和tomcat的区别
【在 c******o 的大作中提到】
: comparison of akka/storm/finagle
: http://blog.samibadawi.com/2013/04/akka-vs-finagle-vs-storm.htm
|
c******o
发帖数: 1277 | 8 你说的太局限，本来storm 就是专业做那个的。
看这个
http://stackoverflow.com/questions/4493001/good-use-case-for-ak
我们就是
Service backend (any industry, any app)
* service REST, SOAP, cometd etc
* act as message hub / integration layer
* scale up, scale out, fault-tolerance / HA |
z****e
发帖数: 54598 | 9 你这个，我实话跟你说
我们这边专门搞web service的
rest和soap，随便一个软件都可以做，而且可以做得很有效率
比如ejb，一个annotation就搞定了
不用akka反而更好，更通俗易懂，用了lib，代码也不用写多少
message hub的话，jms其实比web service更有效率
我说的这两个，都跟scale up/out不冲突
无论哪一个选择，都可以实现scale up/out，都有非常多现成的例子
实际上这些东西本身就是用做scale up/out的
否则也不需要这些东西，它们专业做这个的，尤其是jms
【在 c******o 的大作中提到】
: 你说的太局限，本来storm 就是专业做那个的。
: 看这个
: http://stackoverflow.com/questions/4493001/good-use-case-for-ak
: 我们就是
: Service backend (any industry, any app)
: * service REST, SOAP, cometd etc
: * act as message hub / integration layer
: * scale up, scale out, fault-tolerance / HA
|
z****e
发帖数: 54598 | 10 jboss做seam提出一个概念我很喜欢
它们认为，将来这些东西，都应该做成一个一个组件
随时可以拆装，而且可以替换
这其实是软件工程最理想的境界，我从进入软件工程这个领域的那一天起
就冲着这个目标在努力
你们集成的系统还不够多，还不够大
慢慢做，做到一定程度，你们会有阵痛
【在 c******o 的大作中提到】
: 你说的太局限，本来storm 就是专业做那个的。
: 看这个
: http://stackoverflow.com/questions/4493001/good-use-case-for-ak
: 我们就是
: Service backend (any industry, any app)
: * service REST, SOAP, cometd etc
: * act as message hub / integration layer
: * scale up, scale out, fault-tolerance / HA
|
|
|
N*****m
发帖数: 42603 | 11 这仨都不是一种东西，干嘛橘子比苹果？
【在 c******o 的大作中提到】
: comparison of akka/storm/finagle
: http://blog.samibadawi.com/2013/04/akka-vs-finagle-vs-storm.htm
|
c******o
发帖数: 1277 | 12 就是说不一样，根据需要选不同的用
没有替代和可比性
zhaoce就没看眀白
在 Nehalem (Nehalem) 的大作中提到: 】 |
N*****m
发帖数: 42603 | 13 赵策看不明白很正常
【在 c******o 的大作中提到】
: 就是说不一样，根据需要选不同的用
: 没有替代和可比性
: zhaoce就没看眀白
: 在 Nehalem (Nehalem) 的大作中提到: 】
|
z****e
发帖数: 54598 | 14 谁看不明白，我一开始就说了类比
还是放在最后一句来点睛
但是不可否认的是，很多东西虽然用处不同
但是在某些领域
是可以互相替换的
这个明明是你们没看明白
或者说你们不愿意看明白
【在 c******o 的大作中提到】
: 就是说不一样，根据需要选不同的用
: 没有替代和可比性
: zhaoce就没看眀白
: 在 Nehalem (Nehalem) 的大作中提到: 】
|
l*****i
发帖数: 13 | 15 太扯了
hadoop和storm相比，最麻烦的不是慢，而是很难定义连续长期持久任务，另外是中间
文件必须过磁盘IO导致的延时。
hbase和cass虽然确实c/a牺牲得不同，但对存取影响差别不大。没听说过任何一家把
hbase和cass作为上下级存储的，因为性能梯度差别太小。
另外这几者比较的时候扯上hbase+cass就是离题万里啊
【在 z****e 的大作中提到】
: 我觉得这篇文章讲得很不清楚，只是单纯滴比较
: 没有实战价值
: 不过看评价缺点还是很有启发的，跟我猜的差不多
: 主要问题就是
: hadoop慢
: 我们用hadoop是因为没有选择
: 而且hbase存文件容量比较大，能放得多
: 但是并不代表我们不能自己动手做优化
: 实际上cap理论里面，hbase就牺牲了a
: 这个就意味着总是很慢，但是慢没有关系，可以优化
|
p*****2
发帖数: 21240 | 16
大牛真是说到点上了。因为hadoop现在有很多工具都可以做到real time了。
【在 l*****i 的大作中提到】
: 太扯了
: hadoop和storm相比，最麻烦的不是慢，而是很难定义连续长期持久任务，另外是中间
: 文件必须过磁盘IO导致的延时。
: hbase和cass虽然确实c/a牺牲得不同，但对存取影响差别不大。没听说过任何一家把
: hbase和cass作为上下级存储的，因为性能梯度差别太小。
: 另外这几者比较的时候扯上hbase+cass就是离题万里啊
|
z****e
发帖数: 54598 | 17 你是不是没有看其他人给的链接？
另外我说的就是内森自己写的架构
你是不是又没有看内森写的文章？
【在 l*****i 的大作中提到】
: 太扯了
: hadoop和storm相比，最麻烦的不是慢，而是很难定义连续长期持久任务，另外是中间
: 文件必须过磁盘IO导致的延时。
: hbase和cass虽然确实c/a牺牲得不同，但对存取影响差别不大。没听说过任何一家把
: hbase和cass作为上下级存储的，因为性能梯度差别太小。
: 另外这几者比较的时候扯上hbase+cass就是离题万里啊
|
z****e
发帖数: 54598 | 18 说来说去，不还是回到latency上去了么？
不能持久的续航，或者是延时，不就是慢么？
或者说就是大数据时候会慢，总之迟早会回到慢上去
如果你总是做那么一两次操作，自然体会不到这种差异
【在 l*****i 的大作中提到】
: 太扯了
: hadoop和storm相比，最麻烦的不是慢，而是很难定义连续长期持久任务，另外是中间
: 文件必须过磁盘IO导致的延时。
: hbase和cass虽然确实c/a牺牲得不同，但对存取影响差别不大。没听说过任何一家把
: hbase和cass作为上下级存储的，因为性能梯度差别太小。
: 另外这几者比较的时候扯上hbase+cass就是离题万里啊
|
z****e
发帖数: 54598 | 19 hbase要保证一致性
这中间的过程就会导致延迟
实际上分布式本身的网络磁盘各个层面都会导致延迟
所以预处理是必需的，cassandra则不需要保证一致性
抓到哪个就是哪个，所以比较适合用在即时时候的持久化
我说的就是内森自己写的文章里面写的
你要是“没听说过”那就意味着你不懂twitter现在的架构
没听说过吗？要不要给你听说一下？
【在 l*****i 的大作中提到】
: 太扯了
: hadoop和storm相比，最麻烦的不是慢，而是很难定义连续长期持久任务，另外是中间
: 文件必须过磁盘IO导致的延时。
: hbase和cass虽然确实c/a牺牲得不同，但对存取影响差别不大。没听说过任何一家把
: hbase和cass作为上下级存储的，因为性能梯度差别太小。
: 另外这几者比较的时候扯上hbase+cass就是离题万里啊
|
z****e
发帖数: 54598 | 20 My post Hive, Pig, Scalding, Scoobi, Scrunch and Spark describes simpler
frameworks built on top of Hadoop, but they are still complex.
Hadoop has long response time, and it not suited for real-time responses.
again，什么简单，什么就会占领市场，当其它条件一样的前提下
storm也开源了
【在 p*****2 的大作中提到】
:
: 大牛真是说到点上了。因为hadoop现在有很多工具都可以做到real time了。
|
|
|
p*****2
发帖数: 21240 | 21
忘记impala了？
【在 z****e 的大作中提到】
: My post Hive, Pig, Scalding, Scoobi, Scrunch and Spark describes simpler
: frameworks built on top of Hadoop, but they are still complex.
: Hadoop has long response time, and it not suited for real-time responses.
: again，什么简单，什么就会占领市场，当其它条件一样的前提下
: storm也开源了
|
p*****2
发帖数: 21240 | 22
没有。主要是相膜拜一下你们这些弯曲大牛
【在 w**z 的大作中提到】
: 二爷来弯曲指导工作了？
|
z****e
发帖数: 54598 | 23 cloudera的东西要收钱的吧
【在 p*****2 的大作中提到】
:
: 没有。主要是相膜拜一下你们这些弯曲大牛
|
p*****2
发帖数: 21240 | 24
好像open source呀
【在 z****e 的大作中提到】
: cloudera的东西要收钱的吧
|
H****S
发帖数: 1359 | 25 spray 就是基于akka actor的。现在用scala写rest service基本都用spray做。广义一
点来说，actor也大量用在lift framework里面，其中大量的ajax call都是lift自己的
comet actor完成的。
【在 p*****2 的大作中提到】
: 今天conference上根本没人用，都用Clojure的Storm。
|
p*****2
发帖数: 21240 | 26
确实没用过。但是大牛能说一下这些跟node比有啥优势吗？
【在 H****S 的大作中提到】
: spray 就是基于akka actor的。现在用scala写rest service基本都用spray做。广义一
: 点来说，actor也大量用在lift framework里面，其中大量的ajax call都是lift自己的
: comet actor完成的。
|
H****S
发帖数: 1359 | 27 普通码农一个。对node没什么感觉，single threaded 始终是个问题。最近组内部的
node server出了个问题，因为code写的failover request 频率太高，导致gc没办法
step in 来回收 heap objects，然后server就直接挂了。。。
Conversation pattern只是server实现的一种，对于我来说最大的优势是actor model
下因为message guaranteed 顺序处理，不用考虑race condition，简化了很多工作。
当然有人继续用jboss netty实现server，这个很难说谁好谁坏。
【在 p*****2 的大作中提到】
:
: 确实没用过。但是大牛能说一下这些跟node比有啥优势吗？
|
