|
p*****2 发帖数: 21240 | 2
java
我学scala比clojure早多了。我相信我有能力把它学好,也有一定的热情。但是对于我
们的项目来说,我们需要快速开发,这也是为什么很多startup都选择动态语言的原因
。我认真比较了scala和clojure,为了这个我不得不学习一下clojure。
最后的结果是scala确实功能强大,但是开发效率会比clojure低很多。即使我学scala
要比clojure早很多,而且coursera上的course作业是100%对,clojure是一门新的语言
,有很不熟悉的lisp语法,但是我还是觉得clojure开发比scala快很多。
这样说吧,我学习scala大概花了7-10天上手,clojure是1-2天上手。clojure上手以后
慢慢的会觉得越来越简单,scala上手以后搞了几个月还是觉得很繁琐,复杂。而且
scala功能强大的部分,我认为都可以找到其他的解决方案。比如real time我们用
storm来做。 |
|
|
c******3 发帖数: 296 | 4 Storm到底牛在哪里?初看上去象是去掉了Container的EJB集群。很蹩脚。而且负载一
大就重新估算Bolt数目,还要重起。事物支持还得自己写,太弱智了。比已经失势的
EJB差的不只一条街。初学,望大牛们指点。 |
|
z****e 发帖数: 54598 | 5 storm就是一个前端的cache,你这么理解就好了
ejb支持不了太大数量的并发,每一个thread都需要额外开一个beans去处理
这个其实不合理 |
|
p*****2 发帖数: 21240 | 6
好像说storm一个node 每秒可以处理million级别的events. |
|
z****e 发帖数: 54598 | 7 这个最好的办法还是测试一下看结果
当然单纯从功能上说,ejb肯定能做
但是我比较怀疑ejb的负载能不能达到storm的程度
或者反过来 |
|
|
z****e 发帖数: 54598 | 9 貌似storm可以搞stateful的worker |
|
|
p*****2 发帖数: 21240 | 11
kafka+storm+clojure+mongodb+redis |
|
p*****2 发帖数: 21240 | 12
不过话说回来,storm还真的很容易上手,quality也还不错。 |
|
d*******r 发帖数: 3299 | 13 多谢二爷和老赵指点,我准备去当小白鼠了
如果这个用 Storm 的方案实行了,我回头再来 update |
|
z****e 发帖数: 54598 | 14 我上一个帖子里面有一个链接
里面就有一个针对python的例子
你可以先看看,对你估计很有价值
我看storm就是用在real time的分析上
尤其适合streaming data |
|
p*****2 发帖数: 21240 | 15
交易可以用异步呀。Storm可以把任务分发出去呀。有专门的bolt管transaction的。 |
|
g*****g 发帖数: 34805 | 16 前端写订单,上一web cluster发到app cluster上生写cassandra就行了。storm啥的不
需要。
当然web server你要用node是可以的。 |
|
p*****2 发帖数: 21240 | 17
这不是又一个解决方案吗?没有说你的不对呀。storm的好处是infrastructure都有了
。开发起来很easy。你的方案开发起来就要慢一些了。 |
|
p*****2 发帖数: 21240 | 18
你这个到提醒了我。用Storm的话,还是得上Redis呀。我刚才想的是data in memory,
忘记考虑persistence了.
中间的bolt保存信息应该用Redis来做。这样bolt crash就不怕了。
再说cassandra这个配置,题外话了。如果cross data center的话,performance
impact就要大很多了吧? |
|
p*****2 发帖数: 21240 | 19
嗯。storm上边很多好东西。Nathan不是盖的。 |
|
z****e 发帖数: 54598 | 20 可行
不过storm不负责web server
找一个地方汇总所有数据流就好了
流式处理是王道 |
|
p*****2 发帖数: 21240 | 21
pre-
OK。那就全明白了。这个处理跟我想的Storm那个类似。
多谢大牛了。先去睡了。明天再好好研究大牛的架构。 |
|
p*****2 发帖数: 21240 | 22
kafka用在哪个部分?storm自己也可以有缓存吧? |
|
z****e 发帖数: 54598 | 23 spark产品线更全一点
storm只做stream |
|
z****e 发帖数: 54598 | 24 spark产品线更全一点
storm只做stream |
|
d*******r 发帖数: 3299 | 25 我知道有公司从 storm 转到 spark 的 |
|
n*****3 发帖数: 1584 | 26 感觉 spark 比较方便 ML, storm 只是设计成 一个sreaming sulotion.
a |
|
p*****2 发帖数: 21240 | 27 昨天跟几个大牛聊system design,今天发现Spark可以完美解决
看来Storm凶多吉少呀 |
|
g*****g 发帖数: 34805 | 28 Storm 是real time processing, Spark是batch processing. Use case不太一样吧。 |
|
z****e 发帖数: 54598 | 29 嗯,storm可以接收来自其他server的stream
spark还是主要针对persistence,现在也只针对hdfs
cassandra的支持都还只是刚刚起步 |
|
|
p*****2 发帖数: 21240 | 31 够用了 解决了storm几个明显问题 又加了新的feature 比如window 解决了一道经典面
试题 |
|
k*******n 发帖数: 190 | 32 SPARK 用来作streaming, 速度可以比storm 快一倍。 从kafka -> spark streaming -
> cassadra -> tableau , 总延时基本上是以秒来计算的。 |
|
N*****m 发帖数: 42603 | 33 从我们组看,已经取代了
aws emr上开spark做stream太轻松了,比storm容易多了 |
|
|
t**r 发帖数: 3428 | 35 storm被 spark streaming完全打跑了?现在都没听说有人用暴风了 |
|
p*****g 发帖数: 7 | 36 I am still using Storm in our production. |
|
z****e 发帖数: 54598 | 37 现在streaming的各种工具也多了起来
所以不见得需要用storm了
vert.x的streaming就是rxjava based |
|
f******2 发帖数: 2455 | 38 Storm肯定不行,没有独立公司在后面支持。
flink就看能不能融到一笔能让他们grow customer base的钱了。
我最近发现开源的公司/产品必须做好两个战线:
1. 社区(后来的dev人员发现周围赚大钱的人都在谈这事儿)
2. 生产级别的客户 (后来的executive感觉放心)
这样上下一呼吁,公司就选择这个stack了。
2c |
|
N*****m 发帖数: 42603 | 39 storm有yahoo在支持吧,当然本身也是不行了 |
|
w**z 发帖数: 8232 | 40 storm 是 Twitter 买的一个公司搞得,现在应该已经放弃了吧。 |
|
s********k 发帖数: 6180 | 41 spark batch 处理,只是比hadoop 快,延迟上海市达不到storm的级别吧 |
|
|
F*Q 发帖数: 3259 | 43 查了pubmed和Google,没查到STORM和别人有任何隶属关系呀? |
|
y***n 发帖数: 109 | 44 版上有用PALM和STORM的吗?听说需要很高配置的计算机分析数据。不知道得什么样的
配置?最近老板考虑买更新实验室的计算机,不知道最新的MAC PRO够不够? |
|
|
l***g 发帖数: 1035 | 46 it's 100 modules, each module already contains some cells/bricks.
i know its difficult, that's why i'm brain storming here... |
|
r*********5 发帖数: 61 | 47 要考PE,环境和水工程有一部分是storm water runoff,不是学这个专业的,都不知道
从哪里找相关教材看,知道的大大们能给说说吗?我找了环境工程和工程水文学的教材
,都没有这方面的内容,给水工程和排水工程的教材会讲这些吗?快考试了,想快一点
找到,多谢大家! |
|
r*********5 发帖数: 61 | 48 对,lindberg这本书对storm water这部分讲得很少,我想问问在哪里能找到相关内容 |
|
b**s 发帖数: 589 | 49 A fatality was reported ahead of the storm Friday afternoon in Orange
County when high wind blew a moving van into oncoming traffic on a freeway. A
young girl was killed and seven others seriously injured, said Kim Miller, a
Florida Highway Patrol spokeswoman (I am in Orange county too, lucky I was
not driving a car at that time )
To the south, in Lee County, the sheriff's office reported one
hurricane-related death in North Fort Myers when a man in his early 20s
stepped outside during th |
|
h****t 发帖数: 632 | 50 Storming the Palace in Political Science
Scholars join revolt against the domination of mathematical approaches to
the discipline
By D.W. MILLER
San Francisco
The revolution was scheduled to begin at 10 p.m. in Continental Parlor 2,
but some people came early.
By 10:15, the population of the small, windowless conference room at the San
Francisco Hilton |
|