由买买提看人间百态

topics

全部话题 - 话题: hazelcast
1 (共1页)
d*******r
发帖数: 3299
1
有人用过 Hazelcast 吗? ( https://github.com/hazelcast/hazelcast )
看着很适合做 real time system. 我觉得可以理解为 JVM 版本的, 带 Cluster 模式
的 Redis.
比 memcached 功能强,
比 Redis,有 Cluster 功能,
我在网上跟他们 marketing guys 瞎扯了一会儿,他们说,现在有 4000+ companies
在 production 中使用了。比如 Apple, Cisco ,Ericsson, Hsbc, Morgan Stanley,
American express, AT&T
比如,Apple store 就有 600 多个 nodes 在跑 Hazelcast.
Hazelcast 支持的数据结构,比如分布式map, queue,用起来很简单的样子:
http://www.hazelcast.org/getting-started
Spring 的作者 Rod Johnson 也加入了 Hazelcast:
http://www.hazelcast... 阅读全帖
c****e
发帖数: 46
2
redis没法embed, 纯JVM的话,Infinispan和Hazelcast哪个靠谱点(免费版的话)。
我知道Vert.x用Hazelcast做coordinator.
请问有人有hands on经验么?
l*******o
发帖数: 250
3
我在用,不过只是使用而已,就是在单机上没有另外一个instance的时候,启动我的
application server,经常因为要用这个hazelcast不能用,因为那个东西的状态很奇
怪,经常不能被server restart 重启。不过我很懒,没有试图去解决,一般到process
里把所有javaprocess 杀掉,重启就可以了。
d*******r
发帖数: 3299
4
来自主题: Programming版 - Node.js arrives for the JVM
有人用过 Hazelcast 吗? 看着很适合做 real time system 的样子
http://www.infoq.com/cn/news/2014/02/hazelcast-mapreduce-api
Christoph:Hazelcast当前在金融领域发展迅猛,用于低延迟交易应用、风险、金融交
易和其它类似的应用。大型电信公司、网络设备制造商和云提供商也在用它。我们还看
到,它开始应用在诸如互联网和移动支付、游戏和赌博、旅行和餐饮以及电子商务等领
域。
http://hazelcast.org/use-cases/in-memory-nosql/
Going Off Heap
Hazelcast focuses on latency and makes it easier to cache/share/operate TB’
s of data in-memory. Storing terabytes of data in-memory is not a problem
but avoiding Java Garbage Collection (GC) to achiev... 阅读全帖
m***h
发帖数: 77
5
来自主题: Programming版 - job schduleing - one and only one
我尝试用hazelcast主要是因问它可以embedded在app里,这样我所有的app 就自己组成
一个cluster,可以share数据什么的
import com.hazelcast.config.Config;
import com.hazelcast.core.Hazelcast;
import com.hazelcast.core.HazelcastInstance;
import java.util.concurrent.locks.Lock;
public class DistributedLock {
public static void main(String[] args) {
Config config = new Config();
HazelcastInstance h = Hazelcast.newHazelcastInstance(config);
Lock lock = h.getLock("my-distributed-lock");
lock.lock();
t... 阅读全帖
d*******r
发帖数: 3299
6
来自主题: Programming版 - 再问几个Node.js的问题
没有,不敢上 production, 现在是 hazelcast v2 -> hazelcast v3,跟hazelcast公
司的人聊,他们说3还不太稳定。
自己琢磨着设计 clustered gaming server, 主要就是想有个 memoryDB cluster, 啥
都能扔进去,访问还快。
你们在 production 中用 hazelcast 吗?
d*******r
发帖数: 3299
7
来自主题: Programming版 - Do we need redis anymore?
因为 Hazelcast 是 java JVM 生态的.
不过据我所知 Vert.x 用的是 Hazelcast 一个老版本的 fork,
上次瞄 Vert.x 时候,他们社区还在为是否更新 Hazelcast 版本讨论呢.
但是我总觉得 Vert.x 最后会跟 Hazelcast 保持相对独立.
d*******r
发帖数: 3299
8
来自主题: Programming版 - Node.js arrives for the JVM
http://nodyn.io/compatibility/
Cluster
Node.js reference http://nodejs.org/api/cluster.html
Clustering is handled for now through vert.x builtin clustering, which
itself uses hazelcast for the implementation. Vert.x does not yet expose
clustering data or an API.
以前看 vert.x 的时候看到过这个 dependence: Hazelcast
http://www.hazelcast.com/
难道就是自带 cluster 模式的 memory DB ? 那 Redis(cluster) or memcached 都不
用搞了!?
d*******r
发帖数: 3299
9
现在内部通信使用的方式稳定了没,
我记得之前他们还在扯,用 hazelcast 2, hazelcast 3, 还是自己定制的 hazelcast
d*******r
发帖数: 3299
10
请教板上 Java 大牛们,JAX Innovation Awards 在 Java community 影响有多大?
刚刚看到这个:
http://jax.de/awards2014/
list Most Innovative Java Technology: Vert.x
list Most Innovative Open Technology: Docker
list Most Innovative Open Tech Business: Hazelcast
list Special Jury Award: JDK8
Vert.x 和 Hazelcast 本来就是一起的,所以 Vert.x 是大赢家的样子
最好玩的居然是 Go 的 Docker 也能来客串,得个奖
d*******r
发帖数: 3299
11
我只有自己瞎捣鼓做游戏server,才有机会用这个HazelCast了,组里不懂这个,不让
上...
couchbase == couchdb + pre_configured_memcached
我估计做 real time app 的表现能力还是不如 HazelCast 这种的
你真是 Node 死忠呀,不必要上 Java的话,坚决死守 Node, 哈哈
m***h
发帖数: 77
12
来自主题: Programming版 - job schduleing - one and only one
谢谢回答,不过没有NFS,也没有EBS,shared volume...
这个job是从ElasticSearch里读数据输出报告,只有ES是现成可“写”的。
BTW,我在试http://docs.hazelcast.org,以前没用过这个,不过看着挺neat,可以在app level组cluster,支持distributed map, cache, 包括lock。不过一个问题是cluster discovery (http://docs.hazelcast.org/docs/3.5/manual/html/hazelcastclusters.html):multicast经常在network这一层出问题production不是很实际,TCP/Unicast方式需要至少一个node的hostname或IP,这就牵扯更多了,service registry discovery越滚越大。
N*****m
发帖数: 42603
13
来自主题: Programming版 - job schduleing - one and only one
数据库也可以啊,随便搞个H2,jdbc一连就可以了,比hazelcast还简单
hazelcast还没法persistent
m***h
发帖数: 77
14
来自主题: Programming版 - job schduleing - one and only one
谢谢各位的建议,汇报一下进展
1,in-app cluster/data grid, Hazelcast, infra不可行,因为整个系统正向
container方向转,infra team搞了一套东西,wrap了Kubernets 和 docker,但是有一
个limit-只能有一个port forwarding,系统已经用来expose 8080了,这样Hazelcast
nodes没办法通讯
2,H2类似的embedded小db,也是同样的问题,cluster 需要hostname和open port。
结论是要么用external db/s3/EBS/zookeeper,或者single container with
monitoring and restarting
3,这个single container就是CDM建议的方向,infra有现成的,但是这个小job和一些
Kafka的consumer绑在一起,不希望这些consumer局限于一个container,而剥离这两个
module也麻烦。
看来怎么都得折腾了。
4,Kafka伴随的zookeeper,归另一个team... 阅读全帖
z****e
发帖数: 54598
15
12306用的是gemfire
全球金钱交易,比如银联,用的是hazelcast
visa好像用的也是hazelcast
这个时候还有人在琢磨用单机+热备
老年人果然是够老
z****e
发帖数: 54598
16
大规模、大数据量、高并发企业级或者互联网应用为了解决数据缓存、降低数据库负载
、提高查询性能等突出问题,很多采用了Hazelcast或者Oracle Coherence或者GemFire
(比如12306网站)或者目前应用越来越广泛的Redis等缓存技术
所以说,现在还在琢磨如何省机器钱的人明显思想上落伍了,自大得要死,还热备,上
个世纪的破烂构架,不知道有啥好吹的,in memory db现在满大街都是,都快烂大街了
,还在做计数器,看了真是很有喜感,所以说,不弄vert.x,能行吗?vert.x的
cluster模式就是hazelcast,也支持redis这些,比起卖机器来说,vert.x实在是可爱
太多
c******a
发帖数: 789
17
来自主题: JobHunting版 - OOD amazon questions
Distributed queue use case:
10 million tasks in task queue, overseeing 10 VMs on a cluster. FIFO order
needs to apply to all queue operations cluster-wide.
有人说他实现了。。。。
http://code.google.com/p/hazelcast/wiki/Queue
t*********t
发帖数: 278
18
来自主题: JobHunting版 - 【供求】招软件工程师 (转载)
【 以下文字转载自 Boston 讨论区 】
发信人: transparent (因为寂寞), 信区: Boston
标 题: 【供求】招软件工程师
发信站: BBS 未名空间站 (Wed Nov 6 09:48:54 2013, 美东)
Job description:
公司不错,在south boston.请把简历发到我的信箱。谢谢!
Software Architect
CrunchTime! has an immediate opening for a Software Architect focusing on
our hosted application platforms that support all back office operations for
restaurants, cruise lines and the hospitality industry. This position is
responsible for collaborating with other architects and technical leads to
develop ... 阅读全帖
z****e
发帖数: 54598
19
来自主题: JobHunting版 - MLGB 的

batch处理kv schema data多的很 甚至更常见啊
sstable只要用过c*就懂
实际上用elastic search也能明白是怎么回事
一直说的线性代数就用在这里
还有distributed lock/cache system用hazelcast也差不多
s*******a
发帖数: 55
20
来自主题: JobHunting版 - Senior Software Architect Austin,TX
如果感兴趣,请站内你的email。
Job Description
FICO Identity Resolution Engine (IRE) is a leading entity resolution and
link analysis software solution. Using enterprise and third-party data,
FICO Identity Resolution Engine discovers social network relationships
between people, entities and activities and provides actionable fraud
analytics.
IRE is put to use in numerous industries across both public and private
sectors, to target the detection of organized fraud rings, financial crimes
through bust-out fra... 阅读全帖
t*********t
发帖数: 278
21
来自主题: JobMarket版 - 【供求】招软件工程师 (转载)
【 以下文字转载自 Boston 讨论区 】
发信人: transparent (因为寂寞), 信区: Boston
标 题: 【供求】招软件工程师
发信站: BBS 未名空间站 (Wed Nov 6 09:48:54 2013, 美东)
Job description:
公司不错,在south boston.请把简历发到我的信箱。谢谢!
Software Architect
CrunchTime! has an immediate opening for a Software Architect focusing on
our hosted application platforms that support all back office operations for
restaurants, cruise lines and the hospitality industry. This position is
responsible for collaborating with other architects and technical leads to
develop ... 阅读全帖
t*********t
发帖数: 278
22
来自主题: Boston版 - 【供求】招软件工程师
Job description:
公司不错,在south boston.请把简历发到我的信箱。谢谢!
Software Architect
CrunchTime! has an immediate opening for a Software Architect focusing on
our hosted application platforms that support all back office operations for
restaurants, cruise lines and the hospitality industry. This position is
responsible for collaborating with other architects and technical leads to
develop the technical direction for systems across the enterprise as well as
responsible for the technical evolution of clients sy... 阅读全帖
c********t
发帖数: 4527
23
I am looking for a few strong back end engineers with good Java experiences.
If you are an ambitious software guys in Boston area, please feel free to
reach me.
The Senior/Principal Software Engineer will work in the Java Framework team
on such projects as web services framework, messaging systems framework and
integration, authentication, authorization, caching, diagnostic tools, and
other java application server infrastructure
Contribute as a Sr. individual contributor within a team of top eng... 阅读全帖
c*m
发帖数: 836
24
来自主题: Java版 - Spring分布式应用的入门例子
如果你就是为了用分布式而用分布式的话,try Hazelcast,纯粹的in memory grid,
支持真正的distributed caching and processing。好像淘宝用的就是它,配置起来也
不麻烦。关键是比hadoop好学多了。
t*********t
发帖数: 278
25
【 以下文字转载自 Boston 讨论区 】
发信人: transparent (因为寂寞), 信区: Boston
标 题: 【供求】招软件工程师
发信站: BBS 未名空间站 (Wed Nov 6 09:48:54 2013, 美东)
Job description:
公司不错,在south boston.请把简历发到我的信箱。谢谢!
Software Architect
CrunchTime! has an immediate opening for a Software Architect focusing on
our hosted application platforms that support all back office operations for
restaurants, cruise lines and the hospitality industry. This position is
responsible for collaborating with other architects and technical leads to
develop ... 阅读全帖
p*****2
发帖数: 21240
26
来自主题: Programming版 - NOSQL排名
Option Adoption Readiness Value Proposition Votes Details
MongoDB 71% 75% 273 Heatmap
Redis 74% 80% 168 Heatmap
Cassandra 73% 80% 165 Heatmap
Neo4j 66% 75% 149 Heatmap
Couchbase 68% 75% 123 Heatmap
CouchDB 61% 68% 93 Heatmap
HBase 66% 72% 85 Heatmap
Riak 67% 75% 78 Heatmap
Hazelcast 68% 78% 62 Heatmap
GemFire 68% 72% 59 Heatmap
RavenDB 68% 64% 55 ... 阅读全帖
h******k
发帖数: 388
27
来自主题: Programming版 - NOSQL排名
我们用Hazelcast因为它自带clustering.请问别的DBs带这个吗?
l*******o
发帖数: 250
28
来自主题: Programming版 - vert.x就是一个小型的eai
not every time, but happened several times at least. Only got issues with
this site.
C:\dev\vert.x>gvim bin\vertx.bat
C:\dev\vert.x>vertx run Server.java
"C:\Java\jdk1.7.0_45/bin/java.exe" -Djava.util.logging.config.file="c:\
dev\vert.x\bin\..\conf\logging.properties" -Dvertx.home="c:\dev\
vert.x\bin\.." -Dvertx.clusterManagerFactory="org.vertx.java.spi.cluster.
impl.hazelcast.HazelcastClusterManagerFactory" -classpath ";c:\dev\
vert.x\bin\..\conf;c:\dev\vert.x\bin\..\lib\*" org.vertx.java.... 阅读全帖
f*******t
发帖数: 7549
29
跟voltdb类似的东西?

★ 发自iPhone App: ChineseWeb 8.6
d*******r
发帖数: 3299
30
我看了下 VoltDB,这个是针对 SQL DB 的内存DB,操作全是 SQL 风格的,比如create
table, select 之类的操作,感觉适合和 MySQL 和 postgresql 结合起来用。
Hazlecast 比较像 Redis, 提供的是 map, queue, list 之类的 generic 的数据结构
。只是比较起 Redis, Hazlecast 天生有 Cluster 模式。适合 scale out. Hazlecast
适合跟 Cassandra 和 mongoDB 结合起来用。
f*******t
发帖数: 7549
31
跟别的db结合起来用是什么意思?

create
Hazlecast
★ 发自iPhone App: ChineseWeb 8.6
d*******r
发帖数: 3299
32
内存DB 跟 硬盘DB 结合起来用.
d*******r
发帖数: 3299
33
你是准备测试完后往 production 上用呢,还是纯搞着玩? :)

process
r***y
发帖数: 4379
34
来自主题: Programming版 - 再问几个Node.js的问题
朋友, 你们是在 production 用的hazelcast吗? 主要解决什么现存问题?
d*******r
发帖数: 3299
35
来自主题: Programming版 - Play2 vs Vert.x 是什么情况?
有 message bus, cluster, memoryDB (现在看developers讨论, hazelcast版本2.x,3.
x有些问题在扯)
打算用TCP在上面写 clustered game server 玩,web service 不打算玩 vert.x 了.
go 还得自己学一门不知道前途的语言,还不如用 Java 呢.
M*****R
发帖数: 650
36
I am no Daniu, but I just finished transitioning from C++/C#/Windows
Platform to Java/Open Source Platform in last couple of years. There are a
few things I think that helped me a lot
- The two books: Core Java Volume I, Java Concurrency in Practice
- Read about dependency injection, from Spring to Guice
- Re-read a few design patterns
- Learn to use Java inner class and template pattern
- Read about JVM
- Don't focus too much on performance and memory management when coding
- Don't try to use l... 阅读全帖
z****e
发帖数: 54598
37
这个是小问题
参与了自然会有定论
选哪个其实差别都不大
等team决定下来,impl就是了

hazelcast
z****e
发帖数: 54598
38
来自主题: Programming版 - 菜鸟问个python+http问题
clustering
this requirement is not that easy
u need VERT.X
Hazelcast 4 clustering management
Reactive/RxJava 4 streaming
UDP/TCP listener
dont use HTTP, u need to understand the difference between HTTP1 & HTTP2
make sure u use HTTP2 which could provide persist connection
etc.
not that easy
and VERT.X probably is ur best bet
z****e
发帖数: 54598
39
来自主题: Programming版 - Do we need redis anymore?
Since we already have Hazelcast
r**i
发帖数: 1222
40
来自主题: Programming版 - Do we need redis anymore?
Hazelcast persist好像有点麻烦啊!有没有直接persist到文件系统的
d*******r
发帖数: 3299
41
来自主题: Programming版 - Do we need redis anymore?
看过一下 Hazelcast,很多 service 是要付钱的,感觉比较坑
x***4
发帖数: 1815
42
来自主题: Programming版 - Do we need redis anymore?
谁讲讲为什么vertx的default clustering是用hazelcast?
m***h
发帖数: 77
43
来自主题: Programming版 - 有人用hazelcast吗
有同事介绍这个,似乎在jvm之间支持cluster挺轻灵的,不知有没有什么trade off 或
注意的。
r**i
发帖数: 1222
44
来自主题: Programming版 - 有人用hazelcast吗
我最近在玩。vertx event bus的基础是这个。
可惜vertx将它封的死死的。
优点,java cache 可以embeded,直接存Java 对象、distributed map、queue、lock
这些都有,还有executors。map可以persist。cluster除了multicast还有一大堆其他
方式
N*****m
发帖数: 42603
45
来自主题: Programming版 - 有人用hazelcast吗
我们公司在用,类似redis
N*****m
发帖数: 42603
46
来自主题: Programming版 - job schduleing - one and only one
你不单独维护数据库,为啥要单独维护一个hazelcast server?
app level一样可以起个数据库
N*****m
发帖数: 42603
47
来自主题: Programming版 - job schduleing - one and only one
s3mper用dynamodb
那你还不如直接用dynamo得了

Hazelcast
m***h
发帖数: 77
48
来自主题: Programming版 - 代码开源了
看了这个觉得挺没劲的, 这个单机多核内存占位算法也不知道怎么个借鉴法,原来根
本是两伙人鸡同鸭讲,也不知赌个啥,魏老师应该是没吹牛,因为他说的都是在他的
context里的,好虫怎么做没什么意义了,结论就是不要轻易challenge别人的领域
btw,好像“真正”的12306用了Hazelcast实现多机之间的数据共享
m***h
发帖数: 77
49
来自主题: Programming版 - 代码开源了
是啊,怎么借鉴呢?虽然很多如果不是大部分问题都可以单机解决,但在大部分地方人
们已经开始抛弃scale up了,尤其是所谓的“大公司”,你要不弄个multi data
center replicated cluster,都不好意思说话,偶数的都不行,我的一个东东支撑着
一个著名体育网站的后台数据,就一台server,这家伙要down了一票人要丢工作,现在
整天琢磨怎么则么把它搞出来呢。当然你要是在hedge fund那种地方可能就没问题,只
要快能赚钱,其余都好说,但在我们领域里,考虑的因素太多,都是defensively
thinking, 要用memory缓解database压力的话,我就用Hazelcast这种所谓distributed
data grid, 或者什么memory store之流的轮子了
z****e
发帖数: 54598
50
来自主题: Programming版 - 出票正确率的定义,赵,姜请进。

每一个db自己有一个计数器,这个很难么?
或者redis cluster
这个很难么?
12306用的是hazelcast的cluster
1 (共1页)