g*****g
发帖数: 34805 | 1 It's possible if the transaction is within a row, from 1.1, Cassandra
provides row level AID support. Still, a write failure may be false
negative and you'll need to do a read to verify again. If you can achieve
proper isolation in application level certain transactions can be done with
manual roll back. The more reliable way is using Zookeeper, but the
performance takes a big hit.
All things considered, RDS is probably a simpler solution. |
|
x****d
发帖数: 1766 | 2 sorry, 没留意cassandra关键词。cassandra 用zookeeper么？Hbase是用的。 |
|
x****d
发帖数: 1766 | 3 ZKSS adaptor？
我们G/L 还用mainframe呢，然后乱七八糟无数系统oracle ERP，SAP都有.
我想用一个zookeeper类似的东西做central，写其实是很少的，多数是读，然后给每个
系统做个接口，central变了就跟着变。当然central的源数据还是来自其他各个系统。
to |
|
g*****g
发帖数: 34805 | 4 需要啥zookeeper呀，如果在乎consistency，用Quorum读写，或者All写，1读。
如果不在乎几毫秒的consistency，直接1读写就完了。config通常不在乎几毫米的
consistency。 |
|
x****d
发帖数: 1766 | 5 好吧，我的use case不需要zookeeper，你给我个use case吧。哪里能用到呢？
你们玩distributed computing都咋玩的？ |
|
e*****t
发帖数: 1005 | 6 上100个server，你就要zookeeper了，呵呵。 |
|
x****d
发帖数: 1766 | 7 let us talk about zookeeper, any one using it? |
|
g*****g
发帖数: 34805 | 8 We generate a feed from DB and cache it in S3 in fixed interval. Obviously
only one node in the cluster should be doing this, and we don't want any
node different from others.
thanks |
|
x****d
发帖数: 1766 | 9 thanks. do you have any idea what kind of info the znode stores? And what
kind of Znode you use?
Never mind if you don't want to go into too much details. I can understand.
But I would really appreciate further information. Again, thanks goodbug. |
|
g**e
发帖数: 6127 | 10 leader election, distributed lock
thanks |
|
|
|
d*****d
发帖数: 180 | 13 of course even is supported, but more peers are needed to form a quorum.... |
|
g*****g
发帖数: 34805 | 14 Quorum is just half + 1, even or odd doesn't matter. |
|
d*****d
发帖数: 180 | 15 exactly, for example, 3 need 2, 4 you need 3... 2/3 < 3/4 means u have
more chance to stay up with n (n is odd) than n+1.. |
|
c***d
发帖数: 996 | 16 这个。。 也不好说啊。。。
twitter并不能说是个太好的例子吧， 比较牛的是kestrel只有两千行，但也只是个
queue而已。整个的底层结构hedwig还是zookeeper integration。 再说twitter容量高
， 比的上fb吗？ fb 就是一堆hbase上面架了java在那里跑。。。有了个对分布式友好
的语言，只是第一步。 |
|
x****d
发帖数: 1766 | 17 osgi is good, now there is dosgi, which use zookeeper, better. |
|
z****e
发帖数: 54598 | 18 python很难在web上替换掉ruby这些，尤其是php
但是python替换掉shell是我所希望看到的
shell太复杂了，同样，storm替换掉zookeeper下面那些也是我所希望看到的
storm更简单 |
|
z****e
发帖数: 54598 | 19 python很难在web上替换掉ruby这些，尤其是php
但是python替换掉shell是我所希望看到的
shell太复杂了，同样，storm替换掉zookeeper下面那些也是我所希望看到的
storm更简单 |
|
g*****g
发帖数: 34805 | 20 俺这么多年下来用struts, spring, hibernate, jersey, cassandra, mysql, netty,
apache httpclient, zookeeper, maven, 还有其他无数小的开源类库，还没买过维护
。在上一个公司我们从
Oracle转到mysql+cassandra，光License fee一年就省一百多万，光DBA就能养10个。
最搞笑的说开源不行的全是不用开源的。用开源类库的确是需要能力，没能力评估各种
选择，
没能力解决出现的问题的。确实不合适。微软那一坨就适合无脑码农。反正微软有啥你
就用啥，
没有的就直接躲着走就对了。所以到今天微软在internet上就没什么牛逼的服务，连收
购的那么牛逼的Hotmail都逼到改名的份上。
. |
|
z****e
发帖数: 54598 | 21 还可以通过zookeeper来管理存储就好了
不需要全部弄到内存里去，真心浪费 |
|
g*****g
发帖数: 34805 | 22 zookeeper要比数据库里，一个row的锁慢得多。 |
|
h*****a
发帖数: 1718 | 23 那就有个leader election的问题。你是把节点（DC）排好序了是吧？
其实确实很多现成的open source解决方案，比如zookeeper，考虑的很周全而且在现
中被不断检验。 |
|
T********i
发帖数: 2416 | 24 对，排好序了。
zookeeper没用过。谢信息。 |
|
d****i
发帖数: 4809 | 25 看到他们的readme, 把clojure写的storm批了一顿:
Storm is a wonderful product, but it is developed in Clojure,which is not a
popular language. And in our company, few guys can fix the bug of Storm,
which we already found in zeromq, zookeeper, performance,etc.
So, we decided to implement JStorm.
JStorm is more stable than Storm;
JStorm is faster than Storm;
JStorm provides several new and very useful features. |
|
d*******r
发帖数: 3299 | 26 请问板上的 Python 大牛们 (比如公孙大神), 用 Python 做cloud上的VM管理 (比如
AWS 上大量 EC2 instance 的配置和monitoring), 主要需要用熟哪些工具?
我研究了下, 关于auto deploy/cfg 的工具, 选择有 SaltStack 和 Ansible.
据说是 Ansible 更简单, 跑在 ssh connection 上, 而且Vagrant 官方支持.
SaltStack 需要安装 client 到被管理机器上, 而且 SaltStack 反馈速度更快, 跑在
ZeroMQ connection 上.
不知道 Zeromq 这种东西靠谱不, SaltStack+Zeromq 到底坑多不多?
看 SaltStack 官网, 现在也有 Salt Air 了, 也可以模拟 Ansible 那种 ssh style,
被管理的机器只要能被 ssh 就行.
python 用来监控和管理 process 的最好工具是什么? supervisord?
还有, 可以用 python 的某些个 module/lib 来完全代替linux... 阅读全帖 |
|
|
A*****i
发帖数: 3587 | 28 从java改node不是一个简单的工作，基本上所有的代码都要重写
而且现在npm社区还在成长期，有些时候还得自己写库
不过比两年前好多了，我们的系统刚开始那阵子什么都没有，所有东西都是从0开始，
包括cassndra client，deploy system， graphite， zookeeper 等等的node库都是我
们弄的。
现在转node困难应该还有，但是比几年前应该要小很多了 |
|
c***d
发帖数: 996 | 29 多核高速互联从Seymour Cray那会儿就是这套。 问题是domain问题太特殊， 跑跑mpi,
openmp, linpack还可以。 事务性的问题， 有锁就不容易放到并行的模型里。 现在
分布锁作的不错的还是zookeeper吧， 他们并发性能好像也不怎么样。 |
|
|
z*******3
发帖数: 13709 | 31 当时说的是mongodb
怎么来zookeeper啊？ |
|
p*****2
发帖数: 21240 | 32 貌似需要重启zookeeper 这个看来稳定性有点问题呀 |
|
z****e
发帖数: 54598 | 33 反正我是从来没有听说过什么nosql三架马车
更不要说这里面hbase,cassandra在不同时段出现在同一个位置
感觉这个完全是mongodb,couchbase的人吹出来给自己脸上贴金的
hbase, cassandra现在是hadoop ecosystem的两员大将
还有其他七八个什么pig, zookeeper之类的，现在spark也加入了
http://hadoop.apache.org/
相比之下，mongo也好，couch也罢，ecosystem差了十万八千里远
去哪里来的并驾齐驱？这纯粹是匪夷所思的事
所以我很怀疑这个是某些人编造出来忽悠用的
恰好我用过一段时间的couchdb，虽然couchbase比couchdb更完整一点
但是也远没有达到hadoop eco那个规模
mongodb就更不要扯了，这个目的只是替换传统mysql这些而已
如果说市场的话，这里面mongodb还算不错
但是couchbase相比之下那个市场简直就是一个零头
远不如redis这些，我就没看到有几个用couchbase的
甚至couchdb都比couchbase有市场
所谓的market ... 阅读全帖 |
|
h*****a
发帖数: 1718 | 34 不买的很多吧。我们用Redis, zookeeper, Hbase, MySQL，Jenkins等等等等都没听说
买support。那些刚上路的小startup估计就更没钱买了。 |
|
c***d
发帖数: 996 | 35 zookeeper 会用到。 web应用层用到分布锁的机会不多，cap理解了就不错了。 |
|
z****e
发帖数: 54598 | 36 big data 2-5年
2012＋2＝2014
2012＋5＝2017
所以差不多是开始下来的时候了
hadoop现在出镜率开始下降
但是话说回来
这些东西，虽然不那么热了
但是对于java programmers来说
会还是远比不会要管用
就像以前的spring这些，虽然现在不那么热了
但是你不会，那就不配说自己搞过java啊
这一波过去之后，hadoop整个ecosystem会成为一个legacy，留给后人
就像以前的jboss这些一样，现在大学里面教zookeeper这些
以后正规大学毕业生，没有人不会这些 |
|
r***y
发帖数: 4379 | 37 zookeeper, spring, hadoop 这些大学不会教吧, 那是海淀成教学院的事情 |
|
g*****g
发帖数: 34805 | 38 关于这个我反复说过。对于复杂多线程，java确实不如fp，如scala的actor好写。但另
一方面，绝大部分
应用的多线程都在框架部分里实现了，不需要开发者手工去写多线程。
想想大部分web应用是干啥的？无非就是多用户的crud罢了，有冲突的部分在数据库里
就解决了。
request和线程mapping部分在servlet解决了。有啥多线程要写？
事实上现在高并发，讲究的是stateless。state要嘛在客户前端，其余统统搬进数据库
，各种distributed Cache和NoSQL DB使得这种模式实现并不困难。集群节点完全相同
无状态，自然也不需要做什么同步，scale out, failover都很容易。我觉得这个才是
发展的方向。在需要锁的场合也是使用分布锁，如zookeeper.
parallelization
container. |
|
h****r
发帖数: 2056 | 39 没用过zookeeper，这个怎么解决分布式锁unlock命令丢失的问题？ |
|
g*****g
发帖数: 34805 | 40 再说性能问题，在程序里做transaction是非常受限制的，如果你的request会从多个结
点进来还要支持transaction,
唯一的办法是zookeeper一类的分布锁，性能是很糟糕的。
的
tables) |
|
d*******r
发帖数: 3299 | 41 transaction 确实是 NoSQL 最弱项，基本就得 app developer 自己做了。
我自己对MongoDB里某些states做些简单 lock/同步/回滚 啥的时候，就在想现在有啥
好的轮子可用呢 (当然，绝大多数时候，最好设计成，不用跨 docs 的 transaction).
看样子 zookeeper 不是个高效的轮子？ 大牛还有其他推荐吗？ |
|
f******2
发帖数: 2455 | 42 雅虎apply research的人写的，然后捐给apache的，search zab. |
|
y**********u
发帖数: 6366 | 43 上了scale比较有用。但是我觉得大部分公司也就因为和kafka之类捆绑才用
★ 发自iPhone App: ChineseWeb 8.7 |
|
g*****g
发帖数: 34805 | 44 这个使用很普遍，比如你有一个 cluster, 定期要写个 feed进S3. 干这事一个结点就
够了。你怎么保证有且只有一个结点干这事呢？ |
|
t**r
发帖数: 3428 | 45 lambo是牛逼 当然是最高层次的。
但是实现lamport算法，做成系统 也是牛逼。层次虽然不一样，但是比普通码农还是牛
逼好几个层面的
IMHO. |
|
H****S
发帖数: 1359 | 46 这东西如果不配上netflix curator（现在也捐给apache了），会把人搞疯掉。。。 |
|
M*****R
发帖数: 650 | 47 I am no Daniu, but I just finished transitioning from C++/C#/Windows
Platform to Java/Open Source Platform in last couple of years. There are a
few things I think that helped me a lot
- The two books: Core Java Volume I, Java Concurrency in Practice
- Read about dependency injection, from Spring to Guice
- Re-read a few design patterns
- Learn to use Java inner class and template pattern
- Read about JVM
- Don't focus too much on performance and memory management when coding
- Don't try to use l... 阅读全帖 |
|
g*********e
发帖数: 14401 | 48
各种语法 比如 :> <: <- ->
def abc()()
还有一点很不爽的是val x=xyz()这种用法
类似c++里面的auto 一眼看不出x是什么类
主要是我没学过java 啥implements extends logging 这些词都不懂 还有啥jmx jboss
jetty zookeeper gradle 都在恶补 |
|
