a**********0
发帖数: 422 | 1 我只需要hbase 如果hbase自带zookeeper 我还需要手动设置zookeepr吗 我用hbase的
东西感觉没有用到zookeeper相关的东西啊
我的意思是zookeeper是不是自动配置 自动运行的呢 也就是说我们对habse进行存放
data不需要用户去bother zookeeper？ |
|
z****e
发帖数: 54598 | 2 我昨天跟周边的人讨论了一下
我们是这么做的
用zookepper一个管一个cluster
但是我们同时部署多个zookeeper
然后如果需要voting system的话
分派下去，一个独立的zookeeper拿到之后，锁住，取结果，释放锁，反馈
最后master node拿到所有结果之后，reduce
只要收集到一定程度的结果，就返回
这样就不依赖一个zookeeper的实现，而是变成一小块一小块 |
|
p*****3
发帖数: 488 | 3 zookeeper好像用的不是paxos用的是基于TCP的ZAB协议，但是看了一点paper都没有具
体谈起zookeeper的链接状态。比如一共有N台机器，其中一台是leader,其他的是
followers,应该不会是每台机器都和其他所有机器保持连接状态吧。
如果只是leader和其他所有N-1台机器保持连接，那么当然方便实现zookeeper保证的
consistent model, 应为是单点控制，TCP上广播顺序好的写操作，问题是leader倒了
后的leader election。如果leader挂了，其他机器要选leader出来，问题是
1. 其他机器知道ensemble里各台机器的地址吗？如果不知道，都不能互相通讯，那选
个球啊。
2. 假设知道各个机器的地址，leader election是要选出一个机器有最大的zid（就是
找出执行过最大的leader分配的写操作的id的那台机器, 则这台机器就有执行过最近的
写操作）。这个想办法把各个机器的zid收集一遍就可以了吧，和leader election有啥
关系，用那么复杂吗？ |
|
c***d
发帖数: 996 | 4 很多年前， 我的老板叫我去开会。 去了一看是Patrick Hunt. 希望我们的后台用
zookeeper。 我那时连senior都不是， 他已经是architect了。 我傻傻的和他探讨了
一会儿分布锁， 回来汇报， 老板觉得zookeeper不适合我们的产品。
zookeeper这种东西在以产品为导向的公司里其实是挺受气的。 当然现在看起来我的老
板和我都太短视了。 |
|
r***s
发帖数: 737 | 5 Zookeeper document says, the constructor of ZooKeeper class may return
before the connection to the server is established, cause the I/O operation
is async.
My question is, in the case that the connection is not yet established after
the constructor return, then if a ZooKeeper.Create method (sync version) is
called, would it block and finish after the connection is established? or
would it return an error code? What about the async version? |
|
|
s*****r
发帖数: 43070 | 7 zookeeper相当于一个小型的meata data DB，主要拿来当configuration server用的，
不需要支持高并发，最大要求是稳定实时，你在一个zookeeper server上加了meta
data，其他server应该马上就有这个configuration
高并发不一定会有heavy resource locking，抢火车票是经典的resource locking问题
，大家一起发贴发微信，每个action只lock个人的resource，不是啥大问题，如果DB扛
不住就sharding
paxos拿来解决distributed db的transaction locking，比传统的two phase locking
要有效。 |
|
d***n
发帖数: 832 | 8 是不是在多个DC各起一个或多个zookeeper instances
然后这些instances又组成一个类似zookeeper的东西
能不能展开说说让大家学习学习 |
|
a**********0
发帖数: 422 | 9 zookeeper在我使用过程中没有用过 因为cluster已经设置好了
现在要设置一个小cluster 不知道自己需要使用zookeeper否 我觉得没有必要 但是不
确定 |
|
g***y
发帖数: 764 | 10 hbase自带zookeeper
没有zookeeper当然不work |
|
x****d
发帖数: 1766 | 11 I like zookeeper, some said the basic layer need improvement, but it is
working well now.
Anyone using it in real life? can you tell us about it?
If I want to build something similar like zookeeper using java only, what
would you sugguest? |
|
g*****g
发帖数: 34805 | 12 You may want to check out Curator, which makes Zookeeper much easier.
Zookeeper can have reliability issues at times, and it's difficult to debug.
But that was my experience from 2 years ago, things may have improved.
And you don't want to reinvent the wheel. |
|
|
j********x
发帖数: 2330 | 14 zookeeper牛逼个鸟鸟啊。。。牛逼也是lamport牛逼，google略牛逼，zookeeper跟在
屁股后面邯郸学步的也好意思说牛逼。。。 |
|
|
g**e
发帖数: 6127 | 16 zookeeper支持高并发，能做resource locking么？amzn内部几个principal engineer
自己实现了一套基于paxos的distributed locking系统，这玩意不支持高并发，只能用
来做role locking. |
|
d***n
发帖数: 832 | 17 看了正式文档
感觉zookeeper主要应用于单个data center的单个cluster(多个cluster情况下配置一
下ACL应该也可以)
因为它用了tcp，而一般防火墙对这个都有限制
我们现在用的可以用于多个data center的
是基于一个global的nosql table，用https访问
不知业界这方面是怎么处理的 |
|
z*****g
发帖数: 2 | 18 一般zookeeper不用于多个data center的，性能无法保证。 |
|
l*n
发帖数: 529 | 19 看样子不是mission critical的，不需要上zookeeper。 |
|
p*****2
发帖数: 21240 | 20
hbase没有zookeeper能work吗？我怎么印象是必须的？ |
|
a**********0
发帖数: 422 | 21 master server assigns regions to region servers using zookeeper
这是我在网上看的 需要人工干预吗 |
|
t**r
发帖数: 3428 | 22 linkedin backend组面试问kafka, zookeeper一般都问到什么地步，问哪些问题？谢谢
了 |
|
T******7
发帖数: 1419 | 23 面试会问storm, zookeeper, hadoop, kafka这些高端货么？
看过这些基本的论文，写过简单的你好世界，但是没用过在工作中，能写在简历上么？ |
|
t**r
发帖数: 3428 | 24 求教班上大牛， zookeeper有自带的snapshot功能么 是用的什么算法？ |
|
a*****u
发帖数: 1712 | 25 应该有
求教班上大牛， zookeeper有自带的snapshot功能么 是用的什么算法？ |
|
发帖数: 1 | 26 不知道啥时yarn和zookeeper，年底1000题，别的啥也不会，拼了 |
|
x****d
发帖数: 1766 | 27 thanks，i know about curator.
Can you provide your use case please? what did you use zookeeper for? thanks
debug. |
|
g*****g
发帖数: 34805 | 28 没研究过zookeeper, jgroups用的是udp。 |
|
x****d
发帖数: 1766 | 29 it has to be odd number.
I would think someone should have done some library to realize/copycat
zookeeper 's basic ideas/function, then users can reuse/embedded in their
code.
peking3, do you want to try? :) |
|
t**r
发帖数: 3428 | 30 zookeeper 这种牛鼻软件都是apache自己的人写的？
也没看过他家招聘阿 |
|
j********x
发帖数: 2330 | 31 补充一下zookeeper用的不是lamport的paxos。。。 |
|
|
h*i
发帖数: 3446 | 33 大家都还在用，不过都是藏在后面的，kafka, storm, 等等。
分布系统靠谱的不多。zookeeper算一个，就是比较慢。 |
|
h*****a
发帖数: 1718 | 34 4. Open Source
过去的一年中，我的工作涉及到了很多开源的项目。不仅是需要使用开源的系统和工具
，我也成为了一些开源系统的贡献者。这次找工作的过程中，我深深体会到了这段的经
历给我带来了不少优势。我面试成功的几个公司，无一例外都是很多开源工具的使用者
和贡献者。在面试的过程中，这些开源的工作经历很容易让我和面试官们找到共同语言
。而且我做的开源系统还算小小有点名气，有很多次面试官都会主动说他知道我们这个
系统，我相信这也会对面试的结果产生了正面的作用。甚至有一个奥佛就是因为对方希
望我把这个同样的开源系统移植到他们公司的平台上，所以一直强烈的试图说服我加入
。我觉得自己在这一点上很幸运。
对于很多找工作的同学，可能你没有像我这样的机会在工作中接触开源的系统或者成为
贡献者。如何能象我一样从开源受益呢？我有以下几个建议
1）开源系统都是完全公开的，只要你有兴趣，那里没有秘密。如果时间允许，我觉得
如果你能去了解一下流行的开源系统，甚至下载下来玩一玩，都可能是对自己在技术上
有帮助的。
这次我面试一个公司，一个面试官问一个设计的问题“如果我们有一个MySql cluster,
... 阅读全帖 |
|
o**********e
发帖数: 18403 | 35 【 以下文字转载自 ITRelief 俱乐部 】
发信人: onetiemyshoe (onetiemyshoe), 信区: ITRelief
标 题: Re: 分享一些经验及心得 (转载)
发信站: BBS 未名空间站 (Sun May 11 10:23:46 2014, 美东)
【 以下文字转载自 JobHunting 讨论区 】
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或... 阅读全帖 |
|
o**********e
发帖数: 18403 | 36 【 以下文字转载自 ITRelief 俱乐部 】
发信人: onetiemyshoe (onetiemyshoe), 信区: ITRelief
标 题: Re: 分享一些经验及心得 (转载)
发信站: BBS 未名空间站 (Sun May 11 10:23:46 2014, 美东)
【 以下文字转载自 JobHunting 讨论区 】
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或... 阅读全帖 |
|
o**********e
发帖数: 18403 | 37 【 以下文字转载自 ITRelief 俱乐部 】
发信人: onetiemyshoe (onetiemyshoe), 信区: ITRelief
标 题: Re: 分享一些经验及心得 (转载)
发信站: BBS 未名空间站 (Sun May 11 10:23:46 2014, 美东)
【 以下文字转载自 JobHunting 讨论区 】
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或... 阅读全帖 |
|
o**********e
发帖数: 18403 | 38 【 以下文字转载自 ITRelief 俱乐部 】
发信人: onetiemyshoe (onetiemyshoe), 信区: ITRelief
标 题: Re: 分享一些经验及心得 (转载)
发信站: BBS 未名空间站 (Sun May 11 10:23:46 2014, 美东)
【 以下文字转载自 JobHunting 讨论区 】
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或... 阅读全帖 |
|
G***o
发帖数: 5158 | 39 拒过推特1年8万股____的。。。大牛。
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或者不符合别人的实际情
况。仅供大家参考。
还是结合自己这次的经历来说吧。这次连续面试了7个公司，前四个都成功了，后三个
都失败了。G和F在另外的帖子说过。最后一个箱子公司其实面的还不错，不过team和我
的经验确实不卖吃，而且对方事先知道了我其它的奥佛，可能估计我会拿他们垫背，所
以第二天就很爽快... 阅读全帖 |
|
l*****f
发帖数: 2198 | 40 FLAG 那些算法数据结构题跟这个比就是小儿科
阿里面试题：
一面：电话面试：80分32秒)
1.自我介绍？
2.做过哪些项目？项目中遇到哪些难点，你是怎样解决的？单点登录系统说一下？分布
式缓存的使用场景？(说好的基础呢，上来就是项目，毫无准备，导致好多东西都记不
起来了。面试官还说“那你说一个你记得的项目”，手动无奈。。。)
3.你实习的时候JDK用的是那个版本，这个版本有什么新的特性？
4.G1回收器和其他回收器有什么区别？
5.垃圾回收为什么会停顿？哪些对象可能作为GCRoots?
6.垃圾回收分代收集算法？为什么会有两个Survivor区？new一个对象会保存在哪里？
7.Java内存模型?volatile关键字，使用场景？原子性的理解？先行发生原则？
8.场景题：现在有三个线程，同时start，用什么方法可以保证线程执行的顺序，线程
一执行完线程二执行，线程二执行完线程三执行？
9.你是怎么理解线程安全的？HashMap是线程安全的么？如果多个线程同时修改HashMap
时会发生什么情况？
10.ConcurrentHashMap底层原理？每个版本的实现上有什么区别？
11... 阅读全帖 |
|
l*****f
发帖数: 2198 | 41 FLAG 那些算法数据结构题跟这个比就是小儿科
阿里面试题：
一面：电话面试：80分32秒)
1.自我介绍？
2.做过哪些项目？项目中遇到哪些难点，你是怎样解决的？单点登录系统说一下？分布
式缓存的使用场景？(说好的基础呢，上来就是项目，毫无准备，导致好多东西都记不
起来了。面试官还说“那你说一个你记得的项目”，手动无奈。。。)
3.你实习的时候JDK用的是那个版本，这个版本有什么新的特性？
4.G1回收器和其他回收器有什么区别？
5.垃圾回收为什么会停顿？哪些对象可能作为GCRoots?
6.垃圾回收分代收集算法？为什么会有两个Survivor区？new一个对象会保存在哪里？
7.Java内存模型?volatile关键字，使用场景？原子性的理解？先行发生原则？
8.场景题：现在有三个线程，同时start，用什么方法可以保证线程执行的顺序，线程
一执行完线程二执行，线程二执行完线程三执行？
9.你是怎么理解线程安全的？HashMap是线程安全的么？如果多个线程同时修改HashMap
时会发生什么情况？
10.ConcurrentHashMap底层原理？每个版本的实现上有什么区别？
11... 阅读全帖 |
|
x****d
发帖数: 1766 | 42 What are you guys reading or suggest reading/learning for distributed
computing in java? I don't mean big data thing, but JEE.
Solr/Hadoop is using zookeeper. So I guess Zookeeper is a good starting
point. I looked into it a bit, didn't catch much info.
If I have to do something similar, what other options I have other than
using zookeeper to keep my config files in sync? I can think of using JMS/MQ
. Somebody says a look in ZEROmq, but that is something like protocal, to
build something useful,... 阅读全帖 |
|
x****d
发帖数: 1766 | 43 用zookeeper也是一段一段要。其实就是把zookeeper当成你说的block server。但不知
道为什么会慢。如果zookeeper会慢，我想自己做的东西也会慢。 |
|
C****y
发帖数: 77 | 44 来自主题: JobHunting版 - G新鲜面经 3.2求detail
有master的话，可以把hash table放在master上维护。
但是没有master, server之间如何通信，想来想去可以用zookeeper,但是zookeeper也
有master.
大神的意思是？
1
bar
big |
|
t*****a
发帖数: 106 | 45 多谢帮我解释。最后那个design的人说他搞zookeeper的,我就随便说了几句，我说
zookeeper用zab, 我不太了解，不过那个算法和paxos差不多，blablabla... |
|
d*******8
发帖数: 23 | 46 版中大多数面经都是针对北美new graduate的, 在此贡献一下本人国内找北美工作的一
些经验吧, 也算是答谢mitbbs上分享面经的朋友对我的帮助. 更希望攒攒人品能够抽到
h1b签证 :)
[背景]
国内4年工作经验. 硕士毕业后一直在某做存储的外企工作.
14年7月份开始有出国打算并开始准备.
[准备]
在工作之余每天坚持至少刷3~4道算法题, 并关注各个公司的blog及github上的开源项
目.
1. 算法
Leetcode自然不必说, 必刷. 先是用了将近两个月的时间把leetcode刷了1.5遍, 然
后每次电面和onsite面之前挑一些觉得做得不好的题再刷.
其次就是看geeksforgeeks上题. 这是个老印host的网站, 但是上面的题目分类明晰
,有很多分类底下的题目非常好, 比如DP (印象最深的就是m个鸡蛋n层楼测在哪层楼鸡
蛋会被摔碎的问题)和graph (印象最深的就是单源/多源最短/最长路径和欧拉环). 每
天看一下还是能学到不少新鲜的知识的.
其他就没有了, career up和glass door也断断续续看了一些, ... 阅读全帖 |
|
d*******8
发帖数: 23 | 47 版中大多数面经都是针对北美new graduate的, 在此贡献一下本人国内找北美工作的一
些经验吧, 也算是答谢mitbbs上分享面经的朋友对我的帮助. 更希望攒攒人品能够抽到
h1b签证 :)
[背景]
国内4年工作经验. 硕士毕业后一直在某做存储的外企工作.
14年7月份开始有出国打算并开始准备.
[准备]
在工作之余每天坚持至少刷3~4道算法题, 并关注各个公司的blog及github上的开源项
目.
1. 算法
Leetcode自然不必说, 必刷. 先是用了将近两个月的时间把leetcode刷了1.5遍, 然
后每次电面和onsite面之前挑一些觉得做得不好的题再刷.
其次就是看geeksforgeeks上题. 这是个老印host的网站, 但是上面的题目分类明晰
,有很多分类底下的题目非常好, 比如DP (印象最深的就是m个鸡蛋n层楼测在哪层楼鸡
蛋会被摔碎的问题)和graph (印象最深的就是单源/多源最短/最长路径和欧拉环). 每
天看一下还是能学到不少新鲜的知识的.
其他就没有了, career up和glass door也断断续续看了一些, ... 阅读全帖 |
|
x****u
发帖数: 81 | 48 根本不能说是handle，这方面我不懂，比起其他面试很没自信。对面是两个人，期间扯
不清楚还用了collabedit边写边讲，具体对话如下。大家谨慎阅读，很有可能我说了很
多错的东西，他们也没有当场指出。如果懂行的朋友望指正一下。
对方：reverted index怎么partition，怎么scale
我：按term来hash，用consistent hashing来保证加机器之后数据不用全部reshuffle。
对方：consistent hashing怎么工作的
我：blahblah（写了个小例子解释）
对方：你讲讲加了个node之后发生了什么
我：加了机器后，新机器收到了查某个term的请求，就去老机器上拉数据过来再存着..
（被打断）
对方：client怎么会发请求到新机器
我：因为加了机器之后hash ring更新了，有一部分term的请求导到新机器了
对方：怎么更新的
我：可以用ZooKeeper存机器列表，新机器register到zookeeper后，各client那边的
listener就更新列表
对方：新加的机器怎么知道到哪里去找某个term的数据
我：顺着hash... 阅读全帖 |
|
h*********p
发帖数: 13 | 49 个人建议一开始不要用Cloudera和Hortonworks的VM，这都是配置好的环境，不利于了
解Hadoop的底层构造。
从Apache Hadoop开始，手动安Zookeeper，Hive，Pig，Sqoop，Oozie，Hue等组件。
这样你就对最基本的administration和HDFS/YARN架构有个粗浅了解。
然后去看Definitive Guide那本书，了解基本的MapReduce，不用看太细，现在没人直
接写这个
这样你就有了理解Hive和Pig的基础
剩下的HBase，Zookeeper，Sqoop根据需要看。 |
|
b**********5
发帖数: 7881 | 50 一个店面， 准备热热身的。 一个印度男经理， 看linkedin， 好像从印度工作然后
过来。。 我对印度口音还行， 但这个男的， 口音特别中， 死气无力的。。。 在那
里呻吟。。。
1） 上来问HBase， cassandra的区别。 然后我开始说一通architectural的区别。
HBase是master slave architecture啊， Master管着一群region server， partition
的infomation metatable都在master里面。 HBase需要HDFS啊， HBase的single point
failure不是因为masterserver，我们以前其实用zookeper来管二个HBase
masterserver啊。 HBase的single point failure 其实是因为HDFS single namenode
啊。。。 Cassandra其实就是像P2P一样， 一个consistent hash ring啊， 然后data
key的本身有partition key， partition key来决定放哪个... 阅读全帖 |
|
