p*****2
发帖数: 21240 | 1 来自主题: JobHunting版 - 秒杀设计题
redis在系统设计中很重要的一环，尤其是要求low latency的应用。 |
|
S*******w
发帖数: 24236 | 2 来自主题: JobHunting版 - 秒杀设计题 所以我的意思是
kfaka + spark + C不能解决所有case
有的scenario必须要redis 这一类的东西。 |
|
y**********u
发帖数: 6366 | 3 来自主题: JobHunting版 - 秒杀设计题 redis主要是替代memcache或者当in-memory queue |
|
g*****g
发帖数: 34805 | 4 来自主题: JobHunting版 - 秒杀设计题 只要能放进内存，memcache和redis算是首选。couchbase我不熟不敢评论。
Session大，内存不足，或者session的数据重新产生的penalty很大，可以考虑C*,
Dynamo. 所有的设计都是取舍，没有一个什么都好的方案，看的是哪个更适合自己的应
用。 |
|
z*******3
发帖数: 13709 | 5 来自主题: JobHunting版 - 秒杀设计题 c*用来做persistence
然后redis用来做cache用
到底怎么用，就看要不要持久化了
不过cassandra用来做cache也不是不可以
想偷懒就直接上cassandra就是了 |
|
z*******3
发帖数: 13709 | 6 来自主题: JobHunting版 - 秒杀设计题 couch跟mongo一样，都是doc based
cassandra是column-based
session这种是典型的key-value pair
我觉得还是用redis这种比较好，数据结构比较接近
couch用的是json，parse起来应该会比较讨厌
而且couch有些太过于小众了，都是以前用erlang的在用 |
|
p*****2
发帖数: 21240 | 7 来自主题: JobHunting版 - 秒杀设计题 redis scale麻烦
mongo还不错 速度也快 |
|
g**e
发帖数: 6127 | 8 设计题是TSD，常用于monitoring/alarming系统 不需要hash某个timestamp，弄些
bucket，每分钟，每5分钟之类的，循环数组过期persist就行，redis可以 |
|
d********w
发帖数: 363 | 9 peking2在板上贡献有目共睹，也顺利升级，在开源领地的努力没有白费啊。
看看这些最新最火技术，每个都留下脚印，让人脑动大开啊。
Node.js, Coffeescript/Javascript, Scala, Clojure, Java, Big Data, NoSQL,
Concurrency, Distributed system, Asynchronous programming, Functional
programming, Data structure and Algorithms
Functional Programming, Big Data and NoSQL technologies such as Scala, Spark
and Cassandra etc.
- Node.js, Coffeescript/Javascript, Express
- Cassandra, MongoDB, Redis
- Clojure, Storm, Kafka
- Hadoop, Hive
- C, Java, Scala, Ruby, Python, Javascrip... 阅读全帖 |
|
d********w
发帖数: 363 | 10 peking2在板上贡献有目共睹，也顺利升级，在开源领地的努力没有白费啊。
看看这些最新最火技术，每个都留下脚印，让人脑动大开啊。
Node.js, Coffeescript/Javascript, Scala, Clojure, Java, Big Data, NoSQL,
Concurrency, Distributed system, Asynchronous programming, Functional
programming, Data structure and Algorithms
Functional Programming, Big Data and NoSQL technologies such as Scala, Spark
and Cassandra etc.
- Node.js, Coffeescript/Javascript, Express
- Cassandra, MongoDB, Redis
- Clojure, Storm, Kafka
- Hadoop, Hive
- C, Java, Scala, Ruby, Python, Javascrip... 阅读全帖 |
|
p*****p
发帖数: 379 | 11 这就没了？
流量是多少
ip/cookie/session based?
服务器架构是怎么样的？
这东西准备放在哪里？
有些什么现成的东西（memcached/redis...）？ |
|
w****k
发帖数: 755 | 12 不是很明白题意，但这种通常是用现成的技术来做的，而不是算法。
比方说redis 或者 cassandra，能够给插入的元素设置expiration，这样超过5分钟自
动消失了。 |
|
g*****g
发帖数: 34805 | 13 1. 大文件做hash是会conflict的，所以hash只能看成一个bucket，key还是得句子本身
。也可以把hash+sentence做两次比较的Key。但这都不是重点。用Memcached, Redis一
类的结构，可以hash到K个结点上，维护个计数器，超过2可以不更新。最后各个节点把
自己查一遍就行。O(N/K)的时间。
相似句子也相似，把句子删除任意一个单词的句子都放进去，key后加个链表来表示相
似。
2. 相当一个完美哈希，节点的range就是个平均分段就行，其他的跟1没啥区别。可以
把分段后的所有可能都扔内存里然后挨个删，最后不剩几个排序时间接近O(1)。
这两道都是MapReduce. |
|
p*****2
发帖数: 21240 | 14 redis就可以了
up
aggregator |
|
g*****g
发帖数: 34805 | 15 fb这样的系统，photo数量很大，但是每个photo的count不高。有很多方法都可以。
MySQL sharding, Cassandra distributed counter. 二爷说的Redis cluster
optimistic locking 也行。
up
aggregator |
|
m*****k
发帖数: 731 | 16 redis 3.0 cluster 才出来吧，好用么？ |
|
p*****2
发帖数: 21240 | 17 你说的这些redis都能做
consistency |
|
|
p*****2
发帖数: 21240 | 19 检索key很快
然后基本没有index
不过inverted index是不是一般 in memory的？我可能会用redis搞搞 |
|
p*****2
发帖数: 21240 | 20 从性能来说当然有
redis couchbase 都可以考虑
但是一般设计是要看很多因素的 |
|
T***I
发帖数: 372 | 21 国内某顶级电商公司计划在美国加州硅谷地区开设新的研发中心。现在计划下重金建立
团队。【请仔细阅读岗位描述和要求！】如果您符合条件并对以下的岗位有兴趣并且有
意图加入一个无限潜力的中国企业。
请发EMAIL 给 [email protected]
/* */
注明题目是：岗位编号### (一个人最多申请两个职位)
并且附上您的Resume （中英文皆可）
————————————————————
岗位：资深产品架构师资深产品经理
岗位编号： refer058
岗位描述
1， 熟悉北美互联网行情、电子商务市场，把握市场趋势并为公司的发展提供数据支
持和规划意见；
2， 具备很强的沟通能力、协调能力、市场洞察力和商业敏感度，对前瞻性产品进行
研究及可行性论证，对产品的商业收益、运营前景进行评估，主持产品架构规划设计；
3， 负责营销产品的竞争市场分析，制定营销产品的发展目标、策略和计划，对新产
品进行产品设计、产品运营及销售模式设计；
4， 独立完成产品原型设计、撰写需求说明书及用户手册等相关产品文档，协调产品
上线前的产品文档整理、商务推广、市场宣传等配合工作；
5， ... 阅读全帖 |
|
b**********5
发帖数: 7881 | 22 找 Eddie Kuck 的linkedin。。。
======================
I found your resume online, I wanted to see if you might know someone you
could refer for a Software Engineer with strong Python knowledge for a role
with a company in downtown Seattle.
We offer a referral bonus of $400 for anyone you refer whom we place. It’s
more of a mid-level role, looking for someone with around 6 years of
experience. I’m including the job description below in case you might know
of anyone to refer.
And of course, should your... 阅读全帖 |
|
z***e
发帖数: 5393 | 23 【 以下文字转载自 Returnee 讨论区 】
发信人: zlike (最终幻想), 信区: Returnee
标 题: 北京千万级投资创业团队招backend team leader
发信站: BBS 未名空间站 (Mon Jun 1 05:25:26 2015, 美东)
帝都，某集团投资千万的某创业型团队（独立公司，集团资金支持）招backend team
leader，待遇上，能保证拿到手的在25k/月基准值上，配期权，觉得月薪要求更高的，
可以根据实际能力商谈。
团队方向：定位于艺术教育类的移动App和web开发。目前产品尚处于初版开发阶段，一
切都有很多发展空间。
要求：2年以上后端开发经验，熟悉node.js或者其他server端script语言，对mongodb/
redis/mysql等常见数据存储有较多了解
职责：初期搭建产品后端框架，同时建立团队并管理
有意者私信，或者email: [email protected]
/* */ |
|
b**********5
发帖数: 7881 | 24 there are lot of companies besides FLG which uses fancy technologies.
everyone touches cassandra, redis, storm for the first time once... |
|
g*******d
发帖数: 17 | 25 如有兴趣，请站内留言询问详情，欢迎刚毕业或马上毕业的学生申请，职位期待一个月
fill。
Main Responsibilities:
Developing the web application of big data analytics and visualization
Developing the visual presentation of the data using D3.js and javascript
Required Skills:
Excellent software development skills in Javascript/HTML/CSS, 1 year
experience working with framework such as jQuery, Bootstrap
1 year experience with visualization library/framework for HTML and SVG such
as D3.js or Highcharts etc
1 year experience in Ruby and Rails, ... 阅读全帖 |
|
t*********r
发帖数: 387 | 26 芒果就是个傻逼玩具
什么情况都不能用，除非你不介意丢数据 |
|
|
|
p*****2
发帖数: 21240 | 29 不知道怎么来的
我用了两年 没发生过
mongo nosql排名第一呀 |
|
|
t*********r
发帖数: 387 | 31 db最基本的要求就是strong consistency，在这方面个芒果default是eventual
consistency。说白了，就是说没consistency.
一般来说，DB的要求是data durability -- 如果commit过了即使机子挂了数据应该在
另一个replica上,如果没有replica好歹也该在本地硬盘上flush to disk
我不知道现在怎么样了，但很多版本之前芒果远程replica没有做，甚至连本机都没
flush到硬盘就给客户端发acknowledgement
这种玩意你敢用？
其实芒果的确可以改很多config/write requirements来达到这些要求，但那种设置一
般来说直接整个系统就龟速了
一个号称DB的产品居然连out of box连最基本DB的要求都达不到
呵呵，呵呵 |
|
p*****2
发帖数: 21240 | 32
现在NOSQL在CAP的取舍上一般是满足AP。你要C的话上就上SQL呀。Mongo本来也不是要
代替SQL的。 |
|
|
r****c
发帖数: 2585 | 34 Consistency
Availability
Partition Tolerance
P 基本都可以 |
|
b*****n
发帖数: 618 | 35 有多少use case真的需要这么强的consistency?
eventually consistent一般情况下足够好了，反正总要tradeoff
另外remote replica要保证flush to disk是那么简单的一件事情么。。
这方面的各种讨论不要太多。
如果按照你的说法很多所谓强C的系统都达不到要求
很多情况都不会选择把flush到disk才算真正写到persistent storage里面，否则性能
达不到要求。
估计现在这些DB产品里面你能看得上的可能也就spanner，可惜狗家外面没有相匹配的。 |
|
t*********r
发帖数: 387 | 36 不等你回复了，我老直接开喷吧
常人对CAP的理解无非是这样的：CAP里面三挑二，你丫的不能搭一个又consistent, 又
available，又能partition tolerant的系统。
要是问为啥，有些人会说人家伯克利叫兽发呸破那样说的，还有人说MIT苦逼僧发呸破
证明的
其实都是忽悠人的。骗术很简单：他们骗你说，你有两台机子。如果容忍partition,那
么他们要么consistent but not available （not service request while
partitioned)，要么available but not consistent（service request while
partitioned, but with no guarantee of serializability)。这个是原呸破“证明
CAP”的思路 (感兴趣的同学可以看这个：http://webpages.cs.luc.edu/~pld/353/gilbert_lynch_brewer_proof.pdf）
其实这个“证明”偷换了一个概念：仅仅因为一个partition导致... 阅读全帖 |
|
t*********r
发帖数: 387 | 37 不要拿use case来搪塞eventual consistency,把缺陷说成是tradeoff
remote server flush to disk之后再给原server发acknowledgement很难么？现在市场
上很多KV store本来就是垃圾
的。 |
|
r****c
发帖数: 2585 | 38 Consistency
Availability
Partition Tolerance
P 基本都可以 |
|
t*********r
发帖数: 387 | 39 其实要说remote一定flush to disk倒也不一定，但好歹确定majority发送了
acknowledgement才能满足一个合格的KV store。
像mongo这种没收到acknowledgement就给client发acknowledgement,呵呵，呵呵 |
|
|
g*****g
发帖数: 34805 | 41 Kafka does exactly that. But you can't avoid data loss during partition, in
other words, availability is sacrificed. There's no silver bullet. |
|
t*********r
发帖数: 387 | 42 > But you can't avoid data loss during partition
Example? I'm not convinced.
in |
|
|
t*********r
发帖数: 387 | 44 不说明道理，贴个帖子有意思么？kakfa就是王道真理？F家前一段还发呸破鄙视了某家
的kafka
你自己发的东西里面也写了：
> there is no correct algorithm for guaranteeing consistency in the face of
f failures with fewer than 2f+1 servers
反之，there are correct algorithms for guaranteeing consistency (with
availability) in the face of f failures with 2f+1 or more servers, e.g. some
partition with a majority.
说到某家，我一学长之前看某家的人写blog吹kafka多快，还叫大家下载核实。结果这
位学长下了一个benchmark script一看，呵呵
某家的script量的是async send有多快，而不是真正量的ascknowledgement的速度
学术/工业界大忽悠到处都是，做不出来好的系统推卸责... 阅读全帖 |
|
g*****g
发帖数: 34805 | 45 Maybe you should listen to the creator, eh?
By design, committed messages are always preserved during leadership change
whereas some uncommitted data could be lost. The leader and the ISR for each
partition are also stored in Zookeeper and are used during the failover of
the controller. Both the leader and the ISR are expected to change
infrequently since failures are rare. |
|
b*****n
发帖数: 618 | 46 Kafka不是王道，这个是为了解释partition的时候出现master election就会出现data
loss，我不知道你怎么看的这篇文章，Jay要解释的是这种情况无法避免，唯一解决的
方法就是要么放弃A，要么就忍这个data loss。
我也不知道你对这些系统有没有真的用过体验过，你的意思是你凭空就能搞一个牛逼的
系统出来，还是说你比Jay这些人还牛逼。
最后再教给你怎么看文章，这个文章里面第一行就说明了，这篇文章是基于另外一片文
章的一篇follow up：
https://aphyr.com/posts/293-call-me-maybe-kafka
这个文章里面有详细的什么时候会出现data loss的解释。
刚才就想说混淆CAP概念的人是你，没好意思说而已。
你要是真牛逼就给按照你的想法做个比现在市面上都牛逼的kv store出来，然后给个
benchmark证明不管从latency，scalability发面都能达到要求，不用高，就用spanner
的标准，read／write lookup就web app level，50ms latency就行，然后什么复杂
q... 阅读全帖 |
|
g*****g
发帖数: 34805 | 47 市面上的DB可以做到所谓的tuneable consistency，让你一会放弃这个一会放弃那个的
，但还没有一个敢号称beat CAP theorem的。数学上证明过的东西还要Beat，就跟做永
动机一个意思。
data |
|
t*********r
发帖数: 387 | 48 My comment was referring to the second half of your comment. I don't think
kafka is representative of necessarily the best design space.
In particular, consider the case where kafka uses a quorum rather than
primary/backup for its replication scheme (as it applies to providing data
loss guarantees during partition).
Also, what do you think should be the provided guarantees for *uncommitted*
data?
change
each
of |
|
t*********r
发帖数: 387 | 49 > Kafka不是王道，这个是为了解释partition的时候出现master election就会出现
data loss
> 我不知道你怎么看的这篇文章，Jay要解释的是这种情况无法避免，唯一解决的
方法就是要么放弃A，要么就忍这个data loss。
> 你的意思是你凭空就能搞一个牛逼的系统出来，还是说你比Jay这些人还牛逼。
我可没说我如何，呵呵
我发帖只是说CAP是个伪概念拿来忽悠人说C和A不可兼得的。我也不认为kafka design
导致的tradeoff是必要的。
来个具体例子吧：
> The issue Kyle demonstrates makes for a good illustration. In this
scenario Kyle kills off all but one node in the ISR, then writes to the
remaining node (which is now the leader), then kills this node and brings
back the other nodes. I actually ... 阅读全帖 |
|
g*****g
发帖数: 34805 | 50 If uncommitted data can be lost, and not all data can be committed all the
time, e.g. when leader change. It's easy to see guaranteed high availability
is a pipedream. I don't know what you can argue with. |
|
