w******i 发帖数: 48 | 1 大概是design 一个tweet一样的东西,大方向没问题。
但是在处理extreme hot user的时候,(比如president 更新一条 你不想把20M个
follower的cache 都update一遍),怎么选出extreme hot user 是一个问题。
我的处理是或者根据follower数量,或者根据follower数量在总体user中的百分比,但
是anyway会有个threshold,比如20M个follower。
interviewer一直要问,如果我们把bar设在20M,那么有19M个follower的人怎么处理,
还是会有update cache 的high latency。
想了半天没想出来,版上大牛有没有高招? |
u***n 发帖数: 21026 | 2 2种方式,人少的用push,人多的用topic自己subscribe,以前被问到过
combine使用 |
a**a 发帖数: 10 | 3 threshold 设在500
500来自数据分析的结果,仅有不到10%的user有超过500个follower |
u****p 发帖数: 526 | |
G**O 发帖数: 147 | 5 这么说吧,只要设置threshold, 500, 5000 还是500k, 都是会被质问为啥这个数字
? 即使你解释了,人家还问问,好你用这个数字,比如5000,那么4999其实也接近
5000了,会有问题啊。。。
我觉得可以的回答是:
hey yo, men, 我们搞一个区间比如
1k 以下 fan out on write (push)
5k 以上 fan out on read (pull)
1k - 5k 区间之内,搞个综合方案,比如给粉丝里面的weekly active user和更活跃的
用户来 fan out on write,因为他们比较活跃, 如果不是那么活跃的user,就用
pull, 等他们上线了再去pull 别人的信息。 |
H**********5 发帖数: 2012 | 6 zhe ge hui fu qiao miao
【在 G**O 的大作中提到】 : 这么说吧,只要设置threshold, 500, 5000 还是500k, 都是会被质问为啥这个数字 : ? 即使你解释了,人家还问问,好你用这个数字,比如5000,那么4999其实也接近 : 5000了,会有问题啊。。。 : 我觉得可以的回答是: : hey yo, men, 我们搞一个区间比如 : 1k 以下 fan out on write (push) : 5k 以上 fan out on read (pull) : 1k - 5k 区间之内,搞个综合方案,比如给粉丝里面的weekly active user和更活跃的 : 用户来 fan out on write,因为他们比较活跃, 如果不是那么活跃的user,就用 : pull, 等他们上线了再去pull 别人的信息。
|