z******s 发帖数: 322 | 1 scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动
,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户
没有任何影响。最关键的是,搞错点啥没人注意.
这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就
2000个,往上堆就行了。
再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。
所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工
作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也
不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。 |
g*****g 发帖数: 34805 | 2 傻逼被打脸还要追求跨版,太他妈喜庆了。银行的 IT懂个屁 scaleout, 不懂的东西都
是简单的。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
z******s 发帖数: 322 | 3 呵呵, 你心里知道就是这么回事,所以只能撒泼骂街但是说不出一点道理。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 傻逼被打脸还要追求跨版,太他妈喜庆了。银行的 IT懂个屁 scaleout, 不懂的东西都 : 是简单的。
|
c********l 发帖数: 125 | 4 本版goodbug差不多是最有credit的人,你骂街只能显出你浅薄。想有credit简单,下
次讨论技术问题你出来漏两手,或者指点大家用什么轮子。
以公司论人很无聊,大公司也得有扫地的。你要是觉着牛比自己亮个linkedin先
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
w***g 发帖数: 5958 | 5 goodbug很牛,赚得很多,这在本版是公认的。
NFLX scale简单,但他们有东西海岸倒腾数据的技术。你竟敢小瞧了他们,
动机很值得怀疑。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
z******s 发帖数: 322 | 6 他有个屁的credit, 就是在新手面前吹牛,像孔已己一样范来复去说只有他最懂scale
out vs scale up。
天天吹他们怎么牛逼,我给他指出来他们的scale本质就是线性的, 跟民工搬砖没区别。
他反驳不了就开始骂街。跟魏老师真是天生一对。
【在 c********l 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 本版goodbug差不多是最有credit的人,你骂街只能显出你浅薄。想有credit简单,下 : 次讨论技术问题你出来漏两手,或者指点大家用什么轮子。 : 以公司论人很无聊,大公司也得有扫地的。你要是觉着牛比自己亮个linkedin先
|
z******s 发帖数: 322 | 7 倒滕数据还不简单? 他们那数据之间没有任何关联, 随便倒滕。
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug很牛,赚得很多,这在本版是公认的。 : NFLX scale简单,但他们有东西海岸倒腾数据的技术。你竟敢小瞧了他们, : 动机很值得怀疑。
|
w***g 发帖数: 5958 | 8 他们那个很牛B的,是实时倒腾,似乎就是AWS一个region down了对他们也没啥影响。
AWS挂了,他们能fail over.
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 倒滕数据还不简单? 他们那数据之间没有任何关联, 随便倒滕。
|
d******e 发帖数: 2265 | 9 所以我说你们进银行的还是没搞明白。
技术上,这里99%搞的都是民工的活。
但是,goodbug做infra的还就是有地位。
第一,东西在哪里只有他知道,修个xiaobug,一般都是极活,找个人,换个人就真不行。
第二,出问题了,要不要failover,怎么处理,都是马上要决定的事情。一般人谁干拍
板?
所以这种人老板得哄着,因为一旦跑了,短期内要冒很大风险。所以人家钱也不少拿,
要休假几周就休假几周,老板也不敢给脸色。
都是搬砖,这就是性价比高的搬砖。人做的成功与否,站在那个位置比能力更重要。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他有个屁的credit, 就是在新手面前吹牛,像孔已己一样范来复去说只有他最懂scale : out vs scale up。 : 天天吹他们怎么牛逼,我给他指出来他们的scale本质就是线性的, 跟民工搬砖没区别。 : 他反驳不了就开始骂街。跟魏老师真是天生一对。
|
c********l 发帖数: 125 | 10 你个新人不要在这里装大尾巴狼了,新手在jobhunting多一点,这边工作好多年的老帮
菜一大把。你屁都不懂,跪安吧。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他有个屁的credit, 就是在新手面前吹牛,像孔已己一样范来复去说只有他最懂scale : out vs scale up。 : 天天吹他们怎么牛逼,我给他指出来他们的scale本质就是线性的, 跟民工搬砖没区别。 : 他反驳不了就开始骂街。跟魏老师真是天生一对。
|
|
|
a9 发帖数: 21638 | 11 goodbug说了,他们的影片推荐很牛。另外大数据分析也很牛。光说scale算什么。
另外前两天不有也有说netflix的转码分片很牛吗?
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
z******s 发帖数: 322 | 12 牛个屁,什么他自己一年休俩月假老板也不敢放个屁,没法证实。这个推荐大家总能看
到吧?我都订了7,8年了,还天天推荐些莫名其妙的片子,实在看不出这大数据分析都
分析到哪儿了。
【在 a9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug说了,他们的影片推荐很牛。另外大数据分析也很牛。光说scale算什么。 : 另外前两天不有也有说netflix的转码分片很牛吗?
|
w**z 发帖数: 8232 | 13 古德霸有那么多粉丝。
【在 c********l 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你个新人不要在这里装大尾巴狼了,新手在jobhunting多一点,这边工作好多年的老帮 : 菜一大把。你屁都不懂,跪安吧。
|
d****n 发帖数: 1637 | 14 这纯是被逼出来的patch. aws down了,他们不想就这样倒闭吧。
那个煞笔公司愿意bet on amazon?老板挥着鞭子让码农整disaster recovery solution.
另外:goodbug人品一渣
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们那个很牛B的,是实时倒腾,似乎就是AWS一个region down了对他们也没啥影响。 : AWS挂了,他们能fail over.
|
d****n 发帖数: 1637 | 15 NFLX 这种高度依赖硬件的公司,等技术更新就是关门的日子了。
高成本硬件,再加上高成本开发维护造成入不敷出是迟早的事。古的霸老板迟早要和他
讨论强制休假的事情~~~ |
g*****g 发帖数: 34805 | 16 你找个更牛的算法来呀?当年我们可是出百万求能提高10%的算法,现在这个人数能提
高1%都轻松值百万。你这东西就跟说AI技术太烂了,下个围棋都是臭手一样。马鬃不就
是个卖东西的吗,Facebook不就是个社交网络吗,有无数公司做了出来,为啥就他们火
了呢?
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 牛个屁,什么他自己一年休俩月假老板也不敢放个屁,没法证实。这个推荐大家总能看 : 到吧?我都订了7,8年了,还天天推荐些莫名其妙的片子,实在看不出这大数据分析都 : 分析到哪儿了。
|
d****n 发帖数: 1637 | 17 人家不都是说了了,线性的逻辑,怎么提高?提高就靠多买硬件。
等硬件更新吧
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你找个更牛的算法来呀?当年我们可是出百万求能提高10%的算法,现在这个人数能提 : 高1%都轻松值百万。你这东西就跟说AI技术太烂了,下个围棋都是臭手一样。马鬃不就 : 是个卖东西的吗,Facebook不就是个社交网络吗,有无数公司做了出来,为啥就他们火 : 了呢?
|
g*****g 发帖数: 34805 | 18 你这傻逼吹牛逼银行数据量大,打脸都打了两圈了,还来玩这个。现在又要跟我比谁懂
scalability?你丫连基本概念都不了解,谈个屁呀。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他有个屁的credit, 就是在新手面前吹牛,像孔已己一样范来复去说只有他最懂scale : out vs scale up。 : 天天吹他们怎么牛逼,我给他指出来他们的scale本质就是线性的, 跟民工搬砖没区别。 : 他反驳不了就开始骂街。跟魏老师真是天生一对。
|
g*****g 发帖数: 34805 | 19 我既没吹自己公司牛,也没吹自己牛。就是这哥们装逼银行数据量大,被我打脸扛不住
了。这年头讲究的是站到风口上飞,我技术牛不牛又如何,公司牛不牛又如何?股票能
涨才有意义。
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug很牛,赚得很多,这在本版是公认的。 : NFLX scale简单,但他们有东西海岸倒腾数据的技术。你竟敢小瞧了他们, : 动机很值得怀疑。
|
g*****g 发帖数: 34805 | 20 哈哈,我们硬件成本太低,以至于我们经常懒得优化。你要指望硬件成本压倒我们这辈
子是没希望了。
说到人工成本,我们的revenue per employee秒了AAPL, GOOG, FB,所以也不是大头。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : NFLX 这种高度依赖硬件的公司,等技术更新就是关门的日子了。 : 高成本硬件,再加上高成本开发维护造成入不敷出是迟早的事。古的霸老板迟早要和他 : 讨论强制休假的事情~~~
|
|
|
z******s 发帖数: 322 | 21 我找不出更好的就不能评价你们的算法烂?那照这么说你们的复杂度比FB小一万倍,你
是不是早该闭嘴不要四处去吹什么scale out scale up了?你无论怎么吹,也不敢反驳
一个事实,就是你们的数据都是散的,关联性等于零。scale out就靠堆硬件搬砖这么
简单。你能否认吗?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你找个更牛的算法来呀?当年我们可是出百万求能提高10%的算法,现在这个人数能提 : 高1%都轻松值百万。你这东西就跟说AI技术太烂了,下个围棋都是臭手一样。马鬃不就 : 是个卖东西的吗,Facebook不就是个社交网络吗,有无数公司做了出来,为啥就他们火 : 了呢?
|
z******s 发帖数: 322 | 22 他说的这些都是吹牛比,谁验证过?你要是当过manager就知道,手下绝不能有不能替
换的人,更不能有所谓的什么东西在哪儿只有他知道这种事,要是我的手下这么干,我
先停了他所有工作,让他给整个team做KT。要不然你就等着被要挟吧,说不定他哪天跑
了呢?
还他说休几个星期就几个星期,Tim Cook也不敢跟Jobs这么牛比吧。既然他这么重要,
一分钟都离不开,怎么又能随便休假呢?他是干啥的,我又不是不知道,当年在加拿大
一个小破公司搞个小网站,到了Netflix突然就成了没人敢惹的大牛了?市值几百亿的
公司,cloud当了就靠他一个人搬运,同时6千万用户等着?他敢吹你就敢信?你得有
多傻?
行。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 所以我说你们进银行的还是没搞明白。 : 技术上,这里99%搞的都是民工的活。 : 但是,goodbug做infra的还就是有地位。 : 第一,东西在哪里只有他知道,修个xiaobug,一般都是极活,找个人,换个人就真不行。 : 第二,出问题了,要不要failover,怎么处理,都是马上要决定的事情。一般人谁干拍 : 板? : 所以这种人老板得哄着,因为一旦跑了,短期内要冒很大风险。所以人家钱也不少拿, : 要休假几周就休假几周,老板也不敢给脸色。 : 都是搬砖,这就是性价比高的搬砖。人做的成功与否,站在那个位置比能力更重要。
|
z******s 发帖数: 322 | 23 你们需要啥优化?用户之间没有任何互动,所有共享资源都是read only 在AWS上,谁
能告诉我这种架构除了搬砖堆硬件之外,还有啥优化需要做?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 哈哈,我们硬件成本太低,以至于我们经常懒得优化。你要指望硬件成本压倒我们这辈 : 子是没希望了。 : 说到人工成本,我们的revenue per employee秒了AAPL, GOOG, FB,所以也不是大头。
|
g*****g 发帖数: 34805 | 24 我们每天记录千亿数据用于优化,你们公司有这么大的数据量再来吹吧,还只读。纯傻
逼呀。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你们需要啥优化?用户之间没有任何互动,所有共享资源都是read only 在AWS上,谁 : 能告诉我这种架构除了搬砖堆硬件之外,还有啥优化需要做?
|
g*****g 发帖数: 34805 | 25 我老说得很明白,个人牛不牛是无所谓的。要站到风口上,不服那你们公司出来大家比
比呀。真论技术,你丫三句一个常识错误,那银行跟互联网比数据量,是个大妈都比你
懂,还他妈死撑呢。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他说的这些都是吹牛比,谁验证过?你要是当过manager就知道,手下绝不能有不能替 : 换的人,更不能有所谓的什么东西在哪儿只有他知道这种事,要是我的手下这么干,我 : 先停了他所有工作,让他给整个team做KT。要不然你就等着被要挟吧,说不定他哪天跑 : 了呢? : 还他说休几个星期就几个星期,Tim Cook也不敢跟Jobs这么牛比吧。既然他这么重要, : 一分钟都离不开,怎么又能随便休假呢?他是干啥的,我又不是不知道,当年在加拿大 : 一个小破公司搞个小网站,到了Netflix突然就成了没人敢惹的大牛了?市值几百亿的 : 公司,cloud当了就靠他一个人搬运,同时6千万用户等着?他敢吹你就敢信?你得有 : 多傻? :
|
z******s 发帖数: 322 | 26 得了,自己打自己脸,刚刚说"我们懒得优化",又说我们每天记录千亿数据优化,咱
说话能有点准吗?
还有,啥叫千亿数据?你们老师没教过你要带单位?
最后,你的优化体现在哪里了?推荐还是一样的烂。performance就象我说的,堆硬件
就行了。事实上你们也是这么做的。什么千亿数据,自己糊弄自己罢了。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我们每天记录千亿数据用于优化,你们公司有这么大的数据量再来吹吧,还只读。纯傻 : 逼呀。
|
z******s 发帖数: 322 | 27 哈哈,还常识呢。连transaction都不明白啥意思,还RDBMS。一堆搬砖硬件,连内容都
不敢自己host, 牛比啥呢?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我老说得很明白,个人牛不牛是无所谓的。要站到风口上,不服那你们公司出来大家比 : 比呀。真论技术,你丫三句一个常识错误,那银行跟互联网比数据量,是个大妈都比你 : 懂,还他妈死撑呢。
|
g*****g 发帖数: 34805 | 28 官方数据,两年前每天800亿,傻逼你丫缺乏想象力你怪谁。打脸还要打这么多次,越
刷屏你越丢人。
http://techblog.netflix.com/2013/12/announcing-suro-backbone-of
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 得了,自己打自己脸,刚刚说"我们懒得优化",又说我们每天记录千亿数据优化,咱 : 说话能有点准吗? : 还有,啥叫千亿数据?你们老师没教过你要带单位? : 最后,你的优化体现在哪里了?推荐还是一样的烂。performance就象我说的,堆硬件 : 就行了。事实上你们也是这么做的。什么千亿数据,自己糊弄自己罢了。
|
g*****g 发帖数: 34805 | 29 你丫要跟我谈什么是transaction?哈哈哈,你跟魏老师一般货色,我老打脸的记录狗
一下就有了,都不用重复。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 哈哈,还常识呢。连transaction都不明白啥意思,还RDBMS。一堆搬砖硬件,连内容都 : 不敢自己host, 牛比啥呢?
|
z******s 发帖数: 322 | 30 贴的好,第一段就看到了,deployed on AWS EC2。后面不用看了,自己敢host吗?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 官方数据,两年前每天800亿,傻逼你丫缺乏想象力你怪谁。打脸还要打这么多次,越 : 刷屏你越丢人。 : http://techblog.netflix.com/2013/12/announcing-suro-backbone-of
|
|
|
z******s 发帖数: 322 | 31 你们俩才一路货色,你能跟他搞一年就说明你水平跟他一个档次的。什么transaction
就RDBMS,就是你水平。
对了,离开数据库,你还懂啥叫transaction吗?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你丫要跟我谈什么是transaction?哈哈哈,你跟魏老师一般货色,我老打脸的记录狗 : 一下就有了,都不用重复。
|
g*****g 发帖数: 34805 | 32 你丫当我是TA呢,还答疑什么是transaction?你们公司不是量大吗,把牌子亮出来大
家笑话一下。尼玛诋毁了我们公司一天,除了暴露自己没常识,关于自己公司一个屁都
不敢放。
transaction
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你们俩才一路货色,你能跟他搞一年就说明你水平跟他一个档次的。什么transaction : 就RDBMS,就是你水平。 : 对了,离开数据库,你还懂啥叫transaction吗?
|
n******t 发帖数: 4406 | 33 你这也是扯淡。
FB你照片卡了1分钟才出来,你能怎么样把?或者你按妹子的赞最后没出来,你还不就
再按一次?
Google也一样,你信没法出去,你打算怎么样呢?中间结果漏了几个,你要他陪你钱?
这些公司看起来fancy,但其实都有个特点就是其实是个广告公司,没什么guarantee。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
h**********c 发帖数: 4120 | 34 take a break,我老也来白话白话,
首先,NFLX人品如何跟我没有关系,从技术讲open source stack,有问必答,还说的
过去。
就讲我老这两天看公司的compliance文档。我老有两个问题
按北米国规矩,市场占有率70%就算托拉思
价格低于市场15%就算不正当竞争
那么那些电影院租dvd的,要么是在动作,要么就是自己在等死,不过可以在哪个欧洲
小国运作一下。
另外纯技术层面,我老对这种海量流量的财务审核很感兴趣,不过如果是在NDA范畴的
,就白问了。
说一千一万,哪天在座某位竖起一面大棋,有fund,有lawyer,有judge,象vito
corleone一样,来喊一声兄弟同去。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
d****n 发帖数: 1637 | 35 等aws抽干你们
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 哈哈,我们硬件成本太低,以至于我们经常懒得优化。你要指望硬件成本压倒我们这辈 : 子是没希望了。 : 说到人工成本,我们的revenue per employee秒了AAPL, GOOG, FB,所以也不是大头。
|
c******o 发帖数: 1277 | 36 他们不光scale用户直接用的数据的。
很多间接数据有关联性的。 |
h**********c 发帖数: 4120 | 37 Can they open source their bookings to github?
That will be TRULY something big and VIRAL! |
c*********e 发帖数: 16335 | 38 goodbug牛我是深有体会的。lz就一本版新人,可能还是个马甲,goodbug你别跟他一般
见识。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我既没吹自己公司牛,也没吹自己牛。就是这哥们装逼银行数据量大,被我打脸扛不住 : 了。这年头讲究的是站到风口上飞,我技术牛不牛又如何,公司牛不牛又如何?股票能 : 涨才有意义。
|
c*********e 发帖数: 16335 | 39 你們银行的客户之间不也无关联吗?
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我找不出更好的就不能评价你们的算法烂?那照这么说你们的复杂度比FB小一万倍,你 : 是不是早该闭嘴不要四处去吹什么scale out scale up了?你无论怎么吹,也不敢反驳 : 一个事实,就是你们的数据都是散的,关联性等于零。scale out就靠堆硬件搬砖这么 : 简单。你能否认吗?
|
h**********c 发帖数: 4120 | 40 这个我老当年在欧洲时候有个AI老师就研究money laundry 的graph, a dozen years
ago.
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你們银行的客户之间不也无关联吗?
|
|
|
c*********e 发帖数: 16335 | 41 行了行了,学术性的东西和it 工业界的东西完全2码事。
银行啥语言都用,perl,php,java都有,危机处理很重要,一旦出错了,要赶快改。
【在 h**********c 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个我老当年在欧洲时候有个AI老师就研究money laundry 的graph, a dozen years : ago.
|
h**********c 发帖数: 4120 | 42 我也是瞎掰,算利息,算毛给吱,都挺格眼的
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 行了行了,学术性的东西和it 工业界的东西完全2码事。 : 银行啥语言都用,perl,php,java都有,危机处理很重要,一旦出错了,要赶快改。
|
c*********e 发帖数: 16335 | 43 en,银行那些术语我听着挺闹心的,什么payable, receivable,....
【在 h**********c 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我也是瞎掰,算利息,算毛给吱,都挺格眼的
|
C********9 发帖数: 670 | 44 时薪150? 好高。不知道在干10年能不能干到。。 |
h**********c 发帖数: 4120 | 45 我老在酒店做财务的时候,一个客人被audit,要对三年以前的帐,没有就告你
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : en,银行那些术语我听着挺闹心的,什么payable, receivable,....
|
n****a 发帖数: 174 | 46 你说全是read only就不对,比如你看到一个地方停掉,换台机器是可以继续看的,这
个就需要大量的写操作,这个scale不简单的 |
d****n 发帖数: 1637 | 47 都是你们这些脑残捧的,真牛逼写个算法,把800亿条纪录highly summrize 一下。
别总bb aws,c*。 要自己实实在在的在电脑上一行一行的码。
那些distributed的分布不过是核心算法的网络延伸。
总吹牛逼分布,你有写过cpu,memeory,io的 东西么?
动不动就东海岸,西海岸,没有一个一个的node,你的分布能work?
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug牛我是深有体会的。lz就一本版新人,可能还是个马甲,goodbug你别跟他一般 : 见识。
|
g*****g 发帖数: 34805 | 48 嗯,米其林三星的厨师没自己种菜的都是傻逼。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 都是你们这些脑残捧的,真牛逼写个算法,把800亿条纪录highly summrize 一下。 : 别总bb aws,c*。 要自己实实在在的在电脑上一行一行的码。 : 那些distributed的分布不过是核心算法的网络延伸。 : 总吹牛逼分布,你有写过cpu,memeory,io的 东西么? : 动不动就东海岸,西海岸,没有一个一个的node,你的分布能work?
|
d******e 发帖数: 2265 | 49 那玩意不就是这里天天讲的kafka, hadoop嘛。上面随便写两个小程序就搞定了。
至于cpu算什么啊。你自己设计过集成电路嘛?
说你们银行的技术落后还不服。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 都是你们这些脑残捧的,真牛逼写个算法,把800亿条纪录highly summrize 一下。 : 别总bb aws,c*。 要自己实实在在的在电脑上一行一行的码。 : 那些distributed的分布不过是核心算法的网络延伸。 : 总吹牛逼分布,你有写过cpu,memeory,io的 东西么? : 动不动就东海岸,西海岸,没有一个一个的node,你的分布能work?
|
d****n 发帖数: 1637 | 50 你一个搞软件的还要讨论集成电路?
是不是太扯了?
你来”随便“写两个robust的小程序来。
别太崇拜古德八,
distrubuted说白了就是主机脱管了,大部分hard word都被搞it的人做了,做软件的要
讲良心,
不要把人家的 credits都吞了。aws说白了就是一个大机房,没有人家机房,哪有你那
些分布出来。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那玩意不就是这里天天讲的kafka, hadoop嘛。上面随便写两个小程序就搞定了。 : 至于cpu算什么啊。你自己设计过集成电路嘛? : 说你们银行的技术落后还不服。
|
|
|
d******e 发帖数: 2265 | 51 嗯,米其林三星的厨师没自己种菜的都是傻逼。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你一个搞软件的还要讨论集成电路? : 是不是太扯了? : 你来”随便“写两个robust的小程序来。 : 别太崇拜古德八, : distrubuted说白了就是主机脱管了,大部分hard word都被搞it的人做了,做软件的要 : 讲良心, : 不要把人家的 credits都吞了。aws说白了就是一个大机房,没有人家机房,哪有你那 : 些分布出来。
|
d****n 发帖数: 1637 | 52 看不出你说话的逻辑来。
我的point是,software要扎扎实实的搞好cpu,内存里面code的生存,计算能力。
你一下子扯倒集成电路,太far off了。
然后拿种菜来夸张你的观点,一点也不make sense,
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 嗯,米其林三星的厨师没自己种菜的都是傻逼。
|
w**z 发帖数: 8232 | 53 真牛逼,会写cpu, memory的东西,境界不一样啊。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 都是你们这些脑残捧的,真牛逼写个算法,把800亿条纪录highly summrize 一下。 : 别总bb aws,c*。 要自己实实在在的在电脑上一行一行的码。 : 那些distributed的分布不过是核心算法的网络延伸。 : 总吹牛逼分布,你有写过cpu,memeory,io的 东西么? : 动不动就东海岸,西海岸,没有一个一个的node,你的分布能work?
|
d****n 发帖数: 1637 | 54 还行吧,我的code只跑在cpu,内存里面。
你的跑在你的臭嘴里?
【在 w**z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 真牛逼,会写cpu, memory的东西,境界不一样啊。
|
s*****r 发帖数: 43070 | 55 银行术语还好,要是看看会计术语可以直接晕过去,你觉得这两貌似是会计的
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : en,银行那些术语我听着挺闹心的,什么payable, receivable,....
|
s*****r 发帖数: 43070 | 56 哎,东岸码农的见识还停留在单机时代
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 嗯,米其林三星的厨师没自己种菜的都是傻逼。
|
d******e 发帖数: 2265 | 57 现在流行搭积木。
C++写底层的东西,多线程什么的,
不是不能做。但是,这个不是热点了。
至于分布式,关键的几个,distributed cache, disitrubuted db storage,
distributed log, async event processing, analysis, monitor.那个都是用来解决
特定的问题,也不是写写code就能搞定的。 而且这些大家主要都用各种轮子。偶尔有
自己写轮子的。
现在外面的世界是这样的,你可以写的很深,但是别人直接拿open source的轮子,马
上出活,马上增长做大,等你有了版本1.0 ,人家都上市了。以前的老公司还用点硬技
术比如java.新的很多直接就是python,node这种脚本不准备改了。
至于另外一个方面,软件质量,现在也远不如以前重要。很多情况下,比如修一个bug
的好处小于1M,互联网公司直接选择不修了。
这个世界活法很多,了解别人的目的,问题,和关键点非常重要。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 看不出你说话的逻辑来。 : 我的point是,software要扎扎实实的搞好cpu,内存里面code的生存,计算能力。 : 你一下子扯倒集成电路,太far off了。 : 然后拿种菜来夸张你的观点,一点也不make sense,
|
z****e 发帖数: 54598 | 58 lol
one id with ip address starts with 99.
u do understand what kind of this guy is right?
like laodaye, wild range chicken
all notorious id in mitbbs |
l*********s 发帖数: 5409 | 59 re,还是邓爷爷说的好,不管黑猫白猫,抓到老鼠的就是好猫。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在流行搭积木。 : C++写底层的东西,多线程什么的, : 不是不能做。但是,这个不是热点了。 : 至于分布式,关键的几个,distributed cache, disitrubuted db storage, : distributed log, async event processing, analysis, monitor.那个都是用来解决 : 特定的问题,也不是写写code就能搞定的。 而且这些大家主要都用各种轮子。偶尔有 : 自己写轮子的。 : 现在外面的世界是这样的,你可以写的很深,但是别人直接拿open source的轮子,马 : 上出活,马上增长做大,等你有了版本1.0 ,人家都上市了。以前的老公司还用点硬技 : 术比如java.新的很多直接就是python,node这种脚本不准备改了。
|
h**********c 发帖数: 4120 | 60 老哥来打圆场人品不错,不过我老对大孰菊来搞cap持谨慎的乐观态度
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在流行搭积木。 : C++写底层的东西,多线程什么的, : 不是不能做。但是,这个不是热点了。 : 至于分布式,关键的几个,distributed cache, disitrubuted db storage, : distributed log, async event processing, analysis, monitor.那个都是用来解决 : 特定的问题,也不是写写code就能搞定的。 而且这些大家主要都用各种轮子。偶尔有 : 自己写轮子的。 : 现在外面的世界是这样的,你可以写的很深,但是别人直接拿open source的轮子,马 : 上出活,马上增长做大,等你有了版本1.0 ,人家都上市了。以前的老公司还用点硬技 : 术比如java.新的很多直接就是python,node这种脚本不准备改了。
|
|
|
h******k 发帖数: 388 | 61 觉得Amazon,淘宝和中国铁路订票的scale最难做。因为有transaction而且volume起伏大
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
c*********e 发帖数: 16335 | 62 淘宝双11,不是说很多是手动的吗,不是自动的。哪位说说?
伏大
【在 h******k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 觉得Amazon,淘宝和中国铁路订票的scale最难做。因为有transaction而且volume起伏大
|
h******k 发帖数: 388 | 63 为什么对goodbug这么大意见?我每次问问题goodbug都热心回答。我觉得他的技术至少
比我们公司的architect强。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他有个屁的credit, 就是在新手面前吹牛,像孔已己一样范来复去说只有他最懂scale : out vs scale up。 : 天天吹他们怎么牛逼,我给他指出来他们的scale本质就是线性的, 跟民工搬砖没区别。 : 他反驳不了就开始骂街。跟魏老师真是天生一对。
|
g*****g 发帖数: 34805 | 64 因为他出来装逼被我打脸了。
【在 h******k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 为什么对goodbug这么大意见?我每次问问题goodbug都热心回答。我觉得他的技术至少 : 比我们公司的architect强。
|
h******k 发帖数: 388 | 65 nflx怎么是依赖硬件。它是streaming video的老大和youtube的江湖地位一样。不可能
倒的。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : NFLX 这种高度依赖硬件的公司,等技术更新就是关门的日子了。 : 高成本硬件,再加上高成本开发维护造成入不敷出是迟早的事。古的霸老板迟早要和他 : 讨论强制休假的事情~~~
|
h******k 发帖数: 388 | 66 内容成本是大头?难怪现在netflix自制剧那么多。把hbo买了吧
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 哈哈,我们硬件成本太低,以至于我们经常懒得优化。你要指望硬件成本压倒我们这辈 : 子是没希望了。 : 说到人工成本,我们的revenue per employee秒了AAPL, GOOG, FB,所以也不是大头。
|
d********f 发帖数: 43471 | 67 好虫我说实话,就技术而言我觉得马鬃比你们强,还强不少,不过马鬃的推荐更tmd的
坑爹,可能是片源太少了,啥算法就算球
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你找个更牛的算法来呀?当年我们可是出百万求能提高10%的算法,现在这个人数能提 : 高1%都轻松值百万。你这东西就跟说AI技术太烂了,下个围棋都是臭手一样。马鬃不就 : 是个卖东西的吗,Facebook不就是个社交网络吗,有无数公司做了出来,为啥就他们火 : 了呢?
|
g*****g 发帖数: 34805 | 68 马鬃的 streaming各方面技术还差很多,不只是片源的问题。不信可以问 qxc。
【在 d********f 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 好虫我说实话,就技术而言我觉得马鬃比你们强,还强不少,不过马鬃的推荐更tmd的 : 坑爹,可能是片源太少了,啥算法就算球
|
h******k 发帖数: 388 | 69 老型派来涨流量的?又被耍了:-(
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : lol : one id with ip address starts with 99. : u do understand what kind of this guy is right? : like laodaye, wild range chicken : all notorious id in mitbbs
|
N********n 发帖数: 8363 | 70
不同用户的写操作之间如果无交集容易SCALE,基本上就是线性堆机器。一堆读
写都在同个记录上才是难点。
【在 n****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你说全是read only就不对,比如你看到一个地方停掉,换台机器是可以继续看的,这 : 个就需要大量的写操作,这个scale不简单的
|
|
|
d********u 发帖数: 5383 | 71 ....
无知
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你們银行的客户之间不也无关联吗?
|
d****n 发帖数: 1637 | 72 因为你太自以为是了,太爱装逼了
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 因为他出来装逼被我打脸了。
|
d****n 发帖数: 1637 | 73 过两天goodbug亲自上阵拍片 《装逼指南》
【在 h******k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 内容成本是大头?难怪现在netflix自制剧那么多。把hbo买了吧
|
d****n 发帖数: 1637 | 74 这都是goodbug的脑残粉
【在 d********u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : .... : 无知
|
g*****g 发帖数: 34805 | 75 LOL,我很少在版上开新帖,搜一下就知道了。装逼的特点之一就是开个傻逼的帖子,
让一帮人打脸,舒服了。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 因为你太自以为是了,太爱装逼了
|
d****n 发帖数: 1637 | 76 我开贴就是为了打你脸。省的一帮2b跟着吓几把掺和。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LOL,我很少在版上开新帖,搜一下就知道了。装逼的特点之一就是开个傻逼的帖子, : 让一帮人打脸,舒服了。
|
d****n 发帖数: 1637 | 77 你个傻逼整天拿个手机切换用户,累不累?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LOL,我很少在版上开新帖,搜一下就知道了。装逼的特点之一就是开个傻逼的帖子, : 让一帮人打脸,舒服了。
|
g*****g 发帖数: 34805 | 78 我想起来咋回事了,你这傻逼不就吭哧吭哧写了150行go代码得意洋洋,被我拿10行不
到的Java代码打脸了。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你个傻逼整天拿个手机切换用户,累不累?
|
d****n 发帖数: 1637 | 79 你那10行能work么?傻逼
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我想起来咋回事了,你这傻逼不就吭哧吭哧写了150行go代码得意洋洋,被我拿10行不 : 到的Java代码打脸了。
|
d****n 发帖数: 1637 | 80 赶紧穿上你孙子的马甲来
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我想起来咋回事了,你这傻逼不就吭哧吭哧写了150行go代码得意洋洋,被我拿10行不 : 到的Java代码打脸了。
|
|
|
g*****g 发帖数: 34805 | 81 LOL,那是一个广泛使用的类库文档上的hello world。你觉得呢,傻逼还死撑。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你那10行能work么?傻逼
|
d****n 发帖数: 1637 | 82 能解决问题么?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LOL,那是一个广泛使用的类库文档上的hello world。你觉得呢,傻逼还死撑。
|
d****n 发帖数: 1637 | |
g*****g 发帖数: 34805 | 84 给一堆url下载本来就是那个类库的Helloworld要完成的事情。当然比你拿150行代码是
强了10倍以上,什么keep alive, connection pool都实现了。这脸打得啪啪啪的。你
跟今天来叫板的都是一个德性,就事论事挂不住了。
发信人: dryden (拽的狠-仁义礼智信), 信区: Programming
标 题: Re: 如何快速处理大量网上xml文件?
发信站: BBS 未名空间站 (Mon Aug 24 23:51:24 2015, 美东)
我的code再按照楼主的意思改改就work了,不会超过150行。
java呢?build还没写完呢,我呵呵~~
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 能解决问题么?
|
d****n 发帖数: 1637 | 85 自己打脸了不是?承认不能解决问题了吧
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给一堆url下载本来就是那个类库的Helloworld要完成的事情。当然比你拿150行代码是 : 强了10倍以上,什么keep alive, connection pool都实现了。这脸打得啪啪啪的。你 : 跟今天来叫板的都是一个德性,就事论事挂不住了。 : 发信人: dryden (拽的狠-仁义礼智信), 信区: Programming : 标 题: Re: 如何快速处理大量网上xml文件? : 发信站: BBS 未名空间站 (Mon Aug 24 23:51:24 2015, 美东) : 我的code再按照楼主的意思改改就work了,不会超过150行。 : java呢?build还没写完呢,我呵呵~~
|
g*****g 发帖数: 34805 | 86 你这是体育老师教的中文?不服把那代码拷下来跑一遍,跟你自己的那150行比比,看
谁的快就是了。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 自己打脸了不是?承认不能解决问题了吧
|
d****n 发帖数: 1637 | 87 我的快,要不你试试?你保证能看懂么?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你这是体育老师教的中文?不服把那代码拷下来跑一遍,跟你自己的那150行比比,看 : 谁的快就是了。
|
g*****g 发帖数: 34805 | 88 你丫自己都说要改改才能用,这就快了?我靠,纯傻逼呀。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的快,要不你试试?你保证能看懂么?
|
d****n 发帖数: 1637 | 89 哥是老中医 专治吹牛逼 头疼脑热血压低 跟我没关系你要吹牛逼 不如打飞机 又省钱
来又过瘾 还没有压力吃点没关系 喝点没关系 吹牛逼地那些人 都没有实力有人吹牛逼
就找老中医 一顿五毒拍逼掌 脑袋打放屁手拿大哥大 我腰挎BB机 身穿一条大裤衩 特
么嘴里叼玉溪
哥是老中医 我出门也打的 有时候也找俩女孩 特么玩一把3P哥是老中医 开着拖拉机
全国各地四处跑 专治吹牛逼
哥是老中医 整天笑嘻嘻 听见有人吹牛逼 就是一顿踢天天吹牛逼 早晚让雷劈 雷电要
是劈不死 还有老中医
这位老中医 他就是锦州地 锦州喷神韦小宝 我就专治吹牛逼哥是老中医 专治吹牛逼
头疼脑热血压低 跟我没关系不要吹牛逼 谁吹谁挨踢 大哥就是老中医 专治吹牛逼
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你丫自己都说要改改才能用,这就快了?我靠,纯傻逼呀。
|
d****n 发帖数: 1637 | 90 你tm知道他咋拿的url啊?
你那个10行能干个jiba啊?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你丫自己都说要改改才能用,这就快了?我靠,纯傻逼呀。
|
|
|
d****n 发帖数: 1637 | 91 goodbug
你再来个十行的 code能search你的800亿log。别jb用数据库。(你那孙子马甲同名)
我看你行,曹植七步作诗,你差点,十行也能行。 |
d*****0 发帖数: 144 | 92 马鬃要是技术比Netflix强 那后者就不用混了 毕竟amazon prime video和Netflix 是
直接竞争的
[在 daemonself (mit行为艺术专业博士后导师) 的大作中提到:]
:好虫我说实话,就技术而言我觉得马鬃比你们强,还强不少,不过马鬃的推荐更tmd的
:坑爹,可能是片源太少了,啥算法就算球
:........... |
g*****g 发帖数: 34805 | 93 你丫连一堆url都不懂得如何传进程序,这就出来装逼了?
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你tm知道他咋拿的url啊? : 你那个10行能干个jiba啊?
|
b*******s 发帖数: 5216 | 94 netflix built there system on AWS
tmd的
【在 d*****0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 马鬃要是技术比Netflix强 那后者就不用混了 毕竟amazon prime video和Netflix 是 : 直接竞争的 : [在 daemonself (mit行为艺术专业博士后导师) 的大作中提到:] : :好虫我说实话,就技术而言我觉得马鬃比你们强,还强不少,不过马鬃的推荐更tmd的 : :坑爹,可能是片源太少了,啥算法就算球 : :...........
|
g*****g 发帖数: 34805 | 95 在一个数据中心里跑这一套是毫无难度的,除了S3以外我们基本只用IaaS 。简化的是
网管的任务。
事实上我们花了很大力气把东西一点点搬到AWS上,还要保持24*7。留在DC里多简单呀
,连这个活都省了。我
们纯粹不想全球去建几十个数据中心而已。AWS上可以想起一台机器就立马起,但scale
out还是得靠自己做。DC里不行还可以多花点钱买台好机器,AWS根本没这选项。
【在 b*******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : netflix built there system on AWS : : tmd的
|
h**********5 发帖数: 5355 | 96 active-active?
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们那个很牛B的,是实时倒腾,似乎就是AWS一个region down了对他们也没啥影响。 : AWS挂了,他们能fail over.
|
g*****g 发帖数: 34805 | 97 Yes, active-active, us-east can fail over to us-west and eu-west and vice
versa.
【在 h**********5 的大作中提到】![](/moin_static193/solenoid/img/up.png) : active-active?
|
a****l 发帖数: 8211 | 98 facebook有什么互动?就是无顺序的写贴子。
【在 z******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale 最大的挑战就是复杂度随用户数呈指数增长。但是NFLX呢,用户之间无任何互动 : ,用户接触的资源全都是read only (除了My List)。一个用户的写操作对其他用户 : 没有任何影响。最关键的是,搞错点啥没人注意. : 这种use case基本没啥技术含量可言,一台机器可以handle 1000个用户,那么两台就 : 2000个,往上堆就行了。 : 再看看FB,同时有500M用户在线,有大量的写操作和互动,人家这才是真正的技术。 : 所以无论是FLAG还是UAP,都没有NFLX的份,所以NFLX的员工干着contractor性质的工 : 作(goodbug亲口所言), 時薪却不到150,比我手下烂校毕业的烙印还低,资本家也 : 不傻,二流公司,三流技术,四流人才,随便给点钱就打发了。
|
z****e 发帖数: 54598 | 99 scale out难度
google最简单,google本身有技术,但是重点不在scale out本身
搜索引擎的scale out,yahoo已经实现过了,google的强项在于效率上的提升
facebook等social meadia略难
netflix等streaming比较难
payment gateway这种也比较难,都是transaction
但是transaction的scale out的难度跟streaming难度比
我觉得差不了多少,我在payment gateway公司干过
里面对于netflix非常推崇,文档经常说netflix怎么搞
所以我们也应该怎么搞 |
x*********3 发帖数: 1438 | 100 从技术来说,netflix这种的确是没啥难度的。其他不说,中国那种随便一个小公司十
几个人都能搞的不比netflix差。netflix之所以牛不是技术多牛,是它动手早。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale out难度 : google最简单,google本身有技术,但是重点不在scale out本身 : 搜索引擎的scale out,yahoo已经实现过了,google的强项在于效率上的提升 : facebook等social meadia略难 : netflix等streaming比较难 : payment gateway这种也比较难,都是transaction : 但是transaction的scale out的难度跟streaming难度比 : 我觉得差不了多少,我在payment gateway公司干过 : 里面对于netflix非常推崇,文档经常说netflix怎么搞 : 所以我们也应该怎么搞
|
|
|
a9 发帖数: 21638 | 101 payment其实也没啥,关键是按规则分表就好了。比如aa*-az*一个表ba*-bz*一个表这
样。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale out难度 : google最简单,google本身有技术,但是重点不在scale out本身 : 搜索引擎的scale out,yahoo已经实现过了,google的强项在于效率上的提升 : facebook等social meadia略难 : netflix等streaming比较难 : payment gateway这种也比较难,都是transaction : 但是transaction的scale out的难度跟streaming难度比 : 我觉得差不了多少,我在payment gateway公司干过 : 里面对于netflix非常推崇,文档经常说netflix怎么搞 : 所以我们也应该怎么搞
|
z****e 发帖数: 54598 | 102
nah
关键是表不在你这
在银行那
你这个transaction一定要做成分布式的
那就很恶心了
【在 a9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : payment其实也没啥,关键是按规则分表就好了。比如aa*-az*一个表ba*-bz*一个表这 : 样。
|
a9 发帖数: 21638 | 103 表在银行那儿又不让你访问,你得用他们的api,那是他们scale的事儿了。
表这
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : nah : 关键是表不在你这 : 在银行那 : 你这个transaction一定要做成分布式的 : 那就很恶心了
|
n******t 发帖数: 4406 | 104 说点别的,这边有一个老印说你们打算完全废掉mysql全部挪到cassandra,你说说他是
不是在扯蛋?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你丫连一堆url都不懂得如何传进程序,这就出来装逼了?
|
N*****m 发帖数: 42603 | 105 看use case吧
【在 n******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 说点别的,这边有一个老印说你们打算完全废掉mysql全部挪到cassandra,你说说他是 : 不是在扯蛋?
|
h*i 发帖数: 3446 | 106 netflx自己收钱么?有关钱的账户显然不能放C*,要不9块钱要变成7块了咋办,哈哈。
【在 n******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 说点别的,这边有一个老印说你们打算完全废掉mysql全部挪到cassandra,你说说他是 : 不是在扯蛋?
|
g*****g 发帖数: 34805 | 107 扯蛋。
【在 n******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 说点别的,这边有一个老印说你们打算完全废掉mysql全部挪到cassandra,你说说他是 : 不是在扯蛋?
|
g*****g 发帖数: 34805 | 108 别扯淡了,HBO从微软拉了50个人,封闭开发了两年连个稳定的streaming都做不出来。
不谈recommendation.
【在 x*********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 从技术来说,netflix这种的确是没啥难度的。其他不说,中国那种随便一个小公司十 : 几个人都能搞的不比netflix差。netflix之所以牛不是技术多牛,是它动手早。
|
M**a 发帖数: 848 | 109 時薪却不到150!!!!!
妈呀工资真高。
一年三十多万美金。 |
y****w 发帖数: 3747 | 110 well said.
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在流行搭积木。 : C++写底层的东西,多线程什么的, : 不是不能做。但是,这个不是热点了。 : 至于分布式,关键的几个,distributed cache, disitrubuted db storage, : distributed log, async event processing, analysis, monitor.那个都是用来解决 : 特定的问题,也不是写写code就能搞定的。 而且这些大家主要都用各种轮子。偶尔有 : 自己写轮子的。 : 现在外面的世界是这样的,你可以写的很深,但是别人直接拿open source的轮子,马 : 上出活,马上增长做大,等你有了版本1.0 ,人家都上市了。以前的老公司还用点硬技 : 术比如java.新的很多直接就是python,node这种脚本不准备改了。
|
|
|
s*****r 发帖数: 43070 | 111 payment那块不可能放到C上,不支持transaction的
【在 n******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 说点别的,这边有一个老印说你们打算完全废掉mysql全部挪到cassandra,你说说他是 : 不是在扯蛋?
|
s*****r 发帖数: 43070 | 112 狗的scale out水平比Yahoo强十倍吧,大数据都是狗的几篇文章为开端
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale out难度 : google最简单,google本身有技术,但是重点不在scale out本身 : 搜索引擎的scale out,yahoo已经实现过了,google的强项在于效率上的提升 : facebook等social meadia略难 : netflix等streaming比较难 : payment gateway这种也比较难,都是transaction : 但是transaction的scale out的难度跟streaming难度比 : 我觉得差不了多少,我在payment gateway公司干过 : 里面对于netflix非常推崇,文档经常说netflix怎么搞 : 所以我们也应该怎么搞
|
d*****0 发帖数: 144 | 113 强十倍夸张了 雅虎的轮子开源了 大家都用的不错
[在 swjtuer (灌水和coding都要敲键盘) 的大作中提到:]
:狗的scale out水平比Yahoo强十倍吧,大数据都是狗的几篇文章为开端
:
:........... |
x*********3 发帖数: 1438 | 114 这是哪里的新闻我不知道。不过,就算是真的,这根本就不能说明streaming技术牛。
微软那帮人,吹牛第一,做事嘛,就呵呵了。
看看中国的各种同类公司多于牛毛,数据量不比NFLX少,没听说有啥难度。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 别扯淡了,HBO从微软拉了50个人,封闭开发了两年连个稳定的streaming都做不出来。 : 不谈recommendation.
|
g*****g 发帖数: 34805 | 115 啥东西做出来都没难度,做得好才有难度。从search engine, social network到
groupon, uber,已经有无数的先例。
【在 x*********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是哪里的新闻我不知道。不过,就算是真的,这根本就不能说明streaming技术牛。 : 微软那帮人,吹牛第一,做事嘛,就呵呵了。 : 看看中国的各种同类公司多于牛毛,数据量不比NFLX少,没听说有啥难度。
|
c***n 发帖数: 809 | 116 yahoo实现个屁,出过什么有点影响力paper吗? Google提升了效率?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : scale out难度 : google最简单,google本身有技术,但是重点不在scale out本身 : 搜索引擎的scale out,yahoo已经实现过了,google的强项在于效率上的提升 : facebook等social meadia略难 : netflix等streaming比较难 : payment gateway这种也比较难,都是transaction : 但是transaction的scale out的难度跟streaming难度比 : 我觉得差不了多少,我在payment gateway公司干过 : 里面对于netflix非常推崇,文档经常说netflix怎么搞 : 所以我们也应该怎么搞
|
D*******a 发帖数: 3688 | 117 http://fortune.com/2014/12/09/hbo-streaming/
【在 x*********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是哪里的新闻我不知道。不过,就算是真的,这根本就不能说明streaming技术牛。 : 微软那帮人,吹牛第一,做事嘛,就呵呵了。 : 看看中国的各种同类公司多于牛毛,数据量不比NFLX少,没听说有啥难度。
|
N********n 发帖数: 8363 | 118
Streaming在M、A、G几大公司是白菜技术。08年北京奥运时,微软就已经网上高
清直播了。羽毛球、乒乓这种美国非主流赛事直播就是这么看的。不懂别瞎扯。
【在 x*********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是哪里的新闻我不知道。不过,就算是真的,这根本就不能说明streaming技术牛。 : 微软那帮人,吹牛第一,做事嘛,就呵呵了。 : 看看中国的各种同类公司多于牛毛,数据量不比NFLX少,没听说有啥难度。
|
c***n 发帖数: 809 | 119 我软就贡献了个player客户端, 也能算streaming大牛?
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : Streaming在M、A、G几大公司是白菜技术。08年北京奥运时,微软就已经网上高 : 清直播了。羽毛球、乒乓这种美国非主流赛事直播就是这么看的。不懂别瞎扯。
|
N********n 发帖数: 8363 | 120
你以为NBC奥运直播SERVER端就不是微软搞的?HOHO, 客户端是最简单的。
【在 c***n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我软就贡献了个player客户端, 也能算streaming大牛?
|
|
|
a*********a 发帖数: 3656 | 121 major banks move, sync and reconcile data across NY, London, Tokyo and a few
more small data centers around the clock.
I recall during an incident when our data got out of sync, we almost got
arbbed by some hedgefund between NY and London desk. When the things finally
caught up, we realized the sucker was trying to buy from our LD desk, sell
to our NY desk and pocket the difference due to data inconsistency between
the two sites.
our traders gave them an earful of F words.
major brokers maintain data at in some case a dozen colo centers and all
those must be synced to very high degree. if an exchange 500 miles away just
posted a better price, you are required by the security law to hit that
first.
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug很牛,赚得很多,这在本版是公认的。 : NFLX scale简单,但他们有东西海岸倒腾数据的技术。你竟敢小瞧了他们, : 动机很值得怀疑。
|
c***n 发帖数: 809 | 122 我还真不认为,你能有什么证据是我软干的,就凭iis, hoho. 油管弄了2012 olympic
live
streaming 弄个grammy奖, 我软2008干了什么也么?
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 你以为NBC奥运直播SERVER端就不是微软搞的?HOHO, 客户端是最简单的。
|
c*********e 发帖数: 16335 | 123 why it's always midnight?
嘿嘿嘿
few
finally
sell
just
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : major banks move, sync and reconcile data across NY, London, Tokyo and a few : more small data centers around the clock. : I recall during an incident when our data got out of sync, we almost got : arbbed by some hedgefund between NY and London desk. When the things finally : caught up, we realized the sucker was trying to buy from our LD desk, sell : to our NY desk and pocket the difference due to data inconsistency between : the two sites. : our traders gave them an earful of F words. : major brokers maintain data at in some case a dozen colo centers and all : those must be synced to very high degree. if an exchange 500 miles away just
|
N********n 发帖数: 8363 | 124
08年NBC直播从CLIENT到SERVER都是微软搞的。NBC这几界奥运会直播都是跑在
微软的架构上,你不信到网上搜。Streaming现在没啥了不起的,ESPN上面天天
HD Streaming。
【在 c***n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我还真不认为,你能有什么证据是我软干的,就凭iis, hoho. 油管弄了2012 olympic : live : streaming 弄个grammy奖, 我软2008干了什么也么?
|
a*********a 发帖数: 3656 | 125 what midnight?
if you r talking about cannot log into your credit card account then you are
thinking way too small.
trading arm of the banks run around the clock, from New Zeland open to US
close. If your London desk could not see the most up to date interest rate
curve in Johannesburg, you were in trouble. Now multiply that with all the
financial instruments you can trade in the whole world, many ticking at sub-
second frequency.
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : why it's always midnight? : 嘿嘿嘿 : : few : finally : sell : just
|
g*****g 发帖数: 34805 | 126 How about fixing small problem first? And my account info doesn't need to be
replicated around the world for god's sake.
are
sub-
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : what midnight? : if you r talking about cannot log into your credit card account then you are : thinking way too small. : trading arm of the banks run around the clock, from New Zeland open to US : close. If your London desk could not see the most up to date interest rate : curve in Johannesburg, you were in trouble. Now multiply that with all the : financial instruments you can trade in the whole world, many ticking at sub- : second frequency.
|
c*********e 发帖数: 16335 | 127 用的silverlight直播的?
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 08年NBC直播从CLIENT到SERVER都是微软搞的。NBC这几界奥运会直播都是跑在 : 微软的架构上,你不信到网上搜。Streaming现在没啥了不起的,ESPN上面天天 : HD Streaming。
|
a*********a 发帖数: 3656 | 128 retail arms and institutional/internal trading arms in a bank have totally
different mentality.
I never worked retail. but I have good confidence it is fine if a quarter
million retail customers cannot log in and see their credit card balance.
the bank looses no money when that happens as long as it does not happen
every day.
retail brokerage has lower tolerance but it is still perfectly fine if a
retail customer had to wait for a few seconds to fill a stock order. again,
the bank looses nothing.
the institutional side is completely different. Say a client called in the
morning to quote price on a basket of 1000 stocks,index futures,etfs and
what basket does not have a couple CDSes now a days? if he said he wanted to
complete the the transaction before NY open, you d better call back with a
firm quote quick with some time to spare. Otherwise the trade went elsewhere
and you loose a chunk of your PNL for the day. It would be hard if people
had to
call a few places around the world to know what traded at what level.
if you got a circle going round and round in the middle of the screen for a
few seconds, F word started flying your way.
We even got calls from our institutional clients if our round trip time to
hit Tel Aviv stock exchange slowed down for a couple seconds. We used to
joke it was Tel Aviv for gods sake, who s to say they were not being shelled
by rockets at that exact moment.
be
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : How about fixing small problem first? And my account info doesn't need to be : replicated around the world for god's sake. : : are : sub-
|
a*********a 发帖数: 3656 | 129 the other day, I was searching "sicario" in netflix. made a typo and put "
scicario" in the search box.
lo and behold, it returned me:
El Sicario 2010,
Sicario: Ejecucion de Mando 2009,
but missing:
Sicario 2015,
Sicario 1994.
these two only show up with the exact correct search.
【在 a9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : goodbug说了,他们的影片推荐很牛。另外大数据分析也很牛。光说scale算什么。 : 另外前两天不有也有说netflix的转码分片很牛吗?
|
a*********a 发帖数: 3656 | 130 嗯,银行术语应该是 coupon,yield,smile。
【在 s*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 银行术语还好,要是看看会计术语可以直接晕过去,你觉得这两貌似是会计的
|
|
|
c***n 发帖数: 809 | 131 你是真知道还是瞎扯, nbcolympic.com, web server 用 nginx, content 用akamai,
Apache, 我软在哪里?streaming 有没什么大不了不好说,不过我软可没资格说
2008olympic 是他干的
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 08年NBC直播从CLIENT到SERVER都是微软搞的。NBC这几界奥运会直播都是跑在 : 微软的架构上,你不信到网上搜。Streaming现在没啥了不起的,ESPN上面天天 : HD Streaming。
|
N********n 发帖数: 8363 | 132
看人家NBC VP咋说的, 这脸打的。
【在 c***n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你是真知道还是瞎扯, nbcolympic.com, web server 用 nginx, content 用akamai, : Apache, 我软在哪里?streaming 有没什么大不了不好说,不过我软可没资格说 : 2008olympic 是他干的
|
z****e 发帖数: 54598 | 133
nah
ur transactions rely on their transactions
if their transactions is uncompleted
ur transaction wont be able to complete neither
thus the whole thing would easily become messy
usually a trans. for a payment gateway takes 2-3 days to complete
involves at least 4 entities merchant, customer, gateway & bank
【在 a9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 表在银行那儿又不让你访问,你得用他们的api,那是他们scale的事儿了。 : : 表这
|
g*****g 发帖数: 34805 | 134 Can't reproduce, scicario returns nothing.
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : the other day, I was searching "sicario" in netflix. made a typo and put " : scicario" in the search box. : lo and behold, it returned me: : El Sicario 2010, : Sicario: Ejecucion de Mando 2009, : but missing: : Sicario 2015, : Sicario 1994. : these two only show up with the exact correct search.
|
z****e 发帖数: 54598 | 135
yahoo就已经实现了世界上第一台搜索引擎
搜索引擎这种东西,scale out有个毛难度
既不是streaming也不是transaction
随便都可以divide & conquer下去
关键在于最后的结果是不是你想要的
google做的就是改善了这个结果
【在 c***n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : yahoo实现个屁,出过什么有点影响力paper吗? Google提升了效率?
|
z****e 发帖数: 54598 | 136
那是相似度理论
这个跟scale out没啥必然联系
yahoo,google,sun和palantir这几个都是斯坦福的校办工厂
【在 s*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 狗的scale out水平比Yahoo强十倍吧,大数据都是狗的几篇文章为开端
|
z****e 发帖数: 54598 | 137
streaming最大的问题是一个streaming用户顶得上一般大概至少几十个web page用户
伺候streaming比伺候那些瞬时连接的web pages消耗的资源要多多了
如果不在乎资源的话,那没有什么是有难度的
【在 x*********3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是哪里的新闻我不知道。不过,就算是真的,这根本就不能说明streaming技术牛。 : 微软那帮人,吹牛第一,做事嘛,就呵呵了。 : 看看中国的各种同类公司多于牛毛,数据量不比NFLX少,没听说有啥难度。
|
c***n 发帖数: 809 | 138 看看标题,我们在讨论scale,我软弄了些iis干些ingestion
/transcoding. delivery都交个akamai了,一天有一百个
直播吗?弄不好就几个concurrent。 吹嘘scale勉强点。
vp说了, 我软牛的地方是大, 比那些startup稳定。
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 看人家NBC VP咋说的, 这脸打的。
|
a9 发帖数: 21638 | 139 streaming本身最大的负载是带宽啊。
牛。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : streaming最大的问题是一个streaming用户顶得上一般大概至少几十个web page用户 : 伺候streaming比伺候那些瞬时连接的web pages消耗的资源要多多了 : 如果不在乎资源的话,那没有什么是有难度的
|
w***g 发帖数: 5958 | 140 有了index以后scale out确实没有难度。
但是crawling和indexing要scale out还是很有难度的。
yahoo是人肉维护的catalog,算不上搜索引擎。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : streaming最大的问题是一个streaming用户顶得上一般大概至少几十个web page用户 : 伺候streaming比伺候那些瞬时连接的web pages消耗的资源要多多了 : 如果不在乎资源的话,那没有什么是有难度的
|
|
|
z****e 发帖数: 54598 | 141
我没说不是啊,再说这个问题也太容易解决了
不够就加嘛,这个属于不需要思考就能解决的问题
【在 a9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : streaming本身最大的负载是带宽啊。 : : 牛。
|
z****e 发帖数: 54598 | 142
crawling我不认为有难度
catalog还在用精确匹配,用的是db那一套
google用的是相似,模糊匹配
不过无论哪一种,都不难以实现scale out
人力也可以scale out,比如百度
还是linear scale out
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有了index以后scale out确实没有难度。 : 但是crawling和indexing要scale out还是很有难度的。 : yahoo是人肉维护的catalog,算不上搜索引擎。
|
l*********s 发帖数: 5409 | |
w***g 发帖数: 5958 | 144 我的理解,做google的难度,crawling >> indexing >> 搜索算法
page rank之类的东西起作用其实并不多。关键是1. 数据量大,
2. 用户反馈。你不觉得crawling有难度是因为你没做过。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : crawling我不认为有难度 : catalog还在用精确匹配,用的是db那一套 : google用的是相似,模糊匹配 : 不过无论哪一种,都不难以实现scale out : 人力也可以scale out,比如百度 : 还是linear scale out
|
k**0 发帖数: 19737 | 145 嗯,记得那时候是用silverlight
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 看人家NBC VP咋说的, 这脸打的。
|
k**0 发帖数: 19737 | 146 re this
few
finally
sell
just
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : major banks move, sync and reconcile data across NY, London, Tokyo and a few : more small data centers around the clock. : I recall during an incident when our data got out of sync, we almost got : arbbed by some hedgefund between NY and London desk. When the things finally : caught up, we realized the sucker was trying to buy from our LD desk, sell : to our NY desk and pocket the difference due to data inconsistency between : the two sites. : our traders gave them an earful of F words. : major brokers maintain data at in some case a dozen colo centers and all : those must be synced to very high degree. if an exchange 500 miles away just
|
g*****g 发帖数: 34805 | 147 As I said, that's low latency, not high availability. Having 3 9 is harder
than you think.
few
finally
sell
just
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : major banks move, sync and reconcile data across NY, London, Tokyo and a few : more small data centers around the clock. : I recall during an incident when our data got out of sync, we almost got : arbbed by some hedgefund between NY and London desk. When the things finally : caught up, we realized the sucker was trying to buy from our LD desk, sell : to our NY desk and pocket the difference due to data inconsistency between : the two sites. : our traders gave them an earful of F words. : major brokers maintain data at in some case a dozen colo centers and all : those must be synced to very high degree. if an exchange 500 miles away just
|
N********n 发帖数: 8363 | 148
你楼上说都是NGINXAPACHE,咋又改IIS了。忽略中间过程,所有content最
后都走CDN。照你这么说Youtube、Netflix就是玩CDN而已。HOHO,别逗了。
【在 c***n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 看看标题,我们在讨论scale,我软弄了些iis干些ingestion : /transcoding. delivery都交个akamai了,一天有一百个 : 直播吗?弄不好就几个concurrent。 吹嘘scale勉强点。 : vp说了, 我软牛的地方是大, 比那些startup稳定。
|
a*********a 发帖数: 3656 | 149 so your search function is not deterministic. :)
I m on the east coast, maybe one reason is your data between the coasts got
out of sync?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Can't reproduce, scicario returns nothing.
|
a*********a 发帖数: 3656 | 150 I don't know how you define high availability.
having a large amount of data, a large portion of which originate from many
different locations all over the world, yet still have high confident that
whenever I pull data from my desktop, whatever I get is accurate and up to
date. I d call that low latency AND high availability.
granted I dont deal with ZBs of video files, but believe me the cost of
latency and outage is very high. Every postmortem uses million dollars as
the unit of loss estimation.
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : As I said, that's low latency, not high availability. Having 3 9 is harder : than you think. : : few : finally : sell : just
|
|
|
c*********e 发帖数: 16335 | 151 推荐的当然是看得少的,推荐了才有人看嘛。不可能给你推荐热门的,热门的不需要推
荐,大家平时都知道的,比如纸牌屋之类的。
【在 d********f 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 好虫我说实话,就技术而言我觉得马鬃比你们强,还强不少,不过马鬃的推荐更tmd的 : 坑爹,可能是片源太少了,啥算法就算球
|
c*********e 发帖数: 16335 | 152 完了,睡觉的时候被躺枪了。
【在 d****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这都是goodbug的脑残粉
|
g*****g 发帖数: 34805 | 153 Being 24*7 for a start. Trading platform doesn't need to be 24*7. But retail
banking should.
many
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : I don't know how you define high availability. : having a large amount of data, a large portion of which originate from many : different locations all over the world, yet still have high confident that : whenever I pull data from my desktop, whatever I get is accurate and up to : date. I d call that low latency AND high availability. : granted I dont deal with ZBs of video files, but believe me the cost of : latency and outage is very high. Every postmortem uses million dollars as : the unit of loss estimation.
|
g*****g 发帖数: 34805 | 154 While search is also personalized, it's for ranking, not for return. Maybe
you remember it wrong.
got
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : so your search function is not deterministic. :) : I m on the east coast, maybe one reason is your data between the coasts got : out of sync?
|
c*********e 发帖数: 16335 | 155 你这一说还真是,netflix用cdn,把一个電影的文件copy一下,通过silverlight
server发送出去。。。。
【在 N********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 你楼上说都是NGINXAPACHE,咋又改IIS了。忽略中间过程,所有content最 : 后都走CDN。照你这么说Youtube、Netflix就是玩CDN而已。HOHO,别逗了。
|
a*********a 发帖数: 3656 | 156 count New Zealand 9am to US 4:30pm, that s pretty close to 24. and many
middle east countries do Sun-Fri working days. :)
Plus, one must recall that most of the critical decisions during the 2008
crisis were made on Sundays. I was on the trading floor every Sat, Sun
during a 2 month period, running "scenarios" like what if "citi and goldman"
announced a deal before Monday open. Would be very pissed and stressed if
some data were not available.
retail
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Being 24*7 for a start. Trading platform doesn't need to be 24*7. But retail : banking should. : : many
|
a*********a 发帖数: 3656 | 157 dude, I am looking at it right now.
I d expect your search and mine to return the same result on the same key
word.
And I d expect if "sicario 2009" show up for key word "s[c]icario", then "
sicario 2015" should show too. yet the later only turns up with the exact
spelling.
this kind of result could be detrimental in trading biz.
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : While search is also personalized, it's for ranking, not for return. Maybe : you remember it wrong. : : got
|
g*****g 发帖数: 34805 | 158 什么东西上了scale都很难,要个人定制优化也很难。啥东西都是看着简单而已。
淘宝上200块还能买个购物网站的源码呢,难道你就赶上淘宝了?
【在 c*********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你这一说还真是,netflix用cdn,把一个電影的文件copy一下,通过silverlight : server发送出去。。。。
|
g*****g 发帖数: 34805 | 159 Dude, you are a joke. You can't even express yourself. You asked me to
search "scicario" and I did and now you use "sicario" and tell me my result
should match yours? No, I couldn't get any result using "scicario" and you
should not either.
Your quote below:
"the other day, I was searching "sicario" in netflix. made a typo and put "
scicario" in the search box."
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : dude, I am looking at it right now. : I d expect your search and mine to return the same result on the same key : word. : And I d expect if "sicario 2009" show up for key word "s[c]icario", then " : sicario 2015" should show too. yet the later only turns up with the exact : spelling. : this kind of result could be detrimental in trading biz.
|
g*****g 发帖数: 34805 | 160 And did you search in DVD section? Yes, the result should be different when
you search in DVD while I am a streaming only user. And we actually split
DVD department out, we gave them a feed for them to search, and I couldn't
care less how they perform. We are talking about streaming the entire topic
for god's sake. Next time, clear yourself before you start an argument.
result
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Dude, you are a joke. You can't even express yourself. You asked me to : search "scicario" and I did and now you use "sicario" and tell me my result : should match yours? No, I couldn't get any result using "scicario" and you : should not either. : Your quote below: : "the other day, I was searching "sicario" in netflix. made a typo and put " : scicario" in the search box."
|
|
|
g*****g 发帖数: 34805 | 161 Not even close, check what 3 9 means.
goldman"
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : count New Zealand 9am to US 4:30pm, that s pretty close to 24. and many : middle east countries do Sun-Fri working days. :) : Plus, one must recall that most of the critical decisions during the 2008 : crisis were made on Sundays. I was on the trading floor every Sat, Sun : during a 2 month period, running "scenarios" like what if "citi and goldman" : announced a deal before Monday open. Would be very pissed and stressed if : some data were not available. : : retail
|
a*********a 发帖数: 3656 | 162 Yes, I searched in the disc mailer page of NETFLIX.
You may say that you turned my "retail v institutional" argument back on me
but I do pay the same amount of money each month.
when
topic
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : And did you search in DVD section? Yes, the result should be different when : you search in DVD while I am a streaming only user. And we actually split : DVD department out, we gave them a feed for them to search, and I couldn't : care less how they perform. We are talking about streaming the entire topic : for god's sake. Next time, clear yourself before you start an argument. : : result
|
a*********a 发帖数: 3656 | 163 OK, I c it is a moving target now, when I hit 24/7, you pull a 3 9 out.
I don't really know what 3 9 means and I don't really care. I have not been
in the infrastructure side for a few years. but I do know if right now I
wanted to prep a basket trade for execution at London open, I have all the
data I need to even run some forecast based on how Asia markets is doing
right now and in the next few hours.
And when we hit bottle neck on network through put between data centers we
were man enough to buy fiber optic connections instead of cry baby to the
government.
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Not even close, check what 3 9 means. : : goldman"
|
g*****g 发帖数: 34805 | 164 How can you expect the same result when DVD and streaming rights are simply
different? In a thread everybody is talking about streaming, you lost your
credibility by searching DVD on your own and beef.
me
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Yes, I searched in the disc mailer page of NETFLIX. : You may say that you turned my "retail v institutional" argument back on me : but I do pay the same amount of money each month. : : when : topic
|
g*****g 发帖数: 34805 | 165 Nah, I meant 3 9 when I talk about 24/7, that's industry standard. We
actually put ourselves at 9995.
【在 a*********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : OK, I c it is a moving target now, when I hit 24/7, you pull a 3 9 out. : I don't really know what 3 9 means and I don't really care. I have not been : in the infrastructure side for a few years. but I do know if right now I : wanted to prep a basket trade for execution at London open, I have all the : data I need to even run some forecast based on how Asia markets is doing : right now and in the next few hours. : And when we hit bottle neck on network through put between data centers we : were man enough to buy fiber optic connections instead of cry baby to the : government.
|
z****e 发帖数: 54598 | 166
crawler属于堆人力就能解决的问题
programming部分属于体力活
主要是一堆的异常,corner cases要处理
并不是数学上有多难,只要汗水洒下去
就能有收获,这个部分上课老师都不屑说
直接跳过
indexing是属于meta data部分的内容
如果是完全un structured data,按照google当初的做法
你index个p,倒是db一堆index
越有结构的数据越适合搞index
越是无结构的数据,越不适合搞index
而且话说回来,index上一堆的现成的东西可以抄
需要一点iq和细心而已
最难的当然是搜索咯
你觉得容易是因为你把google的整个idea给抄了过来
等于剽窃了人家的idea,然后说简单
还能再无耻一点不?google就是把这么复杂的东西,做得如此精妙
最后总结成一个简单的公式,得以引用,这才是google牛逼的地方
就像古德霸也总是把复杂的东西做简单来,然后菜瓜看懂了
就说,哎呀,也没什么了不起的嘛
我靠,你抄作业然后说人家做作业的人没啥了不起的?
人不能这么无耻同学
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的理解,做google的难度,crawling >> indexing >> 搜索算法 : page rank之类的东西起作用其实并不多。关键是1. 数据量大, : 2. 用户反馈。你不觉得crawling有难度是因为你没做过。
|
w***g 发帖数: 5958 | 167 看来你还是明白的。人家十几年的人里堆在那里,
至少目前别人想做,堆人力这一步绕不过去。
这个是最大的barrier to entry。
别的目前应该都可以轻易绕过去了。就我上次说的,
要么你保密不让别人知道,你让别人知道了,你就
没法让人家不模仿。或者你保密不让别人知道,也
保不准谁能想出来。靠算法起家的都有这个问题。
等你需要拿起专利武器了,对方往往已经成了气候了。
往极至里说,你让人知道能做得多好,就有人能做
得那么好,甚至更好。就像张益唐那个定理。你让
人知道那是个定理了,马上用啥方法就都可以证明了。
问题不是证明这个定理有多难,而是这么多假说,
不知道哪个底下有金子。堆人力就不一样。 就是知
道怎么堆,短时间也堆不出来。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : crawler属于堆人力就能解决的问题 : programming部分属于体力活 : 主要是一堆的异常,corner cases要处理 : 并不是数学上有多难,只要汗水洒下去 : 就能有收获,这个部分上课老师都不屑说 : 直接跳过 : indexing是属于meta data部分的内容 : 如果是完全un structured data,按照google当初的做法 : 你index个p,倒是db一堆index
|