T********i 发帖数: 2416 | 1 1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖
性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。
2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot
standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保
障。
3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是
远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让
马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就
是从纽约异步复制到芝加哥的。
4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些
客户被拒绝服务而已。别忘了,我在第一条说了。假定数据紧耦合,单机效率最高。容
量上限也比他的成数量级的高。对于这种问题,这就是技术极限。而且这个上限事实上
已经远远超出外围系统能消费的水平。
5。不否认这些年有很多优秀的framework。能做出很多优秀的系统。我一开始就说了,
对于春运这个特定的问题。我的核心要怎么做。春运系统我没有做各位也没有做。作为
case study做些探讨。首先申明了我的假设。而且第一帖就说了我的核心要怎样做。不
失一般性。核心确实比外围其他子系统要tricky一些。
6。学术素养和辩论风度,希望大家能尽量客观。 |
z****e 发帖数: 54598 | 2 again
出问题的是web server
你在看什么地方?
麻烦你先定位一下出问题出瓶颈的地方好不好?
app server没有问题,你需要让别人跟你强调几遍?
当时是网站挂了,并不代表整个系统全部瘫痪
售票点还在继续出票,拜托 |
z****e 发帖数: 54598 | 3 app server没有问题
否则售票点不能出票了
但是事实是网站挂了,但是售票点继续出票
出问题的是web server
当时网站访问被挤爆了
用的是apache web server
一般而言,一个apache web server并发访问上限是4000个
天朝人民要凑够4000个同时访问,小意思
所以要对付这个问题,首先先换掉web server
换成yaws,这个能支撑80,000个并发访问
所以请魏老师先定位问题,然后再谈解决方案
谢谢
说了半天app server,app server没有出问题,需要解决什么?
匪夷所思的方案 |
P********l 发帖数: 452 | 4
goodbug说分布式的*性能*比单机好?
zkss.
zkss.
zkss. 如何控制别人不妨问你的网站?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖 : 性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。 : 2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot : standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保 : 障。 : 3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是 : 远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让 : 马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就 : 是从纽约异步复制到芝加哥的。 : 4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些
|
T********i 发帖数: 2416 | 5 这个问题理论上你的所谓app server是瓶颈,web server不是瓶颈。
我要探讨的是理论上什么方案性能好。难道在这个问题上还要搅屎?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : app server没有问题 : 否则售票点不能出票了 : 但是事实是网站挂了,但是售票点继续出票 : 出问题的是web server : 当时网站访问被挤爆了 : 用的是apache web server : 一般而言,一个apache web server并发访问上限是4000个 : 天朝人民要凑够4000个同时访问,小意思 : 所以要对付这个问题,首先先换掉web server : 换成yaws,这个能支撑80,000个并发访问
|
z****e 发帖数: 54598 | 6 那你问题就定位错误了
你还谈什么解决方案?
我的天
你每天脑子里都在想些什么?
自己树了一个稻草人劈里啪啦一阵打
累不累?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个问题理论上你的所谓app server是瓶颈,web server不是瓶颈。 : 我要探讨的是理论上什么方案性能好。难道在这个问题上还要搅屎?
|
T********i 发帖数: 2416 | 7 不如你累。你发的帖子比我还多。而且大多和我假设的问题无关。人身攻击倒是不少。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那你问题就定位错误了 : 你还谈什么解决方案? : 我的天 : 你每天脑子里都在想些什么? : 自己树了一个稻草人劈里啪啦一阵打 : 累不累?
|
z****e 发帖数: 54598 | 8 分布式的throughput比单机强
这也理所当然
但是貌似魏老师名义上是说要解决throughput的问题
而实际上却大谈latency的优化
就像说了半天app server
但是出问题的web server却被假设成没有问题
实话说我真不知道魏老师为什么这么做
貌似魏老师很喜欢声东击西
【在 P********l 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : goodbug说分布式的*性能*比单机好? : zkss. : zkss. : zkss. 如何控制别人不妨问你的网站?
|
z****e 发帖数: 54598 | 9 是啊,总是想把你引导到正途上去
结果你硬是假设问题不存在
我很吐血
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不如你累。你发的帖子比我还多。而且大多和我假设的问题无关。人身攻击倒是不少。
|
d********u 发帖数: 5383 | 10 从头到尾都在讨论核心性能,和着你们居然都没看懂。底层马公的理解能力也太差了。
本来做网站就已经很低能了,现在连理解力都有问题,哎
【在 P********l 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : goodbug说分布式的*性能*比单机好? : zkss. : zkss. : zkss. 如何控制别人不妨问你的网站?
|
|
|
T********i 发帖数: 2416 | 11 对于我提出的那个具体问题。单机比分布式性能好。
这个性能就是说单机latency低,而且throughput高。
不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的?
摆脱你不要继续丢人现眼好不好?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 分布式的throughput比单机强 : 这也理所当然 : 但是貌似魏老师名义上是说要解决throughput的问题 : 而实际上却大谈latency的优化 : 就像说了半天app server : 但是出问题的web server却被假设成没有问题 : 实话说我真不知道魏老师为什么这么做 : 貌似魏老师很喜欢声东击西
|
z****e 发帖数: 54598 | 12 因为你设计的系统可以并行的比例太低
所以无法被并行,话说你这种设计难道不是大忌?
scale out比scale up更容易实现难道不是常识?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对于我提出的那个具体问题。单机比分布式性能好。 : 这个性能就是说单机latency低,而且throughput高。 : 不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的? : 摆脱你不要继续丢人现眼好不好?
|
z****e 发帖数: 54598 | 13 再强大的硬件也挡不住有人乱写软件
你要是设计成,只有你家那台电脑才能执行这段代码
那你就是给你十台主机也都不如给你家那台破电脑顶用啊
所以十台主机的throughput都不如你家那台电脑的throughput
恩,由魏老师来设计系统,的确与众不同
这点要承认 |
g*****g 发帖数: 34805 | 14 你丢人要丢几次才够?你那个所谓核心就是写commit log,单机打死都超不过
cassandra cluster.
那个是任意多个结点的写,你这个是写一个机器,但凡有脑子也知道这个不可能写过。
你那个网速上限多少来着?80GB全双工,号称IO是唯一瓶颈对吧?SSD写大文件是可以
达到这个速度。但你一个request就几百byte,算800 bytes吧。80GB 是80 * 10^9 /
800 = 10^8。
所以就是每秒1亿次读,1亿次写。IBM拿出最大的机器来都多半没有能撑的住的,你丫
那一万块的服务器还想撑得住。下回吹牛之前,好歹先把这些基本数据算一算。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对于我提出的那个具体问题。单机比分布式性能好。 : 这个性能就是说单机latency低,而且throughput高。 : 不知道你的那个分布式比单机throughpit高理所当然是哪个体育老师教的? : 摆脱你不要继续丢人现眼好不好?
|
T********i 发帖数: 2416 | 15 你又在搅屎!这回没有理所当然了?
再说一遍。我探讨的理论问题。系统设计要针对问题来。
这个问题可以被高度并行化。绝非什么可并行比例低。
做成紧耦合的是因为分布式的通信开销抵消了throughput。
这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识?
你的脑袋真是一团浆糊。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 因为你设计的系统可以并行的比例太低 : 所以无法被并行,话说你这种设计难道不是大忌? : scale out比scale up更容易实现难道不是常识?
|
z****e 发帖数: 54598 | 16 你那个所谓的问题压根不存在
你在讨论什么问题?
或者说你的解决方案到底要解决什么问题?
没有问题你解决什么?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你又在搅屎!这回没有理所当然了? : 再说一遍。我探讨的理论问题。系统设计要针对问题来。 : 这个问题可以被高度并行化。绝非什么可并行比例低。 : 做成紧耦合的是因为分布式的通信开销抵消了throughput。 : 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识? : 你的脑袋真是一团浆糊。
|
T********i 发帖数: 2416 | 17 你比zhaoce强点有限。也是基本功问题。立此存照好了。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你丢人要丢几次才够?你那个所谓核心就是写commit log,单机打死都超不过 : cassandra cluster. : 那个是任意多个结点的写,你这个是写一个机器,但凡有脑子也知道这个不可能写过。 : 你那个网速上限多少来着?80GB全双工,号称IO是唯一瓶颈对吧?SSD写大文件是可以 : 达到这个速度。但你一个request就几百byte,算800 bytes吧。80GB 是80 * 10^9 / : 800 = 10^8。 : 所以就是每秒1亿次读,1亿次写。IBM拿出最大的机器来都多半没有能撑的住的,你丫 : 那一万块的服务器还想撑得住。下回吹牛之前,好歹先把这些基本数据算一算。
|
g*****g 发帖数: 34805 | 18 得了,你把你每秒写一亿次的机器弄个benchmark大家看看,我就服了。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你又在搅屎!这回没有理所当然了? : 再说一遍。我探讨的理论问题。系统设计要针对问题来。 : 这个问题可以被高度并行化。绝非什么可并行比例低。 : 做成紧耦合的是因为分布式的通信开销抵消了throughput。 : 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识? : 你的脑袋真是一团浆糊。
|
z****e 发帖数: 54598 | 19 “我一开始就说了,对于春运这个特定的问题。”
我们回到春运上去
我再强调一次,app server没有问题
请你不要再“解决”这个问题了
有问题的是web server,ok?
春运没有app server问题你解决什么?
还各种理论,我脑子里的浆糊貌似没您脑子里的多
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你又在搅屎!这回没有理所当然了? : 再说一遍。我探讨的理论问题。系统设计要针对问题来。 : 这个问题可以被高度并行化。绝非什么可并行比例低。 : 做成紧耦合的是因为分布式的通信开销抵消了throughput。 : 这回不提理所当然了,又来一条 scale out比scale up更容易实现难道不是常识? : 你的脑袋真是一团浆糊。
|
z****e 发帖数: 54598 | 20 哈哈,zhaoce至少明白要解决什么问题,魏老师您明白您要解决什么问题了没有?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你比zhaoce强点有限。也是基本功问题。立此存照好了。
|
|
|
g*****g 发帖数: 34805 | 21 哈哈,要土遁了?你把每秒写一亿次的机器弄出来大家瞅瞅,别光说不练呀?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你比zhaoce强点有限。也是基本功问题。立此存照好了。
|
T********i 发帖数: 2416 | 22 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。
而且过程中接二连三暴露你的无知。你何苦?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你那个所谓的问题压根不存在 : 你在讨论什么问题? : 或者说你的解决方案到底要解决什么问题? : 没有问题你解决什么?
|
z****e 发帖数: 54598 | 23 游戏规则怎么还成你定的了?
好一个又当裁判又当运动员的魏老师
你就说说你这种游戏规则,谁能跟你玩下去吧?
你要解决春运问题,好歹也弄明白问题在哪里吧?
对不对?问题定位都有问题,你说你来做,会有什么不同?
网站该崩还是崩了,你怎么让其不同?您穿越回去也白搭呀
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。 : 而且过程中接二连三暴露你的无知。你何苦?
|
g*****g 发帖数: 34805 | 24 你就正面回答一下,我推算出你的机器每秒能写一亿次,到底对不对?
如果对的话,能不能给benchmark一个。不用任何商业逻辑,纯写,
10行程序的事。你弄出来我就服。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。 : 而且过程中接二连三暴露你的无知。你何苦?
|
z****e 发帖数: 54598 | 25 老师,这是你原文标题:
● 很多东东要是我来设计,会很不一样(195b)
那现在春运问题是网站崩了,如果你不解决这个问题
网站一样会崩,请问不同点在哪?
我是没看出有啥不同的,一样挂啊
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。 : 而且过程中接二连三暴露你的无知。你何苦?
|
T********i 发帖数: 2416 | 26 请你不要继续丢丑了。
1。transaction log有transaction才能generate。
2。80G是throughput上限。
3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证
availability。
4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一
秒钟内同时买票。发动全国人民陪我玩?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你就正面回答一下,我推算出你的机器每秒能写一亿次,到底对不对? : 如果对的话,能不能给benchmark一个。不用任何商业逻辑,纯写, : 10行程序的事。你弄出来我就服。
|
z****e 发帖数: 54598 | 27 hot standby是别人加的
老师你不要乱加机器啊
你这是单机,单机系统
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请你不要继续丢丑了。 : 1。transaction log有transaction才能generate。 : 2。80G是throughput上限。 : 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证 : availability。 : 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一 : 秒钟内同时买票。发动全国人民陪我玩?
|
T********i 发帖数: 2416 | 28 你这样颠倒黑白就是不要脸了。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : hot standby是别人加的 : 老师你不要乱加机器啊 : 你这是单机,单机系统
|
z****e 发帖数: 54598 | 29 牛又不是我吹的
你自己说的预算1万到2万
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你这样颠倒黑白就是不要脸了。
|
T********i 发帖数: 2416 | 30 一台机器1万到两万。我何时说预算了。你既然指控就要举证。否则就是撒泼。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 牛又不是我吹的 : 你自己说的预算1万到2万
|
|
|
g*****g 发帖数: 34805 | 31 现在知道自己傻逼了?网络IO瓶颈是系统throughput的唯一瓶颈是你吹的,不是我吹的,
拉出来了现在又要吃回去了?很好,现在知道单机磁盘IO是系统瓶颈了。你继续来说一
说你的
单机写log怎么比一个Cassandra cluster快吧。你写的是一台机器,我提的这可是随机
的去
写100个机器,你throughput还能更高?
装逼有点限度,你丫连基本的常识都没有,开口就一句分布式不能比单机throughput更
高。
我老懒得跟你计较罢了。
再说一下这个次数,每秒1亿次大约不会出现。顶峰每秒100万次还是有可能出现的,
哪怕每秒10万次你那1万刀的机器都顶不住。你不信就继续benchmark。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请你不要继续丢丑了。 : 1。transaction log有transaction才能generate。 : 2。80G是throughput上限。 : 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证 : availability。 : 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一 : 秒钟内同时买票。发动全国人民陪我玩?
|
z****e 发帖数: 54598 | 32 那你这么说的话,我挂五百台机器
也没啥特别难的不是?淘宝和yahoo现在多少台?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一台机器1万到两万。我何时说预算了。你既然指控就要举证。否则就是撒泼。
|
b*******s 发帖数: 5216 | 33 他的系统,完全可以按车次拆分,锁定也不是整列火车的全局锁定
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 因为你设计的系统可以并行的比例太低 : 所以无法被并行,话说你这种设计难道不是大忌? : scale out比scale up更容易实现难道不是常识?
|
h*****a 发帖数: 1718 | 34 魏老师,先说我个人觉得你的设计不错,让我学到了东西。
至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack.
一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐
怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请你不要继续丢丑了。 : 1。transaction log有transaction才能generate。 : 2。80G是throughput上限。 : 3。正因为网络比硬盘快不能同步写才要多机hot standby同步网络复制保证 : availability。 : 4。你要达到极限要先有能力generate这些transaction出来。每秒1亿次,要1亿人在一 : 秒钟内同时买票。发动全国人民陪我玩?
|
z****e 发帖数: 54598 | 35 来,回答问题:铁道部12306网站出的是什么问题?
【在 b*******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他的系统,完全可以按车次拆分,锁定也不是整列火车的全局锁定
|
T********i 发帖数: 2416 | 36 写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。
至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘?
给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么?
的,
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在知道自己傻逼了?网络IO瓶颈是系统throughput的唯一瓶颈是你吹的,不是我吹的, : 拉出来了现在又要吃回去了?很好,现在知道单机磁盘IO是系统瓶颈了。你继续来说一 : 说你的 : 单机写log怎么比一个Cassandra cluster快吧。你写的是一台机器,我提的这可是随机 : 的去 : 写100个机器,你throughput还能更高? : 装逼有点限度,你丫连基本的常识都没有,开口就一句分布式不能比单机throughput更 : 高。 : 我老懒得跟你计较罢了。 : 再说一下这个次数,每秒1亿次大约不会出现。顶峰每秒100万次还是有可能出现的,
|
g*****g 发帖数: 34805 | 37 一万块钱的机器,我觉得能撑住的写上限也就一万次/秒。10万次多半要挂。
【在 h*****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 魏老师,先说我个人觉得你的设计不错,让我学到了东西。 : 至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack. : 一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐 : 怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?
|
h*****a 发帖数: 1718 | 38 这也是我好奇的部分。我对高性能机器不熟,1万块钱的机器大概是什么配置?
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一万块钱的机器,我觉得能撑住的写上限也就一万次/秒。10万次多半要挂。
|
z****e 发帖数: 54598 | 39 同步写到其他机器上,这本身就是一个很牛逼的要求
对吧?
我做了一个小demo,去
http://www.trifice.com
上可以下载
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。 : 至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘? : 给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么? : : 的,
|
g*****g 发帖数: 34805 | 40 啥?你是单机,另外一个机器只是hot standby,复制是后台异步进行的。你要是
同步写俩机器,那就更慢了。
不管咋说,你的这个单机是要写所有数据到磁盘上的。从来没有写网络这种说法,
网络是存不了东西的,你不是疯了吧?要写了,ack了,才叫写。没写就ack是不能保证
不出事的,没有缓冲慢慢写还能保证可靠性的。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 写网络比写磁盘靠谱知道么?同步写到网络上其它机器high availability就完成了。 : 至于写磁盘是常识。难道我写到网络上会忘了慢慢写磁盘? : 给你留一个家庭作业。只要写到网络上,磁盘IO就永远不是瓶颈!为什么? : : 的,
|
|
|
g*****g 发帖数: 34805 | 41 你自己的workstation啥能力大概有概念吧,1000刀。1万刀的机器不会有那个机器10倍
性能。
【在 h*****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这也是我好奇的部分。我对高性能机器不熟,1万块钱的机器大概是什么配置?
|
T********i 发帖数: 2416 | 42 答案很简单。这个设计本身是和位置无关的。既可以做local high availability也可
以做长距离的。
远程复制同步不现实。做异步复制。我也可以做。而且现在我就能做。
至于突发事件down掉的风险。我不考虑。小概率事件。即使没外在灾害,我自己的代码
也可能崩溃。如何动态管理未执行订单的风险,是另外的模块。
风险控制住就好了。
【在 h*****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 魏老师,先说我个人觉得你的设计不错,让我学到了东西。 : 至于这个每秒1亿次的transation,正常用户不能生成出来,不过可能有DDos attack. : 一直还想问,这样的单机设计可以保证本地high availability,那要遇到火灾地震恐 : 怖袭击这样的突发事件是不是就要down掉?HFT系统在设计的时候考虑这些因素么?
|
g*****g 发帖数: 34805 | 43 你就解释一下什么叫写网络吧,您老已经开始发明词汇了。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 答案很简单。这个设计本身是和位置无关的。既可以做local high availability也可 : 以做长距离的。 : 远程复制同步不现实。做异步复制。我也可以做。而且现在我就能做。 : 至于突发事件down掉的风险。我不考虑。小概率事件。即使没外在灾害,我自己的代码 : 也可能崩溃。如何动态管理未执行订单的风险,是另外的模块。 : 风险控制住就好了。
|
P********l 发帖数: 452 | 44 魏老师自己划的道, 你总得自己接招吧.
你得先准确描述你的系统设计, 可以小修改. 然后才能讨论. 这不是说着说着说乱了.
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我一开始已经给出问题的假设。这是游戏规则。你可以不参与游戏。搅屎就不对了。 : 而且过程中接二连三暴露你的无知。你何苦?
|
T********i 发帖数: 2416 | 45 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。
至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 啥?你是单机,另外一个机器只是hot standby,复制是后台异步进行的。你要是 : 同步写俩机器,那就更慢了。 : 不管咋说,你的这个单机是要写所有数据到磁盘上的。从来没有写网络这种说法, : 网络是存不了东西的,你不是疯了吧?要写了,ack了,才叫写。没写就ack是不能保证 : 不出事的,没有缓冲慢慢写还能保证可靠性的。
|
g*****g 发帖数: 34805 | 46 LOL,你也太丢人了。那是网卡ack,没有写磁盘。你丫不写磁盘就ack是不能保证数据
可靠性的。
一断电就完蛋了。别跟我说一局域网有俩机器就不怕断电了。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。 : 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。
|
P********l 发帖数: 452 | 47 这等于说:我就是牛来就是牛。
洗洗睡了。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。 : 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。
|
T********i 发帖数: 2416 | 48 我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁
丢人?
难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LOL,你也太丢人了。那是网卡ack,没有写磁盘。你丫不写磁盘就ack是不能保证数据 : 可靠性的。 : 一断电就完蛋了。别跟我说一局域网有俩机器就不怕断电了。
|
g*****g 发帖数: 34805 | 49 魏老师发现throughput远远达不到设计要求,改玩内存数据库,看天吃饭,祈祷
不断电了。 |
b***i 发帖数: 3043 | 50 你这个不经过浏览器吗?直接某个socket,自己发布一个client程序?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 同步写俩机器。有ack算数。每个10G网卡大约每秒2.5m transaction没压力。 : 至于怎么做到的不能告诉你。不过可以给你网卡销售商提供的第三方benchmark报告。
|
|
|
g*****g 发帖数: 34805 | 51 当然是100%保持,如果你不知道cassandra是怎么工作,自己去读一读吧。
写一个结点能到1000,写100个就可以接近10万。
你丫就这点货,还有脸吹一个DB throughput秒杀Casandra。完全不懂得scale out怎么
回事。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁 : 丢人? : 难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。
|
T********i 发帖数: 2416 | 52 啥叫第三方benchmark报告?就是有第三方做benchmark,能够复制出这个messages/
second的结果。
包括机器配置,源代码和编译script。
就是说2.5 millions messages rtt小菜。都是5 million以上的。这些是别人做的。我
可以说。
至于我怎么做的。我不可以说。
【在 P********l 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这等于说:我就是牛来就是牛。 : 洗洗睡了。
|
g*****g 发帖数: 34805 | |
z****e 发帖数: 54598 | 54 魏老师
听说早些年你也在java版混的
是不是这些年不怎么学习
不知道java这些年都发展成什么样了?
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我的系统对于这么大量的transaction至少能做到local HA。你的系统根本做不到,谁 : 丢人? : 难道你的系统断电100%状态保存?你写磁盘同步,force flush?tps能到千就不错了。
|
T********i 发帖数: 2416 | 55 遗憾的是,这个做成分布式,就是1000。我说了,这个具体问题,分布式很糟糕。你丫
绕来绕去搞不懂。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 当然是100%保持,如果你不知道cassandra是怎么工作,自己去读一读吧。 : 写一个结点能到1000,写100个就可以接近10万。 : 你丫就这点货,还有脸吹一个DB throughput秒杀Casandra。完全不懂得scale out怎么 : 回事。
|
g*****g 发帖数: 34805 | 56 内存数据库吗,我们信还不行吗。就是断个电几百万订单就没了。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 啥叫第三方benchmark报告?就是有第三方做benchmark,能够复制出这个messages/ : second的结果。 : 包括机器配置,源代码和编译script。 : 就是说2.5 millions messages rtt小菜。都是5 million以上的。这些是别人做的。我 : 可以说。 : 至于我怎么做的。我不可以说。
|
g*****g 发帖数: 34805 | 57 很好,打脸来了,你解释一下为什么他们能做到吧。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 遗憾的是,这个做成分布式,就是1000。我说了,这个具体问题,分布式很糟糕。你丫 : 绕来绕去搞不懂。
|
T********i 发帖数: 2416 | 58 和你这攒方案的看来没啥好说的了。算我错了。我高看你了。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 很好,打脸来了,你解释一下为什么他们能做到吧。
|
g*****g 发帖数: 34805 | 59 LOL,秒杀Cassandra是你说的。现在沦落到这个德行,你丫不吹牛会死呀?
我老是攒方案的没错,好歹是全套方案。你就能提出个轮子,
还不如街上就有的免费轮子。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 和你这攒方案的看来没啥好说的了。算我错了。我高看你了。
|
z****e 发帖数: 54598 | 60 我很想知道,魏老师这套,会不会比mongodb强
我赌不如mongodb |
|
|
z****e 发帖数: 54598 | |
z****e 发帖数: 54598 | 62 老师,你还记得原文是怎么写的吗?
你确定你知道什么是web server么?
web server撑不住throughput的确是没错
但是你给出一个核心,连静态页面的response都没有
你让其他人用什么订票?ssh还是telnet?
发信人: TeacherWei (TW), 信区: Programming
标 题: 很多东东要是我来设计,会很不一样
发信站: BBS 未名空间站 (Thu Nov 21 16:14:22 2013, 美东)
比如困扰板上很多人的春运网站。我来做的话内核直接上c++。
一切都是虚的,只有throughput才是实实在在的。
【在 T********i 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 1。我开头就说了假设,全国一盘棋,任何两个节点都有依赖性。而且班次间也有依赖 : 性。这种情况下,号称分布式的性能比单机好,那是基本功有问题。 : 2。我说单机是强调数据紧耦合系统。紧接着我就强调单机不是纯粹单机。有hot : standby。而且能够同步复制。即使如此,性能也远超分布式的设计。本地可靠性有保 : 障。 : 3。你可以cache我的设计为什么不可以?你可以远程复制我的设计为什么不可以?但是 : 远程复制是有代价的。同步复制不可行。异步复制照样可能丢信息。即让马儿跑,又让 : 马儿不吃草,可能吗?就java那个机制,我的实现远程复制也能甩你几条街。现在我就 : 是从纽约异步复制到芝加哥的。 : 4。说我的设计超出容量会崩溃也是没常识。实时系统可以精确控制流量。到上限有些
|
g*****g 发帖数: 34805 | 63 mongodb 值12亿。魏老师1万行的东西就要比mongodb强。我觉得魏老师怎么也值100亿。
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我很想知道,魏老师这套,会不会比mongodb强 : 我赌不如mongodb
|
l*****9 发帖数: 9501 | 64 你和goodbug一头?
发信人: goodbug (好虫), 信区: Programming
标 题: Re: Obamacare website
发信站: BBS 未名空间站 (Fri Nov 22 19:34:48 2013, 美东)
lol, scalability is never an issue on front tier. |
m******t 发帖数: 635 | 65 这么说就没意思了,市值和技术高低基本无关。
亿。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : mongodb 值12亿。魏老师1万行的东西就要比mongodb强。我觉得魏老师怎么也值100亿。
|
m*******l 发帖数: 12782 | 66 不能说无关,只能说相关很弱
【在 m******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这么说就没意思了,市值和技术高低基本无关。 : : 亿。
|
p*****2 发帖数: 21240 | 67
大牛不是觉得web server无所谓吗?随便用什么都好?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : app server没有问题 : 否则售票点不能出票了 : 但是事实是网站挂了,但是售票点继续出票 : 出问题的是web server : 当时网站访问被挤爆了 : 用的是apache web server : 一般而言,一个apache web server并发访问上限是4000个 : 天朝人民要凑够4000个同时访问,小意思 : 所以要对付这个问题,首先先换掉web server : 换成yaws,这个能支撑80,000个并发访问
|
g*****g 发帖数: 34805 | 68 我这么说的意思,就是吹牛皮不上税。魏老师可是拍胸膛写个DB能秒了Cassandra,
我刚才去看了Cassandra刚拿到45M的fund,市值怎么也有个5亿的样子。
魏老师1万行的东西就秒了人家,你信吗?
【在 m******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这么说就没意思了,市值和技术高低基本无关。 : : 亿。
|
m******t 发帖数: 635 | 69 Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像
那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是
marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是
好几个billion级别。
魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像
还是很可能的。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我这么说的意思,就是吹牛皮不上税。魏老师可是拍胸膛写个DB能秒了Cassandra, : 我刚才去看了Cassandra刚拿到45M的fund,市值怎么也有个5亿的样子。 : 魏老师1万行的东西就秒了人家,你信吗?
|
p*****2 发帖数: 21240 | 70
大牛能说说你用mongo碰到什么问题了吗?还有就是网上骂mongo的link能share一下吗
?多谢了。
【在 m******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像 : 那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是 : marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是 : 好几个billion级别。 : 魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像 : 还是很可能的。
|
|
|
z****e 发帖数: 54598 | 71 内存数据库有不被骂的么?
mongodb算是nosql里面很烂的一种
cassandra比mongodb强一万倍
【在 m******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Cassandra没接触过,不好评价,不过MongoDB我去年做过几个项目,真不怎么样。好像 : 那还是请了牛人救火fix的版本,之前的版本更是烂的被人在网上骂。MongoDB也就是 : marketing做的好,类似的还有Instagram和SnapChat,真的有什么NB技术吗?那可都是 : 好几个billion级别。 : 魏老师那个1万行可能是比较吹牛,不过要说魏老师比MongoDB最初那个设计者牛,我像 : 还是很可能的。
|
p*****2 发帖数: 21240 | 72
redis怎么样?
【在 z****e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 内存数据库有不被骂的么? : mongodb算是nosql里面很烂的一种 : cassandra比mongodb强一万倍
|
z****e 发帖数: 54598 | 73 没用过哦,不知道
【在 p*****2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : redis怎么样?
|