由买买提看人间百态

topics

全部话题 - 话题: 并发
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
f*e
发帖数: 6992
1
☆─────────────────────────────────────☆
yakexi (亚克西) 于 (Sun Apr 10 17:59:16 2011, 美东) 提到:
声明一下,我从首页来的,从来没在这里混过,纯打酱油路过。
*5040事件摘要
双方无异议部分:Mihuegg预付现款给Azureray前后共几万,让后者帮其收货,共有若
干笔交易成功。3月22日,Az一大早收货36件,但该天价崩。Mi和Az电话商谈。Mi方offer价格
1130/件, Az方参考前一天成交价要求1300/件。谈判未果。Az单方结帐,按1300算,并发邮件
声明伙伴关系就此结束。Mi方确认邮件。收回现金余款。第一次交易结束。
10几天后,4月6日,Az和Mi又进行了第二次先货后款交易。货发出. Mi少发回货款5040
元。
5040元刚好是 36台机器 x 140元.
主要争议一:3月22日36台机器价格。
-Mihuegg方说法: 机器价格按版上每日最高价。电话商定。
-Azureray方说法:机器价格说好按前日交易价。并提供Mi邮件交易确认铁证 (注:该铁证只证
明交易成... 阅读全帖
d*******r
发帖数: 3299
2
来自主题: JobHunting版 - node.js使用感受 献800题大牛
学到很多!谢谢!! 我其实对各种并发的东西都很感兴趣,只是自己还没时间没能力系
统地全部琢磨一遍。
我一直在想,能不能有一种最好的并发抽象,这种抽象能以一些参数描述大多数的并发
情况。它能应用到:慢到多个host之间的并发,和快到GPU多核之间的并发的场景。那
样的话用起来就方便了。希望这个想法不是nonsense...
这帖子里东西不少,建议二爷整理下你这个帖子里的各种干货,放到你blog上. :)
c****t
发帖数: 19049
3
第一卷 天狮的孤凤 第二章 林古兰
爆炸声、撕裂的哭声、破撞声从数十亿光年外的战场刺进了彦清风的耳膜,虽然还有隐
隐约约的噪音,但是彦清风觉得自己能看到那个遥远的战场。
那是绝望勇士发动的最后突击,柳青云能在此起彼伏的爆炸声中听到舰长们的最后
命令。
“全体船员!开始弃舰,希望你们能顺利回家,吾,达兰斯号舰长柳海,与战舰共
存亡!”
“再见了,我的兄弟们!冰河号驱逐舰,舰长田不喜,战死在这里!”
“上尉杨柳,与冰河号共存亡!”
“护卫舰风雪号,成员开始弃舰,舰长黄威,战死于此!”
“舰长费提,战死在这里!”
“护卫舰铁卫号,所有人员撤退完毕,舰长白直,战死于此!”
越过数十光年的距离,柳青云已经看到了一幅联盟舰队掺败的局面,听着一名名军
官与舰长同他们的舰艇共存亡,他心底的某些情绪突然爆发了。
在溃败之中勇于牺牲的这些人……
他被深深打动了,却不知道怎么来形容,密集的炮声仍然继续着,数十光年之外的
战场大局已定,勇士的牺牲并不能改变什么,但是能让柳青云的心潮澎湃。
是该做些什么,改变一下自己,不要在... 阅读全帖
c****t
发帖数: 19049
4
第一卷 天狮的孤凤 第二章 林古兰
爆炸声、撕裂的哭声、破撞声从数十亿光年外的战场刺进了彦清风的耳膜,虽然还有隐
隐约约的噪音,但是彦清风觉得自己能看到那个遥远的战场。
那是绝望勇士发动的最后突击,柳青云能在此起彼伏的爆炸声中听到舰长们的最后
命令。
“全体船员!开始弃舰,希望你们能顺利回家,吾,达兰斯号舰长柳海,与战舰共
存亡!”
“再见了,我的兄弟们!冰河号驱逐舰,舰长田不喜,战死在这里!”
“上尉杨柳,与冰河号共存亡!”
“护卫舰风雪号,成员开始弃舰,舰长黄威,战死于此!”
“舰长费提,战死在这里!”
“护卫舰铁卫号,所有人员撤退完毕,舰长白直,战死于此!”
越过数十光年的距离,柳青云已经看到了一幅联盟舰队掺败的局面,听着一名名军
官与舰长同他们的舰艇共存亡,他心底的某些情绪突然爆发了。
在溃败之中勇于牺牲的这些人……
他被深深打动了,却不知道怎么来形容,密集的炮声仍然继续着,数十光年之外的
战场大局已定,勇士的牺牲并不能改变什么,但是能让柳青云的心潮澎湃。
是该做些什么,改变一下自己,不要在... 阅读全帖
a****a
发帖数: 5763
5
经过6年时间,4个发行版,苹果终于完成了向64位的迁移,并随着Snow Leopard的发布
推出了解决并行编程问题的Grand Central Dispatch(简称GCD)技术,释放了多核系
统的潜力。
和10.5一样,在10.6 Snow Leopard中,苹果继续利用64位的迁移砍掉了诸多老技术,
很多新技术仅以64位的模式被支持。例如重写的QuickTime X框架,虽然QuickTime X应
用程序以32位和64位的模式发布,但其API仅暴露给64位。另一个例子是Objective-C 2
.1的运行库,快速Vtable调度,新的和C++统一的异常处理模型,以及彻底解决对象的
FBI问题等,都仅限64位程序使用。
内核的64位化
读者应该发现,经过这4个发行版,Mac OS X自下而上地对整个系统向64位迁移。10.3
内核空间提供了64位整数运算的支持。10.4允许程序以64位模式运行在用户空间,并且
提供了64位的libSystem使得开发者可以开发64位的Unix程序,而10.5中系统所有未废
弃的函数库、框架都提供64位版本,到了10.6,所有用户空间的程序,包括... 阅读全帖
c*******0
发帖数: 5247
6
来自主题: Programming版 - 感觉go最无聊的就是

你这里什么结论都是张口就来。
现在越来越多公司后端转Go的根本原因不是什么大并发。而是并发带来的性能提升和类
似于动态语言的编写经验和非常容易的协作维护。
这个世界上后端开发的公司有多少,Go的机会就有多少。至于Go会不会越来越广泛的采
用谁都不好说,但说Go这种做的机会不多,简直就是胡扯。不管是大并发,中并发还是
小并发,Go对于Node的优势不是一点半点。Node唯一的优势就是三五杆枪的团队上
prototype。没有任何别的优势。
m***r
发帖数: 359
7
来自主题: Programming版 - Web技术日报 2015年2月楼
Web技术日报 2015-02-26
@好东西传送门 出品, 过刊见
http://web.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅Web技术日报
更好看的HTML版
http://web.memect.com/archive/2015-02-26/short.html
1) 【高并发Web服务的演变—节约系统内存和CPU】 by @CSDN云计算
关键词:服务器
【问底丨高并发Web服务的演变——节约系统内存和CPU】现在Web系统面对的并发连接
数在近几年呈现指数增长,高并发成为了一种常态,给Web系统带来不小的挑战。一味
地通过增加机器来解决并发量的增长,成本是非常高昂的。结合技术优化方案,才是更
有效的解决方法。 [1] by @Hansion徐汉彬
[1] http://www.csdn.net/article/2015-02-12/2823952
2) 【2015年值得关注的几个WEB技术】 by @人民邮电出版社-信息技术分社
关键词:博客
#程序员阅读#推荐 @exceedhl 的文章《2015... 阅读全帖
z****e
发帖数: 54598
8
来自主题: Programming版 - go几天的一些感受
作为论据,我找到了中文的翻译,但是那个youtub链接失效了
Go语言之父谈Go:大道至简
时间:2012-07-05 15:40 作者:王然
导读:这篇文章是Google首席工程师、Go语言之父Rob Pike自己整理的6月21日在旧金
山给Go SF的演讲稿。Rob提到:Go语言本是以C为原型,以C++为目标设计,但最终却大
相径庭。值得一提的是,这3门语言都曾当选TIOBE年度语言。
几个礼拜之前我被问到:“对于Go语言,最令你惊讶的是什么?”当时我就明确地给出
了答案:“虽然我希望C++程序员能够使用Go作为替代拼,但实际上大部分Go程序员都
是从Python和Ruby转过来的,其中却少有C++程序员。”
我、Ken以及Robert都曾是C++程序员,在我们编写软件时觉得应该设计一门更适合解决
这个问题的编程语言。奇怪的是,其他程序员似乎却不关心。
今天我将说说是什么让我们决定创造Go语言的,及其出乎意料的结果。这里我谈的更多
的会是Go而不是C++,所以即使你不懂C++也没关系。
主旨可以简单地总结为:你更同意Less is more还是Less is less?
这里有一个... 阅读全帖
c********6
发帖数: 322
9
死者做了尸检,报告指出有急性肺水肿,但并没将急性肺水肿定为死亡原因。请大家
看看,同时看看鉴定报告,觉得很冤。先谢过。(有点长)
医治过程描述
2013年5月26日下午,我父亲的干女婿杨春平到我家里耍,父亲提出身体不舒服,
杨春平就说大南街的张医生医术很好,他们一家人都是在张医生诊所看病,跟张医生的
关系很好,劝父亲早点去诊所输液早点好。我就开车和杨春平把父亲送到张天喜诊所看
病(这是我父亲第一次到该诊所就诊)。到张医生诊所大约是当日下午四点二十分,当
时诊所有两个病人在病床上输液。
杨春平给张医生说我父亲(龚定国)感冒了让张医生输液,张医生询问了杨春平病人叫
什么名字、年龄和以前有什么病(医生没有直接询问病人本人姓名、年龄、是什么病)
,杨春平告知了张医生病人有糖尿病。张医生没有做任何检查(没有测体温、没有测血
糖、没有测血压)张医生就在楼下喊他楼上的老婆配哪几样药,张医生老婆配好药从楼
上拿下来后张医生扎针开始输液。开了青霉素,没有做皮试就直接输。
第一瓶液体大概在当天下午4点半左右开始输(从瓶子的大小看是500ml大小的液体,输
的四瓶液体都是同样大小的瓶子,后面几... 阅读全帖
z****e
发帖数: 54598
10
分布式算法跟big data没必然联系
算法是优化,从一个make sense的东西提升效率
但是big data最重要的是你要有办法从不make sense弄成make sense
这个根本不是算法的问题
等make sense了之后,再通过算法分析,找出更优化的算法
让结果结论跑得快一点罢了
分布式算法主要是解决不同nodes之间的冲突问题
因为如果系统nodes多了,如果不同nodes不能保证象单机一样执行的话
那麻烦就大了,分布式算法严格来说也不是特别象单机一样,考虑n^2还是lgn
复杂度这种单机上的算法热点在分布式中用得不多,多数时候都在处理并发冲突
单机现在压根不考虑并发了,asynchronized一来,都无状态处理了
甚至连游戏都不怎么搞并发了,就os还在搞,再往上的并发处理都压给os去做
而分布式算法则天天倒腾如何处理并发,这个层面就不是os层面了
f**e
发帖数: 3343
11
跟你交流真的很困难啊,你一边强调你对这个领域不熟悉,一边用搜索引擎搜一两个细
节希望我去查证。
简单地说:
===========
“就此,腾讯科技向英特尔公司求证,英特尔相关人士表示,詹睿妮在2012年技术信息
峰会演讲中提到,透明计算概念从九十年代末就已提出,美国麻省理工学院有人在做,
清华大学张教授也在做类似工作,“英特尔(不是微软)也和张教授在合作,所以应该
说是一回事。””
详细地说:
==========
透明计算的前世今生——缘起
作者:小兵张三
起疑
听说2014年度国家自然科学一等奖没有空缺,先是高兴,毕竟这是代表国家
实力的奖项,可看完新闻,感觉完全不是那么回事了:“网络路由器之父”、
“颠覆冯·诺依曼体系”、“透明计算”这些大词以前怎么从来没听说过?
众所周知,路由器就是网络设备,不存在什么“网络路由器”,而路由器进
入中国是以思科为代表的。查查维基百科【1】,多协议路由器首次出现于1981
年的Stanford和MIT,发明人分别为William Yeager和Neol Chiappa,而作为路
由器功能的设备,更可追溯到ARPANET建设时期的Interfac... 阅读全帖
f***e
发帖数: 5443
12
来自主题: Military版 - 透明计算的前世今生
透明计算的前世今生——缘起
作者:小兵张三
起疑
听说2014年度国家自然科学一等奖没有空缺,先是高兴,毕竟这是代表国家
实力的奖项,可看完新闻,感觉完全不是那么回事了:“网络路由器之父”、
“颠覆冯·诺依曼体系”、“透明计算”这些大词以前怎么从来没听说过?
众所周知,路由器就是网络设备,不存在什么“网络路由器”,而路由器进
入中国是以思科为代表的。查查维基百科【1】,多协议路由器首次出现于1981
年的Stanford和MIT,发明人分别为William Yeager和Neol Chiappa,而作为路
由器功能的设备,更可追溯到ARPANET建设时期的Interface Message Processor,
跟中国真是扯不上半毛钱关系。
冯·诺依曼体系提出了“存储程序”的概念,是现代计算机的基础。用大白
话来说就是,计算机由中央处理器(CPU)、存储器和输入输出设备三部分构成,
程序加载存放于存储器之中,并通过CPU来执行。此体系的提出,是因为早期的
计算机类似于现在的计算器,只能为单一的用途服务,而基于冯·诺依曼体系设
计的计算机,可以通过编写不同的软件,让计算机具备多样的功能。... 阅读全帖
u***r
发帖数: 4825
13
https://wemp.app/posts/f06a6aec-489f-49e6-bd15-c9c7e254979a
中医也好,西医也罢,我相信两者一定会走到一起的,因为他们的终点是同一个:生命
运行的物理化学规律。
但目前两者之间的巨大鸿沟,不得不让人怀疑,医学到底已经走了多远?回头想想,人
类科学毕竟才刚刚蹒跚起步,不能指望医学能飞多高。
各位收拾一下心境,此篇立意甚高,本小僧欲一举终结“中西医之争”这个掀翻无数友
谊小船的话题。
先申明,我们只在科学范围内讨论医学,别把中医当玄幻,也别把西医当科幻。
生命是什么
这个问题不是咱能回答的,找个巨人的肩膀靠一下,今天这位巨人也算老熟人:薛定谔
,养猫的那位。不认识的小盆友罚抄量子力学一百遍。
古人对生命的理解充满想象,后来西方科学兴起,科学大厦盖的有模有样,于是,一帮
人就尝试用科学去解释生命。
起初有两大派,活力论和机械论。
活力论的本质是生命特殊论,认为生物体内有一种特殊的“活力”物质,支配着生物的
活动。机械论就简单了,认为人就是一台复杂机器,和汽车本质是一样的,只不过“人
”这台机器太复杂,以至于一时半会搞不明白。
活力论和... 阅读全帖
f***e
发帖数: 5443
14
来自主题: WaterWorld版 - 透明计算的前世今生
透明计算的前世今生——缘起
作者:小兵张三
起疑
听说2014年度国家自然科学一等奖没有空缺,先是高兴,毕竟这是代表国家
实力的奖项,可看完新闻,感觉完全不是那么回事了:“网络路由器之父”、
“颠覆冯·诺依曼体系”、“透明计算”这些大词以前怎么从来没听说过?
众所周知,路由器就是网络设备,不存在什么“网络路由器”,而路由器进
入中国是以思科为代表的。查查维基百科【1】,多协议路由器首次出现于1981
年的Stanford和MIT,发明人分别为William Yeager和Neol Chiappa,而作为路
由器功能的设备,更可追溯到ARPANET建设时期的Interface Message Processor,
跟中国真是扯不上半毛钱关系。
冯·诺依曼体系提出了“存储程序”的概念,是现代计算机的基础。用大白
话来说就是,计算机由中央处理器(CPU)、存储器和输入输出设备三部分构成,
程序加载存放于存储器之中,并通过CPU来执行。此体系的提出,是因为早期的
计算机类似于现在的计算器,只能为单一的用途服务,而基于冯·诺依曼体系设
计的计算机,可以通过编写不同的软件,让计算机具备多样的功能。... 阅读全帖
q**w
发帖数: 782
15
中科大-耶鲁联合中心论文被POPL国际会议录用真正实现内地“零的突破”
2011-10-08
日前,中科大-耶鲁高可信软件联合研究中心梁红瑾、冯新宇和付明的论文A Rely
-Guarantee-Based Simulation for Verifying Concurrent Program Transformations
被第39届 ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages
(简称POPL)录用。这是联合研究中心的研究迈入国际一流水平的里程碑。此前,中国
大陆无任何单位以第一作者单位的身份在POPL上发表过论文。梁红瑾等的论文的发表,
将使得中国科学技术大学成为大陆第一个以第一单位在POPL上发表论文的高校和科研院
所,真正实现了“零的突破”。
POPL是编程语言领域历史最久、水平最高的国际会议,它是讨论编程语言和编程系
统最新突破的最主要论坛,内容涵盖编程语言的理论、编程语言的设计、编译器技术、
程序分析、程序验证、可信软件等众多研究领域。国际期刊和会议的各种分区方法都把
POPL放在该... 阅读全帖
j**********i
发帖数: 3758
16
5万个并发,一个并发传送算5k的数据量。就是50k x 5k=250G,
看看最快的总线传输量和双千兆网卡的限制。哪里来的便宜的6台硬件服务器呢?
吹牛。还是人家谷歌高出许多。
5万个并发,一个并发算200byte,上手机网站还差不多。
f****4
发帖数: 1359
17
开始蛮生气的,先写的私货部分。但写啊写啊,气也消得差不多了。删了也可惜,修改
也觉得麻烦,干脆移到私货部分,扔个想法在开头。
我在这板块上也不是为了和谁过不去,看到点想法,觉得可以讨论一下的人,估计不止
我一个。。。
要是想嘲笑我背景的呢,那也没什么,开头我就说了:我就强在做项目。但那个
ThatOne,你既然啥都明白,那就给个补丁,降低一下排队时间。谢谢~(我一直在等
这个补丁,要是实在等不到也就算了)
之前有人嬉笑打趣,说最方便不如让TG调查,有多少人要买春运火车票的,然后送票上
门。但其实不用这么麻烦,既然97年(?)就已经有了票务系统,当这个车次已经抵达
终点了,这个票务信息就已经没什么用处了。不过,应该可以废物利用依稀:现在票上
有身份证号码,知道你的起点和终点,还知道你这个车次是什么时候的(要是能有什么
时候买票的信息更好)。这些就是元数据,大数据+数据挖掘。也没有时间限制,一台
主机慢慢跑,或者上分布式的,都行。每个月跑一次,修正模型。到春运那会应该能大
致估算出春运流量,从哪去哪。因为农民工春节之后出来打工,春节前总是要回去的。
讨厌的是城市工作的白领夫妻,今年可能去婆... 阅读全帖
c******3
发帖数: 296
18
来自主题: Programming版 - 分布式分票算法
》每台机器管一个车次&车票类型(硬座,卧铺,站票)的分票。
》3000机器因为有冷门车次不均匀算打个折,算1000的并发度就好。
你处理的问题是单机1000的并发?老魏考虑的是单机1000万的并发。你们是在讨论同一
问题吗?
照这样假设,几十年前的486就可以了,每台机器上一个MSAccess都嫌多,就一
flatfile好了。
其实堆机器也可以。但要考虑到热门车次上百万人抢票的。你的方按也没有把同一车次
分到不同个机器上。所以你和老魏本质上都在谈论单机。但你的假设不可行,因为热门
车次抢票的会到上百万并发。冷门车次大家都不会在这废口舌。
所以你还是应该回到本质问题:如何设计卖票系统能处理百万人次同时请求同一车次。
p*****2
发帖数: 21240
19
来自主题: Programming版 - 谈谈为什么上scala
一年之前被考虑过scala,当时很容易决定不上
1. 感觉太复杂,没有信心能handle
2. 开发速度不敢保证
3. node用了一段时间,感觉很好用,开发效率很高
4. 学了一下Clojure,发觉比scala简单很多,上scala不如上clojure
这样我们的storm上了clojure,web server 和 backend上了node。我们的service可以
handle 5M RPM,server response time 5 ms.
有了一年多的coffee/JS和clojure的经验,再回过头来看scala已经觉得比较容易了。
另外Spark很明显是未来的趋势也是使用scala的一大直接推动力。
我们的数据量越来越多,算法越来越复杂,node这个情况已经不太适合做后台了,因此
我这段时间主要研究寻找另外一种支持高并发的语言。选Scala有一下几个原因
1. 当然是spark了, spark streaming 可以替代storm,因此scala一个语言就可以搞
定了
2. go的语言设计实在是不符合我们的胃口,虽然并发做的很吸引人
3. haskell的并发看样... 阅读全帖
z****e
发帖数: 54598
20
来自主题: Programming版 - 用python写多线程。刘姥姥都笑了
科学计算跟并发两回事呀
科学计算因为以前很多都是c/fortran写的
一时半会,只能说先挂上再说了
python是胶水,所以用得多,并不是说python有多好
真用python去写,那就痛苦了
现在主要是都往jvm上搬,所以用scala比较多
而且你说的并发也看领域呀
不是所有的并发都是一个模式的呀
具体一点,比如app上的并发,比如网游的服务器
比如web server
z****e
发帖数: 54598
21
来自主题: Programming版 - 用python写多线程。刘姥姥都笑了
激动啥,我已经从学校回来了
弄了一个16vcpu,32g的instance
然后我们爆了3000个threads
用另外20个instances,每个是10vcpu,每个instance爆15个threads
每个thread控制一个unit,互相射
然后把hp调高,这样短时间内不会射死对方,同时用随机数降低活动频率
如果不控制,电脑计算飞快,很快就会发送一堆请求,人脑没那么灵活
.1秒能发送一个命令就不错了
最后并没有出现什么延迟的问题
server side跟我预想的一样,因为不需要处理图像和ai
所以复杂度大幅降低,33ms的主循环可以搞定
绝大多数时间在处理网络的io上,广播时候用async做点处理
这样循环就不会被打断,真正的主线程处理逻辑操作需要时间其实很少
33ms没啥问题,当然复杂度越高,能支持的并发数也就越少
你可以说我们做的游戏复杂度偏低
但是我不认为网游server需要多高的复杂度,哪怕是3d建模,也不会有多复杂
x,y,z三个维度,没啥难的,你非要做复杂来,那没办法
我搞定鸟,下次把这个写在我们的项目说明上
你不信就算了,我对这个话题已经没啥兴趣了
你就是嘴巴上... 阅读全帖
p*****2
发帖数: 21240
22
来自主题: Programming版 - go几天的一些感受
首先感觉Go受到C,Java,Javascript,Scala/Haskell的影响,但是从精神上主要是C
的影响,这也是人所共知的,所以确实是个升级版的C语言。看得出来作者是较强烈
against Java的,这点比较赞。JS和Scala/Haskell的影响主要是functional和一些语
法特性上,但是显然functional的影响比较浅显,甚至还不如对Java8的影响大。
先说说优点
1. 并发设计的十分强大,在我用过的几种语言中绝对是排行首位,也是go的最大卖点。
2. 简化了OO,抛弃了OO很多糟粕。
3. 简单易学,大众语言, 适合团队作战。
4. 确实在不少地方对C语言进行了改良。
再说说缺点
1. 最大的问题就是error handling部分,延续了C的处理方式,在语法部分尝试去简化
,但是感觉效果其实并不是很明显。
2. 因为#1,使得一个函数里会出现很多的return,可读性比较差。但是由于加入了
defer,使得问题没有在C里面那么严重,习惯了也不是不能接受。
3. goto感觉被阉割了,C语言里的一些技巧很难使用,感觉goto的用处没那么大了。当
然这也不... 阅读全帖
g*****g
发帖数: 34805
23
来自主题: Programming版 - FP更接近人的思维
供求关系造成编程人员短缺,这就更决定了流行的语言是简单的,无歧义的,这样编程
门槛低。而简洁根本是无关紧要的。这就如白话文对比文言文。
并发对FP的需要被人为夸大了。高用户数的高并发并不等于并发复杂,因为大多数互联
网应
用里用户之间没有协作关系,没有调度的问题。今天有C*之类的轮子在,scale out不
说简单,但是有规范化的做法。在Spark之类的类库上写点脚本的,根本跟高并发全无
关系。当然还是得有人去写Spark,写这样的类库FP还是有优势,但这个是极小的一个
市场。
f********r
发帖数: 304
24
来自主题: Programming版 - Spark RDD

money>
16
你还是没有细读我上面的回文啊。并发数目和你的partition数目无关。并发数目之取
决于你的exeuctor数目和executor core数目。如果你的配置是5node4core那么并发数
目就是20,也就是20条thread并行执行20task。假如说你的cpu只有2core,你却设置成
4,那么没两条thread要share一个core,实际并发只有10。这就是为什么total
executor core的数目和你的cluster total 物理core的数目要对应。当然一般情况还
应该留一个core给其他service比如node manager,history server etc。
如果你在reducebykey阶段设置100个partition但是实际有200个不同的名字,那每个
task理论上会处理2个名字。但这不是一定保证的,因为你的data可能是skew的。比如
有的名字对应上千个money,有的只对应一两个。每个task上的任务必须是顺序执行的
,应为只有一条thread。
d******e
发帖数: 2265
25
来自主题: Programming版 - go很牛啊。这个10ms 非常快了。
Repustate向世界各地的企业和组织提供文本分析服务。随着公司的发展,他们每天处
理的文本段数量从5亿增加到10亿,其中包括Tweet、新闻文章、博客评论、用户反馈等
。大规模的文本分析非常困难,因为很少会出现两段文本完全相同的情况,所以无法利
用缓存来提高效率。不过,它可以将大段的文本分成多个句子,然后并发分析每个句子
。近日,Repustate官方博客发表了一篇博文,介绍其API的演进过程。
Repustate API的第一个版本是用Django编写的。他们构建了一个原型,并以此为基础
推出了他们的服务。但每个Django请求/响应周期的开销太大。随着API访问量增加,可
靠性问题凸显,使用Amazon服务的成本也大大增加。于是,他们开始寻找一种Python代
替方案,并选择了Flask。Flask几乎是现成的API,而且是轻量级的。不过,他们稍后
又发现了Falcon。他们非常喜欢这个框架,因为它使用Cython进行了优化,速度比
Django要快许多,而且它还遵循简洁REST原则。事实证明,Falcon是一个很好的补救方
案。Repustate的平均响应时间缩短了,故障和支... 阅读全帖
z****e
发帖数: 54598
26
来自主题: Programming版 - 继续,好虫这个赌约我接了

够。
才几十个?并发上万,也就是几千个connections几乎同时到才对
否则叫并发上万?那叫并发上几十,不叫并发上万好吧?
z****e
发帖数: 54598
27
来自主题: Programming版 - 继续,好虫这个赌约我接了

对啊,并发数要谈好
你一个连接只准一张票的话
这里并发不过几百
这点并发有什么意义?
就是因为你连接数量只有200-500
所以每次必然是多张票
要不然怎么模拟?
总共并发不过200-500的话,这种数量级随便一个东西都能做
要你干嘛?
z****e
发帖数: 54598
28
来自主题: Programming版 - 出票正确率的定义,赵,姜请进。
在任何环境下,你什么都不做,自然是最快的
效果自然也是最差的,并发当然有意义
正是因为并发,所以导致你可选择的组合变多
比如abc同时并发,你可以选择ba,也可以选择ca等等
正是由于不同组合的存在,才使得最优解变得有意义起来
否则强制排队,就一种组合,要你做什么?
你就跑一个线程,然后不停滴+1,这个是傻瓜都能写的好吧?
对于固定顺序的结果当然是固定的
死结在固定顺序上,并发意味着顺序可以打乱,你自由组合
这才是难点好吧?否则做什么?计数器真没啥意义
c***s
发帖数: 70028
29
强制上环、结扎、流产、引产被捆绑在“计划生育”的无敌战车上横行了30年,不知损害了多少民众的健康和生命,也不知还要残害多久。被强制节育后深受各种后遗症折磨的普通民众被夺走了太多东西。
近日,媒体爆出陕西镇坪县怀有7月身孕的冯建梅因交不起4万元罚款,竟被计生人员强行暴力引产的事件。人们又一次强烈感受到了计划生育强制人流、绝育的惨无人道。
长期以来,计生部门只津津乐道计划生育取得的“巨大成就”,而对强制节育给国人造成的伤害则遮遮掩掩,或予以回避,或轻描淡写。计划生育捆绑人工流(引)产、强制结扎究竟让老百姓付出了怎样的代价呢?
一、强制流产、绝育害苦了中国女性!
在中国,妇女是避孕节育的主力军,避孕手术85%以上是女性做的。然而,基层计生部门只管“上环、结扎、引流产”,对由此引发的妇女身体、心理和家庭生活方面的严重问题却很少关注。上个世纪80年代以来强力推行“一环二扎”,让女性深受其害,涉及人数与引发问题之多,影响之深,远远超乎我们的想象。
(一)强制上环:僵硬的政策让最仁慈的节育措施也有害
1980年代初至今,根据计划生育政策规定,凡是生过一个孩子的妇女,都必须上环(在女性体内安装宫内节育... 阅读全帖
c***s
发帖数: 70028
30
昨天,央视《法治在线》栏目播出了周克华作案前在银行周围踩点的多段视频。截屏图
昨天,央视《法治在线》栏目播出了周克华作案前在银行周围踩点的多段视频。截屏图
早报讯 8月22日,悍匪周克华被击毙后第8天,公安部、重庆市委市政府举行周克华案侦破表彰大会,约300人受到奖励,重庆市公安局记集体一等功。
同一天,在重庆“8·10”枪击案中受重伤的廖德应,因伤情过重,并发多器官功能衰竭,经全力抢救无效,不幸离世,留下妻子和一双年幼的儿女。周克华虽已被击毙,但他带来的伤害远没有结束……
还是在这一天,央视《法治在线》栏目对参与周克华案侦破的公安部首席特邀刑侦专家乌国庆进行了访谈,节目中,乌国庆对案件侦破的台前幕后进行了介绍,数段周克华作案前到银行周围踩点的视频一并被曝光。
8月10日9时34分,周克华在重庆市沙坪坝区凤鸣山康居苑中国银行储蓄所门前持枪抢劫,共打死1人、打伤2人后逃走。约半小时后,在枪击案中受伤的两位伤员廖某和马某,先后被送往新桥医院急诊科救治。
8月14日6点50分,公安部A级通缉犯周克华在重庆沙坪坝区童家桥被公安民警成功击毙,这次苏湘渝系列持枪抢劫杀人案件成功告破。
昨天,年过... 阅读全帖
a***s
发帖数: 12296
31
在现实世界中因为胖而自卑的女孩在网上找到了自己的人生价值。然而,为了赚钱,她竟然在网上招募别的女孩来进行淫秽表演,收取观看者的“会员费”,以此获利。近日,这名女孩被吴江区人民法院以组织淫秽表演罪一审判处有期徒刑4年,并处罚金人民币4000元。据了解,这是吴江法院审结的首起通过网络组织淫秽表演的案件。
她因为胖变得自闭
转而在网上找“价值”
莹莹今年26岁,在校读书期间,就因为身材肥胖常受人欺负,养成了封闭自卑的性格。初中毕业后,她没有继续升学,天天沉浸在网络世界。在她开设的QQ群里,她乐于为网友服务,网友也听从她的安排,很有现实世界里从未体会到的成就感。
但天天上网不工作,就没有收入,生活难以为继。于是,她在上网的过程中逐渐发现了一条生财之道,那就是通过组织表演来收取会员费用。
去年3月,莹莹建了两个QQ群,一个是体验群,一个是总群。体验群是免费进入的,而总群则是收费的,会员需交费100元才能加入。莹莹会安排一些“秀女”定时进行淫秽表演。
组织淫秽表演罪
最高可处十年以下有期徒刑
2015年8月期间,莹莹以上述方法先后组织淫秽表演5次,每次观看的网友有数十人。公安网监部门在监测到上述情... 阅读全帖
g**1
发帖数: 10330
32
http://news.163.com/13/0808/13/95ORL36F0001124J_all.html#p1
梦鸽:杨某主动抚摸儿子下体挑逗促成性交易(全文)
2013-08-08 13:44:23 来源: 法制晚报(北京)
昨天,本报报道李某某母亲梦鸽女士8月6日亲赴北京市公安局报案,对GLOBAL夜半酒吧
值班经理张光耀等人涉嫌介绍卖淫和敲诈勒索的犯罪事实,正式提出刑事控告。
今天上午,梦鸽通过法制晚报独家公开针对酒吧值班经理等人的控告信内容。梦鸽女士
称“无意为儿子作任何开脱,只要求还原一个真相”,并请求北京市公安局立案侦查、
严肃处理。
梦鸽:无意为儿子开脱 控告细节均有证据佐证
今年2月,李某某等5人涉嫌强奸案被媒体曝光后,该案一直成为社会和舆论关注的热点
刑事案件。今年7月,北京市海淀检察院以李某某等5人涉嫌强奸罪,向海淀法院提起公
诉。
8月6日上午,梦鸽女士前往北京市公安局报案,正式提交《关于对张某等人涉嫌介绍卖
淫和敲诈勒索犯罪事实的控告函》,恳请警方对相关人员犯罪事实立案侦查。警方接收
了立案材料,但并未当场决定是否立案。
在今天公开的这份控告信中,梦鸽将... 阅读全帖
m********3
发帖数: 3280
33
强制节育三十年 害苦多少中国人
长期以来,计生部门只津津乐道计划生育取得的“巨大成就”,而对强制节育给国
人造成的伤害则遮遮掩掩,或予以回避,或轻描淡写。计划生育捆绑人工流(引)产、
强制结扎究竟让老百姓付出了怎样的代价呢?
一、强制流产、绝育害苦了中国女性!
在中国,妇女是避孕节育的主力军,避孕手术85%以上是女性做的。然而,基层计
生部门只管“上环、结扎、引流产”,对由此引发的妇女身体、心理和家庭生活方面的
严重问题却很少关注。上个世纪80年代以来强力推行“一环二扎”,让女性深受其害,
涉及人数与引发问题之多,影响之深,远远超乎我们的想象。
(一)强制上环:僵硬的政策让最仁慈的节育措施也有害
1980年代初至今,根据计划生育政策规定,凡是生过一个孩子的妇女,都必须上环
(在女性体内安装宫内节育器——“避孕环”用以避孕)。上环原本是相对安全可靠的
长效避孕措施,但在强制安装的情况下,由于政策僵硬、手术粗糙、卫生条件差等原因
,上环严重损害了一些妇女的身心健康。
1、上环时间过长,甚至跟肉长到了一起
有些地方的计生条例规定,农村妇女生育一胎后,必须上环直到50岁,而且严格规
定未经批准... 阅读全帖
z****e
发帖数: 54598
34

计算机语言其实很简单啊
就是把机器能够理解的各种指令,翻译成人能够理解的语言
最早无非01010000111这些,然后有了汇编,就是指令集嘛
但是看指令多累啊,所以有了操作系统unix和c
但是操作系统和c主要是解决cpu的问题
对于cpu基本上封装得差不多了,但是对于内存呢
c封装得不彻底,就是人还是要手工去操作内存,释放内存这些
很烦,而且容易错,但是在c那个年代,没有特别好的方法
然后c++加入了点object的概念,因为在c横行的那个年代
软件系统已经开始越做越大了,而因为c对于内存的操作没有做封装和统一管理
导致很多项目因为程序员对内存的操作不当,而失败
当时的数据是90%以上大型项目是失败的
包括james gosling本人做的那个c++项目
搞不定,疯了,于是sun那批人就凑一起,说,我们来设计一种新的语言
以解决这些常见的问题,然后就有了java和jvm
jvm其实就是操作系统的扩展,无非就是做了几件所有项目都会遇到的问题
一个是跨平台,把所有操作系统无差别对待,让软件摆脱对于操作系统的依赖
程序员可以不在乎什么操作系统,你可以在unix上编译,然后放到window... 阅读全帖
f***y
发帖数: 4447
35
https://www.enmotech.com/web/detail/1/724/2.html
导读:日前,华为公司在京面向全球发布了人工智能原生(AI-Native)数据库GaussDB和
业界性能的分布式存储FusionStorage 8.0,将多年的AI技术和能力以及数据库经验融
入到新品,实现很多创新性突破,比如人工智能技术融入分布式数据库的全生命周期、
一套存储可同时支持块、文件、对象、HDFS协议等。
其中,最为标杆性的场景应用实属招商银行,在实践中:
华为GaussDB管理数据容量提升10倍,AZ内故障恢复速度提升30倍。以故障恢复为例,
GaussDB的RTO时间小于1秒,而其他厂商则需要30秒;
FusionStorage 8.0在招行,部署渠道接入、开发测试、VDI以及大数据系统,一套存储
替代原有4种存储设备,节省40%的TCO,业务上线速度提升9倍。其次,将人工智能技术
融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测和故障定位等
方面实现智能运维管理,实现云上云下协同。再者,分布式存储性能业界第一,单节点
性能高达16.8万每秒读写速度(IO... 阅读全帖
a********1
发帖数: 89
36
看到了斑竹的置顶声明,但似乎这里最近还有不少有关法轮功的文章,所以冒昧一贴,
在此仅请斑竹谅解,这帖意在劝善救人,谢谢
更多真相, 请到真相之光俱乐部
http://www.mitbbs.com/club_bbsdoc2/everybodydeservestruth_0.htm
【明慧网二零一三年十二月十日】(接上文)
(六)酷刑之超负荷劳役
本报告调查的3653个致死案例中,共有6%的法轮功学员221个案例在最后一次致死迫害
中受到超负荷劳役迫害。在221位被超负荷劳役迫害的法轮功学员中,共有49位因此死
亡,超负荷劳役致死率高达22%。
在221位被超负荷劳役迫害法轮功学员中,我们统计到114例文献有记录中共所使用的劳
役手段,结果如下:
47%法轮功学员在最后一次致死迫害中被强制每天劳役10个小时以上;
32%法轮功学员在最后一次致死迫害中在身体被中共迫害致极度虚弱或严重病症情况下
,仍被强迫劳役;
据我们的不完全统计,25%法轮功学员在最后一次致死迫害中被迫从事体力活,6%从事
的是化工类毒害身体的活,5%从事手工活。
案例1:形同电影《抓壮丁》:岳凯(男,29岁),吉林省榆树... 阅读全帖
z****e
发帖数: 54598
37
google了一下,也不是太难
1.没有要求实现方法的interface统一叫做maker interface,本意是用这种方式告诉执
行的系统以关联一些原数据,比如一般情况下,大多数类是不会serializable,也就是
在不同虚拟机之间传递,会导致问题,所以要想让这个类在不同虚拟机之类传输正确,
就需要你去implements serializable这个接口,但是这个接口只是一个声明,不强制
要求你做任何事,系统看到这个interface之后,就会执行相关的操作,类似的还有
cloneable等等
2.java.util.concurrent
就是对于很多并发控制的优化
比如hashtable和hashmap
hashmap不是synchronized
但是hashtable是
所以就造成了hashtable的效率低下
所以后来的趋势就是用hashmap来替换掉hashtable
但是呢,这样做又有些不太安全
所以有必要的话,还是用concurrenthashmap
但是concurrenthashmap并不是synchronized的
或者说它synchronized的层次相... 阅读全帖
h*****a
发帖数: 1718
38
来自主题: JobHunting版 - G电面F电面,居然被问了同一题
hehe, 如果问你这道题的interviewer让你实现thread safe,你说你是应该主动问他是
不是我应该考虑高并发,然后给他一个支持高并发的solution,还是应该直接用
synchronized呢?虽然问题比较模糊,但事实上我觉得既然这是一个比较实际的问题,
而且用circular array的一个前提就是request比较频繁(否则完全可以用double
linked list),那高并发是理所应当的啊。
h*****a
发帖数: 1718
39
来自主题: JobHunting版 - G电面F电面,居然被问了同一题
hehe, 如果问你这道题的interviewer让你实现thread safe,你说你是应该主动问他是
不是我应该考虑高并发,然后给他一个支持高并发的solution,还是应该直接用
synchronized呢?虽然问题比较模糊,但事实上我觉得既然这是一个比较实际的问题,
而且用circular array的一个前提就是request比较频繁(否则完全可以用double
linked list),那高并发是理所应当的啊。
z****e
发帖数: 54598
40
来自主题: JobHunting版 - 一道design题
不过大猩猩,我问你个问题
你这里面确定freq比较少的,比如过去30分钟只出现1次2次的这种
你如何界定?你要删不也要等到30分钟之后才删?
你还是要把这个term以及timestamp保留在内存结构或者某个db什么的里面呀
这题除了heap以外,我觉得就是一个hashmap用来统计次数
最后删除时候会遇到一个并发的问题,而且需要你保存log
这个log用linkedlist也未尝不可,但是每次删除log呢,是一个很费时间的过程
如果用当前thread,会导致整个thread被blocked,所以最好额外启动一个thread
统计完,去保存次数那个hashmap里面扣除你刚删除掉的那些terms的freq的时候
一定会遇到并发冲突的问题,所以需要用到concurrenthashmap
所以我上次就不认为从array开始弄有什么道理,你还不同意我
我觉得这题三个点回答出来
一个priorityqueue,就是min heap的实现
另外一个是concurrenthashmap,考并发
最后一个是timestamp,这个可以扯一下logic clock
最后拼凑起来,就很圆满了
z*******3
发帖数: 13709
41
java多线程有的是各种乱七八糟的轮子帮忙搞多线程
你不需要手写多线程的并发控制
ejb, spring, akka, vert.x随便一个都可以控制住
退一步说,如果你真要自己处理多线程并发处理
用java.util.concurrency这个libs里面的类
自己看,古德霸说的atomic double这些都在那里面
估计不会让你写,而是直接问你比如hashmap vs hastable这种问题
thread safe诸如此类,如果你java基础语法没有问题的话
花点时间在其他东西上,别什么都自己折腾,去看看别人的轮子是怎么跑的
领悟精神,理解原理
对了,如果是银行的话,多半有db,理解transaction, jdbc, hibernate这些东西
transaction也可以控制住,而且多数时候,那些老代码都是transaction在搞并发处理
oracle就靠这个插管吸血了

吗?
z****e
发帖数: 54598
42
来自主题: JobHunting版 - 有人用谷歌guice么?有个技术问题

这么说吧
你inject的东西,应该是component
这个在srping里面非常清晰
因为spring有四个annotation
@Component
@Controller
@Service
@DAO
这四个就是一般意义上的组件,component就是所有的总称
细化下去就是后面三个
你应该学习一下j2ee的三层模型
后面三个component分别对应三层中的一层
而component跟thread的区别就是所有的component都是被thread共享的
spring真正inject的就是这些component对象
而一般的话,component都是单子,只会实例化一个对象在内存里面
然后被多个threads共享
然后你需要知道多线程并发的问题
thread同时访问一个java对象的话,如果同时访问的是方法
ok,没问题,不需要synchronized,只要这个方法不在方法以外寄存状态
简单说就是所有这个方法用到的变量,对象什么的
都用参数的方式传入该方法,这样该方法就能够被共享
否则的话,会有并发冲突
你这边identity就被放在方法体以外的地方
那就不行,并发修改,你这... 阅读全帖
z****e
发帖数: 54598
43
今天team lead问的几个面试问题,参考,基本上都是开放性的聊天
java中的final,能说出immutable最理想
解释为什么immutable可以对付并发?
并发访问,解释threadlocal
db中如何控制并发修改?transaction
transaction的实现,db中如何实现transaction?随便说一个实现方式就行
乐观locking悲观locking
为什么要用cassandra?没用过换mongo,为什么要用mongo?
跟一般的db有什么不一样?
security,列举所有你知道的攻击,比如ddos,sql inject
如何防御他们?你干过吗?
不过这个不做重点,不懂没关系,懂了加分,知道越多越好
web service,解释restful
发现问题了,怎么处理问题?生产bug如何解决?
一般多少个test cases合理?一个类几千行代码,合理吗?
怎么办?如何refactor?怎么防止再造出几千行代码的文件?
ui用过什么?angular,解释angular的mvc
ui部分不做重点,不懂没关系,懂了加分
如何提高java code的perfo... 阅读全帖
z****e
发帖数: 54598
44
来自主题: JobHunting版 - 感觉很多人分析问题不够细化
嘴巴上无非说这里技术好那里技术不错
那请问到底你想学的是什么技术呢?
然后再看看你打算去的那家公司有什么技术让你学呢?
就比如google吧,google做得好的
比如android, search还有youtube,你觉得你创业跟这几个对着干
有戏吗?我觉得你没戏,肯定被google干掉
然后google做得不好的,比如google+
你跑去做这个,你打算创什么业?你做一个google+有戏?
google都没戏好吧,说到这里就像一个两难了
到底要怎么学?其实很简单
你想打工,就要想明白
第一,这家公司有什么东西你带得走
带不走对你来说几乎没用,所谓带得走就是你换一家公司也能用的东西
这就是为啥我们对开源非常感兴趣,因为开源基本上都带得走
对猴子自身有利,这是一,其次,这家公司有什么独门绝技
你可以偷师的?有些技术只有这里有,其他地方没有
尤其是开源没有的,你可以考虑学一点,因为开源没有的
意味着市场上跟你竞争的少,所以你出去创业,尤其是回国创业
会有比较大的优势,如果开源也有的,你应该优先考虑开源
因为前面说了,带得走,换个公司,东家也能受益
但是这个时候就不宜自己再去瞎搞了,因为... 阅读全帖
R******c
发帖数: 76
45
来自主题: Medicine版 - SOS!!!!! 胸腺瘤病例求助
收到国内好朋友的来信,她的孪生哥哥自10月份起就昏迷不醒,目前医生诊断是胸腺瘤
并发重症肌无力。如果您对这类病症有任何建议或者对症状诊断有任何意见,请不吝赐
教!谢谢!
2010/9/28日我哥因为咽喉炎扁桃体炎到第一人民医院住院治疗(他的咽喉炎在7/8月份
就已开始,但主要通过吃药治疗,主要症状是说话含糊不清),在9/29做雾化治疗时,
突然感到胸闷,憋气,当时该院立刻对他抢救,抢救中发现他右肺不张,呼吸肌麻痹,
医生判断他是重症肌无力危象,立刻给与“新斯的明”药物及拍背治疗并上呼吸机,后
转危为安,在ICU深切治疗,后由于发现他做CT扫描上显示他有纵膈肿瘤,故判断他为
:胸腺瘤并发重症肌无力及肺炎,当时为慎重起见,我们通过医院邀请了另一知名医院
神经内科会诊,但该知名医院的医生判断他不是重症肌无力,故我们在2010/10/6转院
到该院。刚入院时,我哥精神状态较好,并能正常饮食,该院在入院后对他进行了全套
检查(包括重症肌无力抗体检查),结果判断他是左纵膈肿瘤及肺炎,排除了重症肌无
力(但他重症肌无力抗体检查有两个项目是阳性的),故而不再使用重症肌无力相关药
物,但之后,他逐渐出现... 阅读全帖
w***s
发帖数: 7132
46
中国大陆恶性医患冲突10年案例简编
前 言
我们通过网络搜索引擎,对公开报道过的10年(2000年~2009年7月)中的恶性医患冲突
案例进行检索、挑选,汇编了共约100例。这些只是冰山一角,宏观数据可参见《医疗
环境数字&统计》。这里仅举一条卫生部统计数据:恶性医患冲突逐年上升,2006年我
国内地共发生9831起严重扰乱医疗秩序事件,打伤医务人员5519人,医院财产损失超过
两亿元。
我们在汇编这些触目惊心的案例时,不禁潸然泪下。同时,我们忍不住要问:
1.部分群众、部分患者对医护人员的恨从何而来?他们一言不和即殴打医务人员,未能
治愈即聚众暴力冲击医院殴打医护人员,他们使用水果刀、马刀、宰羊刀砍杀医护人员
,是什么样的社会土壤、舆论土壤产生了如此畸形的恨?
2.考察这些案例,聚众暴力医闹事件大多都是索要巨额赔偿,而且相当一部分在最后都
达到了目的。由于公安机关、当地政府常采取“纵容”的态度,于是院长被劫持限制人
身自由,最后妥协;医院不堪其扰,向暴力医闹份子妥协;或者地方政府调解要求医院
赔款“私了”。总之,违法成本如此之低,闹就有钱,医闹能不越来越多越来越张狂吗?
3.相当一部... 阅读全帖
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)