s********k 发帖数: 6180 | 1 如果本来就是在VM上面再加pod上运行container,这个NUMA的作用还会很大吗?因为没
法控制底层的OS,golang也很难做好scheduler把?
miss |
|
s********k 发帖数: 6180 | 2 我觉得你是不是可以换个方法实验
你目前的实验室基于一个200+核心直接run bare golang的http server?但是实际上很
多golang打包container的都是基于pod的,可以试一下k8s,比如你开# of core 个VM
?然后pin每个VM到一个core成为一个node,再每个node上再开2个pod?
所以你原来的测试是1个http server 开N个goroutine,现在变成每个pod上开一个http
server,就应该是1个http server开N/200/2个goroutine
这样的scheduler问题就完全变了。不知道效果如何
miss |
|
y*j 发帖数: 3139 | 3 看那个报告的样子,应该还没有到经常page fault 的地步,否则性能会下降得非常厉
害。
: 内存用的太多,会增加page fault rate。I/O系统忙起来,比频繁的cache miss
更厉害。
|
|
d***a 发帖数: 13752 | 4 从内存里做TLB refill大约是150-200个纳秒左右吧,page fault的延迟是毫秒级了。 |
|
d***a 发帖数: 13752 | 5 是的,不过如果把GC关掉长时间运行下去,page fault会增加的。
miss |
|
s********k 发帖数: 6180 | 6 哦所以你意思是swap到disk上了?不做GC确实有可能,不过如果GC下多个goroutine频
繁调度不知道会不会频繁重新load TLB,golang的schedule好像在避免这个 |
|
发帖数: 1 | 7 .NET Core 2目前只支持Windows下的arm64,等Linux下也有arm64再開始轉吧。
Mono支持Linux的arm64,但性能應該不行(跟gcc 7.2比) |
|
发帖数: 1 | 8 我們試過lxc和kvm,如果不是Xeon的CPU的話,性能會再下降一個數量級(因為host-
guest communication in kernel code),而且裡面坑特別多,就不細講了。另外
docker和k8s對非x86的支持也不是很好。
虛擬化和容器不是silverbullet,至少在性能上說。AWS最近就在去VM化,參考AWS
Nitro和baremetal EC2。如果同時用虛擬化和容器,或者雙重虛擬化,性能就別指望了。
VM
http |
|
s********k 发帖数: 6180 | 9 我的意思是实际上运行环境很多事虚拟化的,你把NGINX跑到VM上是不是也会性能下降.
VM肯定性能下降,但是大家(Golang http server 和NGINX)都下降下,你再比较下呢?
?关于去VM倒是又是一个课题。
了。 |
|
发帖数: 1 | 10 Nginx下降更多,都用VM結果是nginx和golang的差距比裸機小,從原來的10倍或100倍
下降到一半或幾倍,可能這就是網上說的golang和c差距不大的原因。去VM性能提高很
多,這也是亞馬遜買CPU公司做硬件的原因。
降.
呢? |
|
s********k 发帖数: 6180 | 11 对啊,我就是这个意思,专门针对单机优化上,最接近底层的C做出来的还是肯定好,
但是很少golang是在bare的单机上运行,大部分都是distributed的VM上 |
|
T********i 发帖数: 2416 | 12 其实所谓云架构,大多数是没啥必要的。
VM慢了一个数量级以上,无论如何都不能justify。
被人收割骗钱而已。 |
|
p*u 发帖数: 2454 | 13 云本来就是为了节省IT support的costs,不是提高性能。 |
|
s********k 发帖数: 6180 | 14 追求性能肯定要自己做,但是大部分应用上云架构主要是方便,开启服务,scale,
monitor,啥都方便,等到服务做大了,再专门自己搞DC做 |
|
m*****n 发帖数: 3575 | 15 你和软件工程师只有一个本质差别:
你不掌握生产资料,所以只能被剥夺剩余价值
卡尔 马克思 |
|
发帖数: 1 | 16 不明白。软件工程师不是也在被剥夺剩余价值?
本来软件既是生产资料又是劳动产出,结果给来了个开源。
唉唉唉 |
|
发帖数: 1 | 17
你见过什么重要的东西做的很完美的搞开源的, 除了sun那个傻逼公司 |
|
|
f******2 发帖数: 2455 | 19 开源是牛逼但不被承认的社会底层的唯一出路,类似十月革命掀桌子
: 你见过什么重要的东西做的很完美的搞开源的, 除了sun那个傻逼公司
|
|
|
m*****n 发帖数: 3575 | 21 R就是这么搞的
一边开源
一边弄个收费高级版
还有Qt系列也是如此 |
|
|
发帖数: 1 | 23 IO虛擬化目前只有intel的vt-d、sr-iov、apic-v做得很好,其他非x86架構都不行,因
為軟件問題。別看白皮書介紹得簡單,裡面非常複雜,非常不好做,坑特別多。性能只
有xeon可以接近裸機,這就是xeon佔領99.9%市場的原因,amd都不行。
是I |
|
w**z 发帖数: 8232 | 24 现在有自己DC的公司已经没几个了。以后也不太会有新的公司用自己DC了 |
|
s********k 发帖数: 6180 | 25 做到500B市值以上一般都会有(FGAM等),100B估计开始考虑但是还是可以全在cloud
上,比如netflix,但是99%公司还没到追求极致性能就死掉了 |
|
w**z 发帖数: 8232 | 26 你提到的那些都是在 cloud 流行之前开始的,不存在从 cloud 转到 自己 DC 的。公
司规模越大,要转的代价就越大, 真不如乖乖给 aws 写支票。新的有一定规模的公司
,除了 uber, 都在云上。
:做到500B市值以上一般都会有(FGAM等),100B估计开始考虑但是还是可以全在
cloud
:上,比如netflix,但是99%公司还没到追求极致性能就死掉了 |
|
|
w**z 发帖数: 8232 | 28 that was a bold move.
During its early years, Dropbox ran its entire operation on Amazon’s cloud
computing service. But more recently it has moved much of its
infrastructure off AWS to cut down on costs. The company said that in 2016,
it was able to shrink its cost of revenue by $35.1 million as part of its
AWS migration, which it refers to as “Infrastructure Optimization.” As
tech publication GeekWire notes, the data center move help saved
Dropbox about $75 million over a two-yea... 阅读全帖 |
|
发帖数: 1 | 29 感覺golang的默認goroutine設計模式有問題,下面是golang http microbenchmark的
perf report:
60.24% [kernel] [k] arch_cpu_idle
6.43% [kernel] [k] _raw_spin_lock
4.40% http [.] runtime.runqgrab
2.19% http [.] runtime.findrunnable
感覺golang如果有很多goroutine和thread,大部分時間都會用在runtime.runqgrab上
,然後runtime.futex會過載,導致系統60% CPU都是idle |
|
发帖数: 1 | 30 在runtime/proc.go裡面有很多lock(&sched.lock),
例如把goroutine放到global runq裡面就需要lock
func goschedImpl(gp *g) {
status := readgstatus(gp)
if status&^_Gscan != _Grunning {
dumpgstatus(gp)
throw("bad g status")
}
casgstatus(gp, _Grunning, _Grunnable)
dropg()
lock(&sched.lock)
globrunqput(gp)
unlock(&sched.lock)
schedule()
}
sched是runtime2.go裡面的一個全局變量
var (
allglen uintptr
allm *m
... 阅读全帖 |
|
c****f 发帖数: 1102 | 31 现在只有很极致的公司才追求那10%的性能优化 更多的追求实用 短平快
人家根本不care这点区别 再堆机器就是了 机器多少钱 我请人回来弄类似nginx的
memory trick得花多少钱 以后怎么维护? 升级 更新怎么办?
就想之前碰到一个公司 所有的http服务都是in house的 结果碰到H2 自己做的基于LVS
的链接toss back不能用了不说 连H2的功能的prototype都要做好久
但是市场需求就是马上要H2 你怎么办? 只能去掉自己in house的LB
所有在用人成本 今后维护 各方面来说 真的可以追求那最顶点性能优化的公司也就没
几个
现在K8S这么热 大家都网上迁呢 谁在乎调度器和API被干爆了如何 多加几个就是了 |
|
发帖数: 1 | 32 看清我的結論:性能差別10倍不止,不是10%,如果是50%,我都會說golang很好。但是
差距1000%,我就呵呵了。
LVS |
|
f*******t 发帖数: 7549 | 33 别钻牛角尖了,找到一个特殊的应用说性能差10倍以上,作为技术研究是好的,但没有
实际意义。用Go写backend service的公司很多,碰到性能瓶颈,总会有fix或者
workaround。如果真的需要10倍性能,而Go无论如何都达不到的,就换更合适的语言写
对应的模块唄。 |
|
发帖数: 1 | 34 http的goroutine和gogc不是特殊應用,是golang做web後台的基礎好麼,回去先看看什
麼是goroutine和gogc再來回復。這兩個問題非常不好workaround,是golang區別於cpp
語言的根子。 |
|
g****t 发帖数: 31659 | 35 做web后台那你就和java比啊。和cpp较劲为哪般呢。。。
任何语言和c/cpp,fortran,pascal比性能都没什么意义。
cpp |
|
|
m*****n 发帖数: 3575 | 37 是不是这样理解
goroutine只能做到支持单机多核
例如8核还好用,32核效率就一般,再多了就扯了
分布式计算必须得换map reduce?
cpp |
|
m*****n 发帖数: 3575 | 38 别的行业的剥削基础是在于劳动者必须依附于某个大佬的公司才能开展工作,因为缺乏
完成工作成果必备的生产资料,而代码工作者不需要。实在不爽了,自己出来单干或几
个人合伙开个小公司都行,不需要缺它不可的需要大额资金投入的生产资料,例如刻芯
片的机器。
所以码工是跳槽最频繁的职业,依然工资最高。很多老板反而是弱势群体。 |
|
h******u 发帖数: 602 | 39 从USMLEFORUM贴来的,里面应该有中国人。
IV list:
Henry Ford,: Carotid,amfas,yamma,needapartner
albert einstein,NY :algernon,lemonhh
St John Medical center:amfas
case university hospital :aprilmay,mdia,lemonhh
UTSW:pathopatho
ETSU, TN: amfas
UCSD:aprilmay,lemonhh
Methodist hospital,houston : amfas
Univ of Florida,Gainsvilles: amfas
Univ of Wisconsin-Madison: aprilmay
U Tenn Memphis:amfas,peace4all
rejection list:
Univ of south florida : peace4all,lemonhh
UTSW:aprilmay,mdia,lemonhh
UAB:Sharp
U Tenn Memphis: Shar |
|
S****8 发帖数: 1212 | 40 看这个list, 无意中发现了我认识的一个CMG的ID, T99 拿到N 个好学校的IV, 倒也
在意料之中。请问USMLEFORUM原贴地址?
===============
发信人: harrywfu (天南海北山东人), 信区: MedicalCareer
标 题: Re: ------------2010 申请 病理 ----------------
发信站: BBS 未名空间站 (Fri Sep 18 22:51:00 2009, 美东)
从USMLEFORUM贴来的,里面应该有中国人。
IV list:
Henry Ford,: Carotid,amfas,yamma,needapartner
albert einstein,NY :algernon,lemonhh
St John Medical center:amfas
case university hospital :aprilmay,mdia,lemonhh |
|
p******6 发帖数: 410 | 41 麦地的病理军团好沉默呀,我来转个usmleforum上目前的IVs list.反正我是目前一个
都没有,心情一个劲的往下沉。
IV list:
Henry Ford,: Carotid,amfas,yamma,needapartner,egyptwithin
albert einstein,NY :algernon,lemonhh
St John Medical center:amfas
case university hospital :aprilmay,mdia,lemonhh
UTSW:pathopatho, mdphd
ETSU, TN: amfas
UCSD:aprilmay,lemonhh
Methodist hospital,houston : amfas
Univ of Florida,Gainsvilles: amfas
Univ of Wisconsin-Madison: aprilmay
U Tenn Memphis:amfas,peace4all
Tulane University: aprilmay,carotid
Univ of south florida: |
|
w*******y 发帖数: 60932 | 42 Got this email earlier
Dear Amazon.com Customer,
Fantasy & Science Fiction magazine is now available as a free digest, only
to Kindle customers. Each bimonthly issue includes the editor's
recommendations, "Curiosities" (odd books of enduring interest), film
reviews, book reviews, cartoons and humor, and "Coming Attractions" (
highlights of each coming issue)--along with one short story, all at no cost.
"This is the best fiction magazine in America," says Stephen King. "Kindle
readers are in luck... 阅读全帖 |
|