w***g
发帖数: 5958 | 1 四台机器，每台给48G内存，一个52G的dataset读不进去，跑了十几分钟自动重试无数
次最后失败。换乘一个16G的dataset，好歹读进去了。先repartition，然后cache，然
后count()，然后再count()，然后再count()，每次count()还是要40多秒。看UI，每台
机器内存也都用上了，我这是怎么回事？离亚秒级还有光年远啊。呼唤牛人帮我看看。
（说得是spark)
更新：上scala后实现亚秒了, 0.3秒光速跑完。
Tips:
1. 往狠里加内存。文本文件的overhead在350%的样子。10G的数据得准备35G的内存，
外加spark貌似在cache之外没台机器hold了10G内存的样子。如果是10G数据4台机器，
每台得给20G内存才能跑通畅。这个反正java世界的一直都这样，我也认了。
2. 往狠里加临时目录。我一开始没设，一直用的/tmp，一跑起来整个机器基本上就
freeze了。后来每台机器弄了两个大磁盘，repartition那步就比较通畅了。
我们最大的log还是太大，即使内存全上也cache不住，但是豫处理后应该可以不用导到
一台... 阅读全帖 |
|
n******7
发帖数: 12463 | 2 谢谢！
E5的机器是128G的
Opteron的机器是48G的
也许多指定点内存也不会比intel慢那么多？
我试试看 |
|
n******7
发帖数: 12463 | 3 有几个问题请教：
1. 如何效率地评估java程序的内存消耗和运行时间?
前几天问了java code在不同机器上内存消耗不同的问题。现在测试了不同的Xms Xmx参
数，同样的机器使用16core，16个进程时大致如下.基本上Xms=1/2g,Xmx=6g时内存消耗
最少，也显著比其他参数要快。没有再往下测了。但是这样测试觉得好没效率，有没有
什么自动半自动的方法可以做这个评估的？特别是很多语言benchmark的测试，他们是
怎么评估像java这样语言的速度和内存使用的？
Xms Xmx
16g 112g: cput=11:50:14,mem=30666936kb,vmem=125003524kb,walltime=00:48
:24
16g 48g: cput=11:50:32,mem=28415984kb,vmem=55443888kb,walltime=00:48:
22
16g 40g: cput=11:47:43,mem=25669572kb,vmem=46747780kb,walltime=00:48:
13
16g 32g: cput=11:49:53,mem=... 阅读全帖 |
|
n******7
发帖数: 12463 | 4
这个我现在明白了 GC pause对我无所谓
这个我有疑问。就我的结果，同样Xmx的情况下，Xms越小反而越快
6g 6g: cput=11:55:44,mem=6518500kb,vmem=9793676kb,walltime=00:48:59
2g 6g: cput=11:26:22,mem=3628316kb,vmem=9793676kb,walltime=00:47:49
1g 6g: cput=11:25:40,mem=3005524kb,vmem=9793676kb,walltime=00:47:48
虽然只测了一次，这个1分钟的差异还是挺大的
而同样Xms的情况下，Xmx几乎没影响
16g 112g:cput=11:50:14,mem=30666936kb,vmem=125003524kb,walltime=00:48:24
16g 48g: cput=11:50:32,mem=28415984kb,vmem=55443888kb,walltime=00:48:22
16g 40g: cput=11:47:43,mem=25669572kb,vmem=4... 阅读全帖 |
|
h**********c
发帖数: 4120 | 5 suggest you read Java Performance, written by Oracle engineers.
My thinking is GC should be handled out of the vm box. Single VM should be
stress-tested and the program/task should be able to throttle itself for
memory utilization and persist over usage to database. Use cluster/load
balancer to comprehensively conduct the VMs' symphony by major process
tables' reading or VM status readings -- process threshhold trigger balancer
audit and administration.
Unfortunately, in real life, we rather hav... 阅读全帖 |
|
p**5
发帖数: 2544 | 6 【 以下文字转载自 Hardware 讨论区 】
发信人: pp65 (聊天可以，不要扯皮), 信区: Hardware
标 题: vista shrink size problem
发信站: BBS 未名空间站 (Fri Oct 12 16:40:27 2007)
my C drive has >180 G space, but I can only shrink out 48G space. The C
still has 140G. How to make more space out?
it seems vista has a limit on shrinkable space. |
|
G*O
发帖数: 706 | 7 【 以下文字转载自 shopping 讨论区 】
发信人: GTO (欧叔), 信区: shopping
标 题: 为啥xp home不能创建fat32的分区
发信站: BBS 未名空间站 (Sat Aug 2 17:45:03 2008), 转信
我分了一个去48G，格式化工具只显示NTFS一个选项
咋把它格成FAT32呢，好让ghost能读写
谢谢 |
|
p**5
发帖数: 2544 | 8 【 以下文字转载自 Hardware 讨论区 】
发信人: pp65 (聊天可以，不要扯皮), 信区: Hardware
标 题: vista shrink size problem
发信站: BBS 未名空间站 (Fri Oct 12 16:40:27 2007)
my C drive has >180 G space, but I can only shrink out 48G space. The C
still has 140G. How to make more space out?
it seems vista has a limit on shrinkable space. |
|
M******m
发帖数: 228 | 9 【 以下文字转载自 Chemistry 讨论区 】
发信人: Mickymum (MM), 信区: Chemistry
标 题: 想买塌塌米床,请问methyl bromide fumigation
发信站: BBS 未名空间站 (Fri Feb 18 20:04:49 2011, 美东)
爸妈来探亲之前,想给他们买一张塌塌米床,因为比较硬。（这里的软床垫他们不喜欢）我在加州，一张塌塌米床是1200刀。
我问塌塌米的稻草垫子会不会长虫，店家告诉我在运来美国之前，曾经做过fumigation， 用的是：
Methyl Bromide, 48g/m3 (立方米）， 24 小时，温度大于等于23度
我查了一下，methyl bromide本身是剧毒，但是不知为何美国import/export的货物全部用这个东西来消毒/杀虫，包括苹果这类的食物。
我想请问：methyl bromide会在床垫上有残留吗？是否对健康不利？对了，家里有小宝宝，可能也会经常在床上玩。我本来的想法是以后这张床可以给宝宝睡，因为小孩子睡硬床比较好。 |
|
M******m
发帖数: 228 | 10 爸妈来探亲之前,想给他们买一张塌塌米床,因为比较硬。（这里的软床垫他们不喜欢）我在加州，一张塌塌米床是1200刀。
我问塌塌米的稻草垫子会不会长虫，店家告诉我在运来美国之前，曾经做过fumigation， 用的是：
Methyl Bromide, 48g/m3 (立方米）， 24 小时，温度大于等于23度
我查了一下，methyl bromide本身是剧毒，但是不知为何美国import/export的货物全部用这个东西来消毒/杀虫，包括苹果这类的食物。
我想请问：methyl bromide会在床垫上有残留吗？是否对健康不利？对了，家里有小宝宝，可能也会经常在床上玩。我本来的想法是以后这张床可以给宝宝睡，因为小孩子睡硬床比较好。 |
|
p******h
发帖数: 1783 | 11 $20k should be enough for 48G |
|
u*******s
发帖数: 688 | 12 今天大雪天上班，结果到了公司发现某一个重要的ingredient oos了。于是我就发挥了
一下创新精神。。。制作了一些非常滋润的手霜 :) 成分如下：
纯净水 120g
杏仁油 48g
乳木果膏 24g
芒果膏 24g
可可脂 20g
Cream Maker 15g
甘油 12g
苯并酒精 3g
薰衣草精油 12滴
花梨木 12滴
迷迭香 12滴
呃。。不会贴图。。。谁教我一下。。 |
|
