首页
论坛
未名存档
话题女王
小圈子
马甲追踪
版面排名
流量曲线
水枪排名
发帖量曲线
发帖版面饼图
发帖时间柱图
关于本站
帮助
boards
本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字
访问原贴
Programming版
- 通过日志分析yarn app实际内存用量
相关主题
●
nodejs到底有啥好的?大牛给解释解释?
●
How to send a structure containing a pointer over socket?
●
std::map 为什么没有排序呢
●
Go’s path to becoming a Top 10 if not Top 5 language
●
有谁玩过C* + Spark?
●
关于 SPARK, 问二爷peking2 和其他大牛一问题
●
docker的newbie 问题
●
如何从代码里向yarn动态提交一个spark job
●
如何提高Spark在Yarn上的内存使用率
●
Hadoop 和Python的数据分析包哪个更值得学习?
相关话题的讨论汇总
话题: gb
话题: container
话题: 0001
话题: yarn
进入Programming版参与讨论
1
(共1页)
w***g
发帖数: 5958
1
上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
我起了一个github project可以指定一个app ID,然后通过日志分析给出这个app的每
个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后,
提交任务的时候就可以设置更加准确的值,避免出现占着毛坑不拉屎的情况。
https://github.com/aaalgo/yarn-memory-tracker
比如
$ yarn-memory-tracker.sh application_1421176927536_0002
184 containers found for app application_1421176927536_0002
container_1421176927536_0001_01_000001: 0.254785 of 16.4 GB
container_1421176927536_0001_01_000002: 16.2 of 51.4 GB
container_1421176927536_0001_01_000003: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000004: 0.00107422 of 51.4 GB
container_1421176927536_0001_01_000005: 12.5 of 51.4 GB
......
g*******t
发帖数: 7704
2
大牛,有货,
1
(共1页)
进入Programming版参与讨论
相关主题
●
Hadoop 和Python的数据分析包哪个更值得学习?
●
Yarn的设计根本就是错的
●
感觉flink出来之后,hadoop就显得不怎么再需要了
●
搞不懂为什么大牛说Hbase不如C*?
●
怎样schedule spark application
●
大牛说说用scala自己能做啥project
●
jvm上3大脚本语言
●
swift行情很好啊
●
单机学习spark/hadoop的方案?
●
Angularjs + Spark ?
相关话题的讨论汇总
话题: gb
话题: container
话题: 0001
话题: yarn