w***g
发帖数: 5958 | 1 【 以下文字转载自 Programming 讨论区 】
发信人: wdong (cybra), 信区: Programming
标 题: 通过日志分析yarn app实际内存用量
发信站: BBS 未名空间站 (Tue Jan 13 15:05:17 2015, 美东)
上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
我起了一个github project可以指定一个app ID，然后通过日志分析给出这个app的每
个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后，
提交任务的时候就可以设置更加准确的值，避免出现占着毛坑不拉屎的情况。
https://github.com/aaalgo/yarn-memory-tracker
比如
$ yarn-memory-tracker.sh application_1421176927536_0002
184 containers found for app applicatio... 阅读全帖 |
|
w***g
发帖数: 5958 | 2 上次介绍过yarn/spark怎么调参数。但是yarn/spark并没有给出一种方法可以确定一个
app的实际内存用量。这就导致调参数很大程度上只能是guesstimate。
我起了一个github project可以指定一个app ID，然后通过日志分析给出这个app的每
个yarn container实际最高内存使用量。这样开发的时候用这个脚本确定内存用量后，
提交任务的时候就可以设置更加准确的值，避免出现占着毛坑不拉屎的情况。
https://github.com/aaalgo/yarn-memory-tracker
比如
$ yarn-memory-tracker.sh application_1421176927536_0002
184 containers found for app application_1421176927536_0002
container_1421176927536_0001_01_000001: 0.254785 of 16.4 GB
container_1421176927536_0001_01_000002: 16.2 of 51.4 GB
... 阅读全帖 |
|
a****s
发帖数: 21 | 3 Acmoore
一般里面有专门给baby的线,如果你是第一次织推荐用稍微粗一点的,这样时间比较短就
可以看到成果.
里面有好多牌子的yarn,给baby的yarn专门有一曲,去挑喜欢的颜色就好啦~嘿嘿
如果你是在纽约的话,纽约有专门的一个卖yarn的地方,很便宜的说,在queens好像 |
|
|
|
w***g
发帖数: 5958 | 6 MapReduce做到Yarn可以说是彻底放弃了MapReduce作为磁盘算法的本质。
MapReduce提高性能主要依靠两条：
- 顺序读磁盘。这要求同时不能有>>1个线程读盘。
- 程序跟着数据走。
等Yarn出来，彻底按内存调度，最近勉强可以加上CPU。但是磁盘这一条算是彻底废了。
如果只跑MapReduce，还可以勉强用内存分配迂回设置同时跑得container数量。
但一旦加上Spark这种巨费内存的，两者要共存就难了。
这批烂人！ |
|
发帖数: 1 | 7 不知道啥时yarn和zookeeper，年底1000题，别的啥也不会，拼了 |
|
a**y
发帖数: 599 | 8 自己动手做东西其实不省钱的，还挺花时间。但就是特别想自己做一点。记得小时候可
羡慕那些同学穿了自己家里做得漂亮东东。
不知各位美妈们都是在哪买的信价比好的布阿，yarn阿的，拜求一下店名，网址啥的。 |
|
ot
发帖数: 4549 | 9 Yarn:
Michael's, ACmoore,
专买打折的，ACMoore有时候会买“尾货”， 就是所有剩的线都挫堆卖，七块钱一大
口袋，而且可以用它网上的优惠券，算下来才三五块，两口袋足够织个大人的毛衣。
Fabric
我这里附近没有便宜店，所以就网上买了。fabric.com |
|
a**y
发帖数: 599 | 10 感谢感谢！
第一次听说ACmoore，准备去研究一下附近有没有。
另外给娃织，一般用什么样的yarn呢？ |
|
|
a******a
发帖数: 283 | 12 Anybody has any idea where to buy good yarns that are cheaper? Thanks |
|
j********x
发帖数: 2330 | 13 我搞错什么了么
yarn不就是个job manager么
跟spark有什么关系 |
|
j********x
发帖数: 2330 | 14 看了看没搞错啊
yarn就是个重构
Hadoop的框框还在
只是把功能细分
这跟内存不内存有毛关系？。。。 |
|
w***g
发帖数: 5958 | 15 我发现不同系统似乎移植性并不太好。版上要是有同学能提供yarn日志共测试的话欢迎
和我联系。过两天我有空了会加一个图形界面。 |
|
|
w*******y
发帖数: 60932 | 17 http://kmart.shoplo cal.com/kmar... 407632977
K-Mart $20 gaming coupon w/ purchase of these games:
Fallout New Vegas
Vanquish
EA Sports MMA
============ ============ ============ ============ ============ =====
Get a $15 gaming coupon when you buy Cars Toon: Maters Tall Tales game for
Wii
Cars Toon: Maters Tall Tales - Wii
http://kmart.shoplo cal.com/kmar...-101017FPO
============ ============ ============ ============ ============ =====
Get $10 gaming coupon when you buy ANY game ca... 阅读全帖 |
|
w*******y
发帖数: 60932 | 18 Nebraska Furniture Mart is having a new release sale on a few games:
- Fallout: New Vegas, XBOX 360/PS3 (Available 10/19)
- DJ Hero 2, XBOX 360/PS3/Wii (Available 10/19)
- Kirby's Epic Yarn, Wii (Available 10/17)
All available for $29 each ON RELEASE DAY ONLY. Look at page 7/12 of the AD
[nfm.com]
If you live near a NFM, you're money. I believe they have locations in
Kansas City, Des Moines, and Omaha.
If you don't live near a NFM, you may want to check online the day the games
are released. The... 阅读全帖 |
|
|
|
|
w*******y
发帖数: 60932 | 22 Best Buy
Kirby's Epic Yarn (Wii)
= $8 with free shipping
|
|
w*******y
发帖数: 60932 | 23 Was at my local Costco this AM (Sterling, VA) and found Kirby's Epic Yarn
Wii Game marked at $14.99, plus there is an automatic discount of $5 on
select Wii games marked $14.99. Total at register was $9.99 plus tax. Ran
over to Target right after and shelf price was $49.99. Amazon is $36.99.
Thought I'd pass along my find
|
|
|
z****e
发帖数: 54598 | 25
/.
standalone可以单独部署在集群上，并不是一个toy example用的
我倒是很奇怪，你们居然没有丢掉yarn这些东西
不过我是不用yarn，我觉得yarn太过于复杂了
大部分工作我用vert.x可以很快完成，直接操作c*，调度我自己写
yarn一堆api搞得跟ejb一样繁琐，什么container，context都来了
spark应该是直接替换yarn，这才是standalone模式的初衷
这个应该才是spark最初的目的才对，而不是run spark over yarn
这个感觉怪怪的，反正我不用yarn，不知道其他人怎样
对于spark的需求主要集中在mllib，其他的其实没啥，如果是streaming的话
用storm就好，不过我也不想这样换来换去，如果flink将来能解决这个问题的话
我就切换到flink上去，反正我现在也只用了mllib
剩下的crud，这个不用spark/flink这些，直接用c*的api就可以做很多了
cql连查询都帮你搞了不少，就更没有必要麻烦spark/flink了 |
|
|
c****t
发帖数: 19049 | 27 THE PACIFIC JOURNAL OF ADAM EWING
Thursday, 7th November—
Beyond the Indian hamlet, upon a forlorn strand, I happened on a trail of
recent footprints.
Through rotting kelp, sea cocoa-nuts & bamboo, the tracks led me to their
maker, a White man,
his trow-zers & Pea-jacket rolled up, sporting a kempt beard & an outsized
Beaver, shoveling
& sifting the cindery sand with a teaspoon so intently that he noticed me
only after I had hailed
him from ten yards away. Thus it was, I made the acquaintance of... 阅读全帖 |
|
r*******k
发帖数: 44 | 28 yarn 的几个比较大的目的包括：
1) support 4k+ nodes
2) support 除mapred 外其他的computation frameworks, like mpi, Giraph, spark,
etc.
对于1来说，目前只对yahoo 一家有意义，他们公司的策略是建一个几万node 的
cluster shared by 所有项目。95%的公司根本没这个规模，其他5% 有相同规模的公司
都采用多个cluster, each for a project 的模式，最大1k node 顶头了。
真正需要2的，不好说有多少，听人propose的多，真正用的人不知道。
因为以上这些原因，他们需要把resource, node, application and job management
分开，提供不同的services。听起来复杂，实际totally make sense.
yarn 这个项目从一开始就是被yahoo 推动，而后有hortonworks 接手。yarn 的方向不
错，但目前，和短期内，只对yahoo 有意义，对多数人来说，可以不用管。我本人觉得
，... 阅读全帖 |
|
a*****s
发帖数: 1121 | 29 资源调度这一块需要有一个吧，
资源调度角度讲，YARN是global scheduler，上千台的server可以总体调度；slider加
入以后，你可以在YARN上运行任何daemon，也就是说，你可以在一个datacenter运行你
想要的所有framework，资源调度由yarn来帮你总体处理。YARN现在也支持docker
container，加上label的功能，很容易实现multi－tenent，Altiscale这方面做的不错
，已经有上千个vm的production cluster用docker on yarn
mesos是分布式调度，比较小众，貌似只有twitter在用，俺们组的一个傻逼本科劳模天
天吹嘘
多好多好。
分布式文件系统需要有一个吧，HDFS时鼻祖，由很多变种，但是都支持HDFS的原生API。
大公司甚至国家之间，拼的是系统，上万台server的data center是需要经得起折腾的
系统，对于小公司，那就另说了。不见得需要这么robust的组件。 |
|
|
a*****s
发帖数: 1121 | 31 上周五的onsitee，只刷过三道leetcode题目，硬着头皮上了。免得是大数据platform
组SMTS，挂了，不知道谁黑的。
一个俄国小哥：
比较热情， 先问了stack用linklist和array实现的优缺点，然后问了如何用二维数组
存储神经网络，比较耐心的引导类型，最后时间没有了，就只讨论了一下为什么这么做
。俺提出了一些可能的；
印度人：
上来很详细的问了以前的做的东西，HIVE如何转化成TEZ的，TEZ和MAPREDUCE的性能区
别，Slider提交任务需要那三个文件，我说就是三个json文件关于资源请求，可执行文
件等等，半年前作的实在记不清了，他解释说是metainfo.xml， 和两个json文件，俺
就极力说服他，please检查slider的apache JIRA buglist，现在俺还有几个ticket要
解决，他说他会。没让写code
一个国人伯克利小伙子：
随便问了问以前的项目，然后让做题， 给两个string，一个str1，一个str2，找出
str1里所有的str2
出现的第一个位置：比如ababab，ab那么返回数组［0，2，4］。先让写te... 阅读全帖 |
|
f*******r
发帖数: 976 | 32 Move on. 祝LZ早日拿大offer
上周五的onsitee，只刷过三道leetcode题目，硬着头皮上了。免得是大数据platform
组SMTS，挂了，不知道谁黑的。
一个俄国小哥：
比较热情， 先问了stack用linklist和array实现的优缺点，然后问了如何用二维数组
存储神经网络，比较耐心的引导类型，最后时间没有了，就只讨论了一下为什么这么做
。俺提出了一些可能的；
印度人：
上来很详细的问了以前的做的东西，HIVE如何转化成TEZ的，TEZ和MAPREDUCE的性能区
别，Slider提交任务需要那三个文件，我说就是三个json文件关于资源请求，可执行文
件等等，半年前作的实在记不清了，他解释说是metainfo.xml， 和两个json文件，俺
就极力说服他，please检查slider的apache JIRA buglist，现在俺还有几个ticket要
解决，他说他会。没让写code
一个国人伯克利小伙子：
随便问了问以前的项目，然后让做题， 给两个string，一个str1，一个str2，找出
str1里所有的str2
出现的第一个位置：比如ababa... 阅读全帖 |
|
z****e
发帖数: 54598 | 33
etl用datastream，这个是最值得注意的部分啊
要不然就用spark了
sql用table api，这个纯粹是脚本引擎
这个如果不是只懂sql的话，不用也没啥大不了的
反正我感觉大部分dev对于sql都不是特别热爱
跟js差不多，多数都是一种够用便可的态度
yarn跟dataset也就是batch processing
也就是spark，flink这些几乎是直接竞争关系
虽说这两个都可以over yarn，但是貌似不用yarn也没啥大不了的
好像还更快一点，除非要用hpc这些，那yarn会比较方便 |
|
|
m***r
发帖数: 359 | 35 大数据日报 2015-02-15
@好东西传送门 出品, 过刊见
http://bd.memect.com
订阅：给 [email protected]
/* */ 发封空信， 标题: 订阅大数据日报
更好看的HTML版
http://bd.memect.com/archive/2015-02-15/short.html
1) 【百度迁徙 携手央视创新大数据新闻】 by @百度
关键词：应用, 交通, 新闻
【#百度迁徙#携手央视创新大数据新闻】反映春运迁徙状况的“百度迁徙”今日第二次
上线提供服务啦！新版“百度迁徙”增加了实时航班、机场热度和火车站热度等创新功
能，并已在央视《晚间新闻》“据说过年”栏目以及昨日《新闻联播》中露面。想知道
大家过年都从哪到哪？速戳→_→ [1]
[1] http://qianxi.baidu.com
2) 【Bayesian Networks with R and Hadoop】 by @爱可可-爱生活
关键词：计算框架, Hadoop, 视频
[视频]《Bayesian Networks with R and Hadoop》 [1] 用R... 阅读全帖 |
|
|
d********w
发帖数: 363 | 37 基于很多朋友希望更新这个学习资料，我就尽力按我的积累补充，are you ready, 享
受技术饕餮大餐
#Hadoop
Hadoop社区依然发展迅速，2014年推出了2.3，2.4, 2.5 的社区版本，比如增强
Resource Manager HA,
YARN Rest API, ACL on HDFS...
http://hadoop.apache.org/releases.html
根据我的观察，主要更新在Yarn，HDFS，而Mapreduce几乎停滞了，还有一些feature
属于安全，稳定可靠性一方面也是比较稳定了，但也可以说是瓶颈了。
http://hadoop.apache.org/who.html
这个是Hadoop project member and committee, 里面好多来自Hortonworks，不过也有
不少国人加入了，都是未来的希望啊。
# Spark
Spark今年大放溢彩，Spark简单说就是内存计算（或者迭代式计算，DAG计算,流式计算
）框架，
MapReduce因效率低下大家经常嘲笑， Spark号称性能超Hadoop百倍，算法实现... 阅读全帖 |
|
s**********g
发帖数: 1578 | 38 this is the best yarn shop in Houston IMO. Yarn 2 Ewe, 518 Shepherd Drive
http://www.yarns2ewe.com/
You will find cashmere yarn there, the price is usually higher in store than
online, but you get to see and touch the real thing before buying, also if
you made a mistake or have questions on your project the shop owner is very
friendly and helpful.
It's definitely a lot more expensive to knit your own cashmere sweater than
buying a ready made!!! |
|
|
M*****d
发帖数: 100 | 40 For the term "good", I mean high yarn count shirting, like 140s and above.
High yarn count shirtings are soft and smooth. It's really enjoyable to wear
shirts made of them. They are also more expensive. But they are delicate
and wrinkle easily. For this reason, many people disagree that high yarn
count is better. So "good shirting" is a quite subjective term. So is
suiting.
Starch will make shirts stand up well. But it also makes the fiber stiff,
brittle and easy to be broken. It is not a sustai... 阅读全帖 |
|
|
r*******k
发帖数: 44 | 42 看你要学习什么了。如果是只是mapred 编程，理论上（只是理论上）1、2 上的mapred
代码兼容。你不需要了解yarn那些乱七八糟的service。
如果你要了解分布计算比如hadoop, mpi 之类的系统设计，当然要知道一些yarn的构架
，交互之类。
运营方面，据我所知，即便是这个领域的人，多数也就是聊聊，实用的不会很多。
如果只是初学者，不用关注过多。绝对不会有公司（除了hortonworks?）要求
candidate 有yarn 经验。 |
|
h*****4
发帖数: 4219 | 43 在本地有三个project，A 和C 都是maven dependent on B， 在B里有关于连接HBase读
写操作的API。他们用的是同样的hbase-site.xml，hdfs-site.xml和core-site.xml，
但现在B和C都可以成功连接并读写而A不行。A里面返回NoServerForRegionException.
查了他们的config，在HBaseConfiguration.create时B是有yarn-default.xml和yarn-
site.xml而A没有，还没有测试C里面有没有...
请问版上大牛们，这个yarn跟HBase的连接有关吗？再一个怀疑点时hbase-env.sh需要
放在test/resources里面吗？在B里面放着不过A和C应该都没放。 谢谢指点 |
|
z****e
发帖数: 54598 | 44
yarn主要是给hadoop/hdfs用的
c*我没用过yarn
对于c*来说，yarn不是必需的，甚至我觉得是多余的
etl这种多半是streaming的事
你可以通过storm什么来搞
而且java有的是处理并发的api啥的
你自己写一个也不难啊
job调度我通过vert.x来搞
多线程，异步什么能搞很多东西 |
|
o**********e
发帖数: 18403 | 45 【 以下文字转载自 JobHunting 讨论区 】
发信人: dongfeiwww (在路上), 信区: JobHunting
标 题: Hadoop Spark 学习小结[2014版]
关键字: Spark,Big Data,Hadoop
发信站: BBS 未名空间站 (Sun Aug 17 12:28:34 2014, 美东)
基于很多朋友希望更新这个学习资料，我就尽力按我的积累补充，are you ready, 享
受技术饕餮大餐
#Hadoop
Hadoop社区依然发展迅速，2014年推出了2.3，2.4, 2.5 的社区版本，比如增强
Resource Manager HA,
YARN Rest API, ACL on HDFS...
http://hadoop.apache.org/releases.html
根据我的观察，主要更新在Yarn，HDFS，而Mapreduce几乎停滞了，还有一些feature
属于安全，稳定可靠性一方面也是比较稳定了，但也可以说是瓶颈了。
http://hadoop.apache.org/who.html
这个是Hadoop projec... 阅读全帖 |
|
d*z
发帖数: 172 | 46 The spools of yarn are then shipped through the port of Charleston to
textile and apparel manufacturers across Asia.
这样一个高度自动化的厂就生产了yarn，最后还是要运回去，能雇佣更多员工的成衣制
造厂还是在亚洲，怎么没见一个开到美国来？ |
|
z****e
发帖数: 54598 | 47 认真观察了一下hadoop新版
简直就是一个小型实现得很不彻底的j2ee系统
有些项目连jmx都用上了
yarn里面node manager都有container这个概念了
通信还有rmi这些
都不是很简单的java概念
如果没有一定的基础和经验
感觉连文档都看不懂
一个最简单的yarn代码看起来都会万分痛苦 |
|
l*****t
发帖数: 2019 | 48 hadoop components : mapreduce,hdfs(copycat of google GFS or now colossus),
hbase(copycat of google.BigTable or spanner now), hive, pig, zookeeper,oozie
,flume,sqoop,hcat.etc
hadoop version: many v1 that's.0.x and YARN aka verson hadoop 2.0
hadoop vendor: apache, cloudera, mapr, hortonworks. arguably (who claims
support MapReduce) greenplum, datastax( Cassandra vendor that supports
MapReduce on CFS), Hadapt(Hadoop and SQL),heard couchdb,mongodb all supports
MapReduce now.
Hadoop new:
1) impala ... 阅读全帖 |
|
j****g
发帖数: 17 | 49 7月底阿里巴巴集团CTO Jianfeng Zhang会带领技术团队奔赴美国西雅图和硅谷做技术
分享和招聘，欢迎各位同胞们联系我
以下职位期望Master 毕业5年，PhD毕业3年以及以上，具体情况可以case by case！
工程业务团队 资深岗位 关键词
会员平台 资深产品专家 海外经历、用户产品
技术质量 资深测试架构师 技术质量、软件测试、测试框架
技术质量 资深工程效能专家 工程效能、内部协同、效率提升
创新业务&评价 资深技术专家 信用评价、业务架构
数据服务 资深算法专家 推荐系统、广告系统、机器学习，VR等
数据服务 资深数据科学家 NLP、知识图谱等
数据服务 资深数据产品专家 大数据、国际化
营销平台 资深营销交易产品专家 全球化、产品规划
营销平台 资深架构师 电商架构、分布式业务架构
结算&支付平台 资深支付域... 阅读全帖 |
|
