由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字 访问原贴
JobHunting版 - 电面被问到hadoop了
相关主题
● 想学学Hadoop,从wordcount开始● F家onsite面经
● 如何用hadoop 析取各种数据？● 请教可以在线练习 map reduce 的地方？
● hadoop的combiner和partitioner的顺序是什么呢？● 关于mahout的一些问题
● 职位和 candidate 数量的关系● mapreduce 初级问题，请各位大牛指点
● 有人推荐过bigdata的读物● 求问一道用新语言写wordcount的题
● 请问怎样才能很好的学习hadoop (转载)● 最近面的两道题，求解答
● 电话面试一个design问题，看看怎么做● median of N^2 numbers across N machines
● 请教MapReduce怎么找median● 问一个大数据 处理问题
相关话题的讨论汇总
话题: reducer话题: mapper话题: hadoop话题: console话题: wordcount
进入JobHunting版参与讨论
1 (共1页)
b******y
发帖数: 660
1
一门户网站的电面
用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
不写到HDFS，要print到console。
mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
定。
他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。
q****x
发帖数: 7404
2
do you put hadoop as resume keyword?

【在 b******y 的大作中提到】
: 一门户网站的电面
: 用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
: 不写到HDFS，要print到console。
: mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
: console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
: 定。
: 他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。
b******y
发帖数: 660
3
是的。
现在搞明白了，在mapper把每一个不同的term当作一个counter来用就好了。
可以参考这个教程
http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-seri
b******y
发帖数: 660
4
一门户网站的电面
用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
不写到HDFS，要print到console。
mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
定。
他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。
q****x
发帖数: 7404
5
do you put hadoop as resume keyword?

【在 b******y 的大作中提到】
: 一门户网站的电面
: 用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
: 不写到HDFS，要print到console。
: mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
: console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
: 定。
: 他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。
b******y
发帖数: 660
6
是的。
现在搞明白了，在mapper把每一个不同的term当作一个counter来用就好了。
可以参考这个教程
http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-seri
1 (共1页)
进入JobHunting版参与讨论
相关主题
● 问一个大数据 处理问题● 有人推荐过bigdata的读物
● 写一段如何准备large-scale system design的面试吧● 请问怎样才能很好的学习hadoop (转载)
● 发苹果电面面经攒人品● 电话面试一个design问题，看看怎么做
● 一道大数据题，求最优解。● 请教MapReduce怎么找median
● 想学学Hadoop,从wordcount开始● F家onsite面经
● 如何用hadoop 析取各种数据？● 请教可以在线练习 map reduce 的地方？
● hadoop的combiner和partitioner的顺序是什么呢？● 关于mahout的一些问题
● 职位和 candidate 数量的关系● mapreduce 初级问题，请各位大牛指点
相关话题的讨论汇总
话题: reducer话题: mapper话题: hadoop话题: console话题: wordcount

未名新帖统计// 7月16日

#版面帖数(主题数)
-全站4871 (796)
1Military3777 (569)
2Stock341 (51)
3Joke117 (17)
4History116 (3)
5Automobile100 (9)
6USANews55 (9)
7Midlife45 (1)
8Headline41 (41)
9Dreamer33 (13)
10FleaMarket32 (20)
11Living30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)

历史上的今天

  1. faintcat妹妹看进来～～ 发表于12年前.
  2. NSC, PD 1/7/2007, EB2, ... 发表于11年前.
  3. [FBA求购]MJVE2 758 MJVM2 ... 发表于6年前.
  4. 老生常谈,归与不归 发表于10年前.
  5. 【申请】Seattle西雅图 版版主——申请人... 发表于9年前.
  6. 宝宝出生，头骨骨折，求祝福 发表于9年前.
  7. 求推荐舒缓优美的古典音乐 发表于11年前.
  8. 百分之一的北京人上北大 中国网友愤怒(转载） 发表于10年前.
  9. 新人带狗狗Bailey来报道 发表于12年前.
  10. 全世界最有价值的运动队 发表于10年前.
  11. 请问大切诺基的质量如何 发表于6年前.
  12. TNND，军版全是BKC 发表于15年前.
  13. Inception 发表于12年前.
  14. 微软的有些家属可真恶心，为了卖保险脸都不要了 发表于10年前.
  15. 每周坐高铁的苦逼来说说感受吧!! 发表于9年前.
除非另有声明，本站内容采用Creative Commons BY-NC-SA 3.0协议进行许可，转载请注明来自未名观察 - 隐私政策2011-07-24 10:06:12由admin编辑