w******u
发帖数: 219 | 1 【 以下文字转载自 Programming 讨论区 】
发信人: withtaku (bugua), 信区: Programming
标 题: 请问怎样才能很好的学习hadoop
发信站: BBS 未名空间站 (Tue Jun 9 13:04:58 2015, 美东)
新手，想学习hadoop
首先准备看一下书，比如hadoop: the definitive guide
但是最好有可以上手的机会，比如处理有一定规模的数据。请问大家知道哪里有相关的
project和教程吗？是否非得需要好多台机器？个人感觉没有这个条件。还是一台机器
弄好多台虚拟节点就可以了呢？谢谢！ |
S*******3
发帖数: 4 | |
i*******6
发帖数: 107 | |
a********5
发帖数: 1631 | 4 单机可以跑，配置也不麻烦。
【在 w******u 的大作中提到】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: withtaku (bugua), 信区: Programming
: 标 题: 请问怎样才能很好的学习hadoop
: 发信站: BBS 未名空间站 (Tue Jun 9 13:04:58 2015, 美东)
: 新手，想学习hadoop
: 首先准备看一下书，比如hadoop: the definitive guide
: 但是最好有可以上手的机会，比如处理有一定规模的数据。请问大家知道哪里有相关的
: project和教程吗？是否非得需要好多台机器？个人感觉没有这个条件。还是一台机器
: 弄好多台虚拟节点就可以了呢？谢谢！
|
w******u
发帖数: 219 | 5 谢谢，请问具体有什么资料教程吗，还有哪儿有比较好的dataset
需要单机配置比较好吗
【在 a********5 的大作中提到】
: 单机可以跑，配置也不麻烦。
|
a********5
发帖数: 1631 | 6 单机只能跑单机模式，如果你不需要任何特别的distribution的话，官网就有教程，大
概一下午就可以配好。
我记得不太清楚了，没记错的话单机模式只能跑最多3（？）个REDUCER。
DATASET当然是看你自己的需求去找，然后灌进去
【在 w******u 的大作中提到】
: 谢谢，请问具体有什么资料教程吗，还有哪儿有比较好的dataset
: 需要单机配置比较好吗
|
n******r
发帖数: 147 | |
h*********p
发帖数: 13 | 8 个人建议一开始不要用Cloudera和Hortonworks的VM，这都是配置好的环境，不利于了
解Hadoop的底层构造。
从Apache Hadoop开始，手动安Zookeeper，Hive，Pig，Sqoop，Oozie，Hue等组件。
这样你就对最基本的administration和HDFS/YARN架构有个粗浅了解。
然后去看Definitive Guide那本书，了解基本的MapReduce，不用看太细，现在没人直
接写这个
这样你就有了理解Hive和Pig的基础
剩下的HBase，Zookeeper，Sqoop根据需要看。 |
w******u
发帖数: 219 | 9 谢谢
请问你说的手动安的这些东西，都是一起只用一台机器就可以搞定，还是得好多台机器？
还有Zookeeper，Hive，Pig这些的安装就是看看他们的document吗，有没有什么资料指
导如何把它们都在一台机器上如何搭好的？
【在 h*********p 的大作中提到】
: 个人建议一开始不要用Cloudera和Hortonworks的VM，这都是配置好的环境，不利于了
: 解Hadoop的底层构造。
: 从Apache Hadoop开始，手动安Zookeeper，Hive，Pig，Sqoop，Oozie，Hue等组件。
: 这样你就对最基本的administration和HDFS/YARN架构有个粗浅了解。
: 然后去看Definitive Guide那本书，了解基本的MapReduce，不用看太细，现在没人直
: 接写这个
: 这样你就有了理解Hive和Pig的基础
: 剩下的HBase，Zookeeper，Sqoop根据需要看。
|
l****x
发帖数: 365 | |
h*****2
发帖数: 2070 | 11 一台就可以了。
我不建议直接用VM（不知道谁想的馊主意），也不建议从apache装。你装一个distro就
可以了。你不是system admin，完全从头开始其实是本末倒置。
器？
【在 w******u 的大作中提到】
: 谢谢
: 请问你说的手动安的这些东西，都是一起只用一台机器就可以搞定，还是得好多台机器？
: 还有Zookeeper，Hive，Pig这些的安装就是看看他们的document吗，有没有什么资料指
: 导如何把它们都在一台机器上如何搭好的？
|
