w***g
发帖数: 5958 | 1 玩hadoop, spark啥的，把台式机/笔记本装成linux，然后直接上single node系统就行。
当然只能处理一些toy dataset。Hadoop的话几个G几十个G的，Spark的话几百M的，单
节点跑没啥问题。基本上就可以看看猪跑了。要吃猪肉的话没有别的办法，只能加入
个需要搞大数据的公司。你就是出钱租了100台机器，一时半会也搞不到那么大的
dataset。
千万别虚拟出几个node跑cluster。Hadoop/Spark是真对物理机器优化的，不是针对虚拟
机优化的。那些啥乱七八糟的软件，单节点都是可以跑的。 | l**********n
发帖数: 8443 | 2 学习了
行。
虚拟
【在 w***g 的大作中提到】
: 玩hadoop, spark啥的，把台式机/笔记本装成linux，然后直接上single node系统就行。
: 当然只能处理一些toy dataset。Hadoop的话几个G几十个G的，Spark的话几百M的，单
: 节点跑没啥问题。基本上就可以看看猪跑了。要吃猪肉的话没有别的办法，只能加入
: 个需要搞大数据的公司。你就是出钱租了100台机器，一时半会也搞不到那么大的
: dataset。
: 千万别虚拟出几个node跑cluster。Hadoop/Spark是真对物理机器优化的，不是针对虚拟
: 机优化的。那些啥乱七八糟的软件，单节点都是可以跑的。
|
|
