由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Military版 - 30分钟理解Spark的基本原理
进入Military版参与讨论
1 (共1页)
D******s
发帖数: 1
1
https://zhuanlan.zhihu.com/p/70424613
作为大数据计算框架MapReduce的继任者,Spark具备以下优势特性。
1,高效性
不同于MapReduce将中间计算结果放入磁盘中,Spark采用内存存储中间计算结果,减少
了迭代运算的磁盘IO,并通过并行计算DAG图的优化,减少了不同任务之间的依赖,降
低了延迟等待时间。内存计算下,Spark 比 MapReduce 快100倍。
1 (共1页)
进入Military版参与讨论