MapReduce 人个理解
1.MapReduce 理解
- 拆分成 map 过程与 reduce 过程；
- map 可以理解为sql 中的 group by 操作， reduce相当于group by 后的聚合计算 ；
- 一个map 必须对应一个 reduce
- map后会存在 hdfs 中，然后再进行 reduce
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。
2.MapReduce 与 spark 对比
- 用hdfs来作为中间介质(map后的结果存储)，spark是用内存来作为中间介质
- MapReduce不的支持流水线作业（就是reduce 必须等待map完后才能工作，不能像流水线一样，一边map,一边reduce）
- 不支持DAG计算 (MapReduce 一个Map对应一个Reduce, spark中 可以一次map多次 reduce)
更多精彩
