Resilient Distributed Datasets

RDD弹性

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

1）自动进行内存和磁盘数据存储的切换

2）基于血统的高容错机制

3）Task、Stage 如果失败会自动进行特定次数的重试【默认次数是4次】

5）Checkpoint 和 Persist（持久化） 可主动或被动触发

RDD可以通过Persist持久化将RDD缓存到内存或者磁盘，当再次用到该RDD时直接读取就行。也可以将RDD进行检查点，检查点会将数据存储在HDFS中，该RDD的所有父RDD依赖都会被移除。

6）数据调度弹性

7）数据分片的高度弹性

 

可以根据业务的特征，动态调整数据分片的个数，提升整体的应用执行效率。

 

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄