SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

BD基础02mapreduce,yarn 随笔 第1张

 

1  算切片,检查路径,提交资源到hdfs最终要求2分布作业

2  调度和资源管理两个任务,1触发2作业后,2从hdfs把切片下载过了,根据资源负载情况,来考虑每个切片的map该去哪个节点。Task Tracker同步心跳,知道处理哪个作业了。从对应的路径取到jar包,然后启动JVM进程,如果2告诉T T是map或者是reduce,就开始跑map或者reduce。

Datanode存数据, TT干活的。

 

BD基础02mapreduce,yarn 随笔 第2张

 

 

 

 

 03yarn

BD基础02mapreduce,yarn 随笔 第3张

 BD基础02mapreduce,yarn 随笔 第4张

BD基础02mapreduce,yarn 随笔 第5张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄