BD基础02mapreduce,yarn
SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。
1 算切片,检查路径,提交资源到hdfs最终要求2分布作业
2 调度和资源管理两个任务,1触发2作业后,2从hdfs把切片下载过了,根据资源负载情况,来考虑每个切片的map该去哪个节点。Task Tracker同步心跳,知道处理哪个作业了。从对应的路径取到jar包,然后启动JVM进程,如果2告诉T T是map或者是reduce,就开始跑map或者reduce。
Datanode存数据, TT干活的。
03yarn

更多精彩