博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce架构
阅读量:6035 次
发布时间:2019-06-20

本文共 569 字,大约阅读时间需要 1 分钟。

hot3.png

 

d7ac7de1e8e050d4d63603d603f806d736a.jpg

1、客户端向Yarn提交一个程序application(包含程序主体applicationMaster和程序启动命令)

2、ResourceManager接收请求后会在集群中寻找一个NodeManager并分配一个Container,与对应的NodeManager通信(rpc通信)并要求container启动applicationMaster;

3、applicationMaster向ResourceManager注册(这样就可以通过yarn的web界面查看任务运行状态),

4、根据任务信息向ResourceManager申请资源(Container);

5、由于是分布式计算,所以applicationMaster申请到资源后会向另外的NodeManager节点和自己的NodeManager节点rpc通信并启动container(运行MapTask和ReduceTask),每个container里面的Task时刻向applicationMaster 汇报( rpc通信)自己运行的状态和进度,为了防止任务失败能及时重启。

6、当任务运行完成,ApplicationMaster会向ResourceManager注销并关闭自己。

 

转载于:https://my.oschina.net/u/3862440/blog/2252674

你可能感兴趣的文章