逆寒手游活动资讯网

NodeManager详细组件及功能

NodeManager

NodeManager是Yarn中单节点的代理,它管理Hadoop集群中单个计算节点,其需要与应用程序的ApplicationMaster和集群资源管理器RM交互,从ApplicationMaster上接收到相关Container的执行命令(启动,停止Container);并向RM汇报各个Container的运行状态和节点健康状态,并领取相关的Container的执行命令;其主要的功能包括与RM保持通信,管理Container的生命周期,监控每个Container的资源使用情况,追踪节点健康状况,管理日志以及不同应用程序用到的附属服务;

NodeManager基本功能与其协议接口

NodeManager通过两个RPC协议与RM和各个ApplicationMaster进行通信:

ResourceTrackerProtocol协议:NodeManager通过该RPC协议向RM注册,汇报节点的健康状态以及Container的运行状态,并领取RM下发的命令例如重新初始化Container,清理Container占用的资源等;在这个协议中NodeManager主动向RM发送请求,RM响应其NodeManager的请求;ResourceTrackerProtocol协议主要提供了以下两个RPC函数:

registerNodeManager:NodeManager启动时通过该RPC函数向ResourceManager注册,注册信息由RegisterNodeManagerRequest封装的,包括如下三部分内容:

httpPort:该NodeManager对外提供的HTTP端口号,ResourceManager会在界面上提供一个可直接访问NodeManager Web界面的超链接

nodeId:该NodeManager所在的host和对外的RPC端口号

totalResource:该NodeManager所在节点总的可分配资源,当前支持内存和虚拟CPU两种资源,管理员可通过参数yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb配置 ResourceManager将通过registerNodeManager函数向NodeManager返回一个RegisterNodeManagerResponse类型的对象,主要包含以下信息 :

MasterKey:新生成的Container Token和Node Token的Master Key

NodeAction:ResourceManager向该NodeManager返回的下一步操,主要包括NORMAL、RESYNC、SHUTDOWN三种,分别表示正常,重新同步信息和停止运行

rmIdentifier:ResourceManager的标示符,NodeManager通过该标识符判断ApplicationMaster发送的Container来自原始的还是新启动的ResourceManager

diagnosticsMessage:NodeManager注册失败时,将收到一段诊断信息,告知具体的失败原因

nodeHeartbeat:NodeManager启动后,定期通过该RPC函数向ResourceManager汇报Container运行信息和节点健康状况,并领取新的命令,比如杀死一个Container

ContainerManagementProtocol协议:应用程序的ApplicationMaster通过该RPC协议向NodeManager发起针对Container的相关操作,包括启动Container,杀死Container和获取Container;ContainerManagementProtocol协议主要提供了以下三个RPC函数:

startContainer:ApplicationMaster通过该RPC要求NodeManager启动一个Container。该函数有一个StartContainerRequest类型的参数,封装了Container启动所需的本地资源、环境变量、执行命令、Token等信息。如果Container启动成功,则该函数返回一个StartContainerResponse对象

stopContainer:ApplicationMaster通过该RPC要求NodeManager停止(杀死)一个Container。该函数有一个StopContainerRequest类型的参数,用于指定待杀死的Container ID,如果Container被成功杀死,则该函数返回一个StopContain

2025-11-15 23:07:56


戒指尺寸号码对照表 怎么判断自己戒指几号
增值服务