DataNode的工作机制

DataNode的工作机制

DataNode的工作机制

一个数据块在DataNode以文件的形式在磁盘上保存,分为两个文件,一个是数据本身,
一个是元数据信息(包括数据的长度,校验和,时间戳)

1.DataNode启动后,向NameNode进行注册
2.NameNode返回注册成功
3.以后按照每周期(1小时)上报所有块信息
4.心跳每3秒一次,心跳返回带有NameNode给DataNode的命令
5.超过10分钟+timestamp(可配置)没有接收到心跳包,那么认定该接点不可用

掉线时限参数设置

datanode 进程死亡或者网络故障造成 datanode 无法与 namenode 通信,namenode 不会立
即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS 默认的超时时
长为 10 分钟+30 秒。如果定义超时时间为 timeout,则超时时长的计算公式为:
timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。
而默认的 dfs.namenode.heartbeat.recheck-interval 大小为 5 分钟,dfs.heartbeat.interval 默
认为 3 秒。
需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒,
dfs.heartbeat.interval 的单位为秒。

	<property>
		<name>dfs.namenode.heartbeat.recheck-interval</name>
		<value>300000</value>
	</property>
	<property>
		<name> dfs.heartbeat.interval </name>
		<value>3</value>
	</property>

服役新数据节点

在原有集群基础上动态添加新的数据节点

步骤:
	(1)在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件
		$ pwd
		/opt/module/hadoop-2.7.2/etc/hadoop
		$ touch dfs.hosts
		$ vi dfs.hosts
		添加主机名称(包含新服役的节点)
	
	(2)在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性
		<property>
			<name>dfs.hosts</name>
			<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
		</property>
	
	(3)刷新 namenode
		$ hdfs dfsadmin -refreshNodes	
		Refresh nodes successful
	(4)更新 resourcemanager 节点
		$ yarn rmadmin -refreshNodes
		19/03/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager athostname/ip:8033
	(5)在 namenode 的 slaves 文件中增加新主机名称(不需要分发)
	(6)单独命令启动新的数据节点和节点管理器
		$ sbin/hadoop-daemon.sh start datanode
		$ sbin/yarn-daemon.sh start nodemanager
	(7)在 web 浏览器上检查是否 ok

如果数据不均衡,可以用命令实现集群的再平衡
		102:$ ./start-balancer.sh

退役旧节点

步骤:
	(1)在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts.exclude 文件
		$ pwd
		/opt/module/hadoop-2.7.2/etc/hadoop
		$ touch dfs.hosts.exclude
		$ vi dfs.hosts.exclude
		添加主机名称(要退役的节点)	
		
	(2)在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性
		<property>
			<name>dfs.hosts.exclude</name>
			<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
		</property>
		
	(3)刷新 namenode、刷新 resourcemanager
		$ hdfs dfsadmin -refreshNodes
		Refresh nodes successful
		$ yarn rmadmin -refreshNodes

	(4)检查 web 浏览器,退役节点的状态为 decommission in progress(退役中),说明数据节点正在复制块到其他节点
	(5)等待退役节点状态为 decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。
		注意:如果副本数是 3,服役的节点小于等于 3,是不能退役成功的,需要修改副本数后才能退役。

如果失败:
		$ sbin/hadoop-daemon.sh stop datanode
		$ sbin/yarn-daemon.sh stop nodemanager
		
6)从 include 文件中删除退役节点,再运行刷新节点的命令		
	(1)从 namenode 的 dfs.hosts 文件中删除退役节点
	(2)刷新 namenode,刷新 resourcemanager
	
7)从 namenode 的 slave 文件中删除退役节点 hadoop105
8)如果数据不均衡,可以用命令实现集群的再平衡

DataNode多目录配置

DataNode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本

hdfs-site.xml:

	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
	</property>

本博客仅为博主学习总结,感谢各大网络平台的资料。蟹蟹!!

相关推荐
<p> 欢迎参加英特尔® OpenVINO™工具套件初级课程 !本课程面向零基础学员,将从AI的基本概念开始,介绍人工智能与视觉应用的相关知识,并且帮助您快速理解英特尔® OpenVINO™工具套件的基本概念以及应用场景。整个课程包含了视频的处理,深度学习的相关知识,人工智能应用的推理加速,以及英特尔® OpenVINO™工具套件的Demo演示。通过本课程的学习,将帮助您快速上手计算机视觉的基本知识和英特尔® OpenVINO™ 工具套件的相关概念。 </p> <p> 为保证您顺利收听课程参与测试获取证书,还请您于<strong>电脑端</strong>进行课程收听学习! </p> <p> 为了便于您更好的学习本次课程,推荐您免费<strong>下载英特尔® OpenVINO™工具套件</strong>,下载地址:https://t.csdnimg.cn/yOf5 </p> <p> 收听课程并完成章节测试,可获得本课程<strong>专属定制证书</strong>,还可参与<strong>福利抽奖</strong>,活动详情:https://bss.csdn.net/m/topic/intel_openvino </p> <p> 8月1日-9月30日,学习完成【初级课程】的小伙伴,可以<span style="color:#FF0000;"><strong>免费学习【中级课程】</strong></span>,中级课程免费学习优惠券将在学完初级课程后的7个工作日内发送至您的账户,您可以在:<a href="https://i.csdn.net/#/wallet/coupon">https://i.csdn.net/#/wallet/coupon</a>查询优惠券情况,请大家报名初级课程后尽快学习哦~ </p> <p> <span style="font-size:12px;">请注意:点击报名即表示您确认您已年满18周岁,并且同意CSDN基于商务需求收集并使用您的个人信息,用于注册OpenVINO™工具套件及其课程。CSDN和英特尔会为您定制最新的科学技术和行业信息,将通过邮件或者短信的形式推送给您,您也可以随时取消订阅不再从CSDN或Intel接收此类信息。 查看更多详细信息请点击CSDN“<a href="https://passport.csdn.net/service">用户服务协议</a>”,英特尔“<a href="https://www.intel.cn/content/www/cn/zh/privacy/intel-privacy-notice.html?_ga=2.83783126.1562103805.1560759984-1414337906.1552367839&elq_cid=1761146&erpm_id=7141654/privacy/us/en/">隐私声明</a>”和“<a href="https://www.intel.cn/content/www/cn/zh/legal/terms-of-use.html?_ga=2.84823001.1188745750.1560759986-1414337906.1552367839&elq_cid=1761146&erpm_id=7141654/privacy/us/en/">使用条款</a>”。</span> </p> <p> <br /> </p>
<p> <br /> </p> <p> <br /> </p> <p> <br /> </p> <p> <b><span style="background-color:#FFE500;">【超实用课程内容】</span></b> </p> <p> <span>本课程根据实际开发中总结出来的一些学习思路,从零开始详细讲解</span><span>Flutter</span><span>的基础知识点。从简到难,从浅入深,逐步带领大家了解</span><span>Flutter</span><span>,熟悉</span><span>Flutter</span><span>的组成部分,并且带领大家学习如何使用</span><span>Flutter</span><span>实现</span><span>UI</span><span>功能编写。通过对本视频的学习,你将会掌握</span><span>Flutter</span><span>常用组件和常用布局构建复杂布局、</span><span>Flutter</span><span>路由导航实现多页面构建和交互、</span><span>Flutetr</span><span>手势处理和动画实现动态交互效果,以及如何使用音视频、图片、文字、字体等资源。除此之外,你还可以收获每一章节遇到的重难点问题的解决方案。</span> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b><span style="background-color:#FFE500;">【课程如何观看?】</span></b> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> PC端:<a href="https://edu.csdn.net/course/detail/26277"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/27286"></a><a href="https://edu.csdn.net/course/detail/26858"></a><a href="https://edu.csdn.net/course/detail/26227">https://edu.csdn.net/course/detail/26227</a> </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 移动端:CSDN 学院APP(注意不是CSDN APP哦) </p> <p style="font-family:Helvetica;color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 本课程为录播课,课程永久有效观看时长,大家可以抓紧时间学习后一起讨论哦~ </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <strong><span style="background-color:#FFE500;">【学员专享增值服务】</span></strong> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> <b>源码开放</b> </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 </p> <p class="ql-long-24357476" style="font-family:"color:#3A4151;font-size:14px;background-color:#FFFFFF;"> 下载方式:电脑登录<a href="https://edu.csdn.net/course/detail/26277"></a><a href="https://edu.csdn.net/course/detail/26150"></a><a href="https://edu.csdn.net/course/detail/27286"></a><a href="https://edu.csdn.net/course/detail/26858"></a><a href="https://edu.csdn.net/course/detail/26227">https://edu.csdn.net/course/detail/26227</a>,点击右下方课程资料、代码、课件等打包下载 </p> <p> <br /> </p>
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:马嘣嘣 返回首页