DataNode作用概述
DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
- 存储实际的数据块
- 执行数据块的读/写操作
DataNode工作机制
- 一个数据块在
DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。开启服务器后，在安全模式下，DataNode向NameNode注册 NameNode返回注册成功信息DataNode返回块信息，在NameNode中fsimages文件的元数据中只有保存具体的块的ID，但是并没有保存这些块是在保存在哪个DataNode上，这个步骤就是用来解决这个问题，并且DataNode会定期（每6个小时）会自动上报一次这些信息到NameNode中，应该实际运行中，服务器往往很久关一次的DataNode之间也3秒完成一次“心跳”，也就是双向传递信息，DataNdde向NameNode传递当前的状态信息（正常运行还是异常），NameNode每次接到信息后，就会返回要求DataNode所需要做的工作,心跳是每3秒一次，如复制块数居到另一台机器，或删除某个数据块。如果超过10分钟30秒没有收到某个DataNode的心跳，则人为该节点不可用
如果定义超时时间为
TimeOut，则超时时长的计算公式为:
TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval
而默认的dfs.namenode.heartbeat.recheck-interval大小为5分钟，dfs.heartbeat.interval默认为3秒
可以通过hdfs-site.xml进行配置，其中dfs.namenode.heartbeat.recheck-interval的单位是毫秒，而dfs.heartbeat.interval的单位是秒
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs-heartbeat.interval</name>
<value>3</value>
</property>
- 集群中可安全加入或者退出一些机器
数据完整性
DataNode保证数据完整性的方法
读取过程的完整性保障
- 当
DataNode读取Block的时候，它会计算CheckSum（校验和） - 如果计算后的
CheckSum，与Block创建时值不一样，说明Block已经损坏 Client发现Block损坏后就会去其他的服务器去读取该Block的副本
常见的校验算法
crc (32)、md5( 128)、sha1 ( 160)（数字表示校验的位数，校验的位数越大越准确）。DataNode在其文件创建后周期验证CheckSum
DataNode的自省
DataNode每隔一段时间进行检查数据块的及其校验和，当发现错误信息就进行清除，当定期上报Block信息的时候，NameNode会根据实际Block缺失的情况，命令其他DataNode创建到缺失副本的服务器中
