hdfs写数据流程（面试重点）

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目录文件是否都已经存在，夫目录是否存在。

（2）NameNode返回是否可以上传。

（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。

（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

（6）dn1、dn2、dn3逐级应答客户端。

（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

网络拓扑-节点距离计算

在hdfs写数据过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。

怎么计算最近距离？

节点距离：两个节点到达最近的共同祖先的距离总和。

Distance（d1/r1/n0,d1/r1/n0）=0;

Distance（d1/r1/n1,d1/r1/n2）=1+1=2;

Distance（d1/r2/n1,d1/r3/n2）=2+2=4;

Distance（d1/r2/n0,d2/r4/n1）=3+3=6;

机架感知（副本存储节点选择）

机架感知（replication副本存储节点选择）数据可靠性，传递速度快

副本节点选择：

第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个节点。（上传速度最快）

第二个副本在另一个机架的随机一个节点。（数据可靠性）

第三个副本在第二个副本所在机架的随机节点。（速度）

hdfs读取数据流程

（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）

（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

NameNode中的元数据是存储在哪里的？

namenode的元数据（磁盘、数据）：（Fslmage存储数据+edits追加修改）合并到fsimage，开机的时候就会将fsimage加载到内存。

1）第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage。

 DataNode工作机制

（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。

（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

（4）集群运行中可以安全加入和退出一些机器。