`

namenode的edits_fsimage关系

 
阅读更多

 

 

name table = fsimage ,  存放namonode中所有数据,运行时数据加载到内存中存放
edits_inprogress 类似于LSM树中的Log,在向hdfs写的过程都向此文件存放,
                 当存的数据到一定程度/或者定期间隔多久,会把此文件内容跟新到fsimage
     刚开始写数据时会同时向namonode内存和edit中写,
     此时立刻读取刚写入的数据是读取namenode内存和原fsimage内存的数据,
     在当edits的数据合并到fsimage时,在读取写入的那个数据就会在fsimage中读取。

分享到:
评论

相关推荐

    11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

    (1)第一次启动 NameNode 格式化后,创建 fsimage 和 edits 文件 (2)客户端对元数据进行增删改的请求 (3)NameNode 记录操作

    10万字大数据框架总结

    这样,一旦NameNode节点断电,可以通过FsImage和Edits的合并,合成元数据。 但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据 需要的时间过长。因此,需要定期进行...

    【HDFS篇07】NameNode和SecondearyNameNode1

    (1)第一次启动NameNode格式化后,创建Fsimage和Edits文件 (2)客户端对元数据进行增删改的请求 (3)NameNode记录操作日志,更新滚动

    HDFS详解②

    HDFS 文章目录HDFS4 HDFS的数据流4.1 HDFS... 第二阶段:Secondary NameNode工作5.2 Fsimage和Edits解析5.2.1. 概念5.2.2 oiv查看Fsimage文件5.2.3 oev查看Edits文件5.3 CheckPoint时间设置5.4 NameNode故障处理 4 HDF

    大数据开发笔试.docx

    从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化, 这种机制有个问题:因edits存放在Namenode...

    大数据基础整合.pdf

    (4)SecondaryNameNode执⾏完(3 )操作之后,会通过post⽅式将新的 FsImage⽂件发送到NameNode节点上 (5)NameNode将从 SecondaryNameNode接收到的新的 FsImage替换旧的FsImage⽂件,同时将 edit.new替换EditLog...

    大数据开发技术.pdf

    1.SecondaryNameNode 中保存了一份和 namenode 一致的镜 像文件(fsimage)和编辑日志(edits) 。2.在主 namenode 发生 故障时(假设没有及时备份数据) ,可以从 SecondaryNameNode HDFS 读数据流程? 1. 跟 ...

    HDFS进阶总结

    文章目录HDFS进阶总结1.01、HDFS知识点1.1、HDFS概述1.2、HDFS特点1.2.1、优点1.2.2、缺点1.3、HDFS角色1.3.1、Client1.3.2、NameNode1.3.3、DataNode1.3.4、Secondary NameNode1.4、HDFS结构1.5、NN与SNN工作机制...

    Java版水果管理系统源码-big-data-knowledge::open_book:大数据相关知识集锦

    元数据持久化到磁盘,在fsimage中存放元信息,在edits中存放对元信息的操作的文件 定时到NameNode中去获取edit logs,并更新到fsimage 一旦它有了新的fsimage文件,它将其拷贝回NameNode中 NameNode在下次重启时会...

    hadoop分析

    HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制。寻路径流程:路径信息bocks[]triplets[]Client------------》INode---------------------》BlockInfo ...

Global site tag (gtag.js) - Google Analytics