1 简介
Hdfs federation实际是把多个hdfs集群统一到一个命名空间下。
Hdfs federation 作用扩大NN容量,共享DN数据,且方便客户端访问。
如何实现federation哪?使用client side mount table。
使用场景:
a) 集群一部分对内使用,一部分对外开放 可以做成两个ha下的federation,第一个对内访问 第二个对外使用
b) 一般发部分应用下 namenode内存在64G已经算是很不错了 可以不使用federation,仅扩大内存即可
c) 使用federation的好处是 增强namenode的吞吐量,在namenode吞吐量收到瓶颈下可以考虑使用federation
2 结构图:
不同namenode管理不同集群的datanode 但是这些datanode针对不同nn共享磁盘,防止某集群dn使用率不高问题。
看上图,可以看到不同颜色的dn data block 会存储在dn中,同时根据颜色他们(幼儿园的孩子)会自动找到他们的妈妈(nn)
多个NN共用一个集群里DN上的存储资源,每个NN都可以单独对外提供服务 每个NN都会定义一个存储池,有单独的id,每个DN都为所有存储池提供存储 DN会按照存储池id向其对应的NN汇报块信息,同时,DN会向所有NN汇报本地存储可用资源情况 如果需要在客户端方便的访问若干个NN上的资源,可以使用客户端挂载表,把不同的目录映射到不同的NN,但NN上必须存在相应的目录 这样设计的好处大致有: 改动最小,向前兼容 现有的NN无需任何配置改动. 如果现有的客户端只连某台NN的话,代码和配置也无需改动。 分离命名空间管理和块存储管理 提供良好扩展性的同时允许其他文件系统或应用直接使用块存储池 统一的块存储管理保证了资源利用率 可以只通过防火墙配置达到一定的文件访问隔离,而无需使用复杂的Kerberos认证 客户端挂载表 通过路径自动对应NN 使Federation的配置改动对应用透明
3 安装待补充
相关推荐
Hadoop2.5.1的HA+Federation的详细配置,经典之作!(很详细的)
hadoop 2的安装,以及配置。。。
hadoop2.X新特性介绍
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
hadoop HA
第3~5章分别介绍了Namenode、Datanode以及HDFS客户端这三个组件的实现细节,同时穿插介绍了HDFS 2.X的新特性,例如Namenode HA、Federation Namenode等。 阅读《Hadoop 2.X HDFS源码剖析》可以帮助读者从架构设计与...
天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都被单点故障的问题所困扰,...在Hadoop2.
hadoop简介,可以初步认识hadoop
hadoop2x-eclipse-plugin
Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建
hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。
With Hadoop 2.x and YARN, Hadoop moves beyond MapReduce to become practical for virtually any type of data processing. Hadoop 2.x and the Data Lake concept represent a radical shift away from ...
Hadoop 相关项目简介,hadoop生态体系涉及到的组件的大概介绍
赠送jar包:hbase-hadoop2-compat-1.2.12.jar; 赠送原API文档:hbase-hadoop2-compat-1.2.12-javadoc.jar; 赠送源代码:hbase-hadoop2-compat-1.2.12-sources.jar; 赠送Maven依赖信息文件:hbase-hadoop2-compat-...
2_Hadoop与Spark简介.pptx
英文的,讲解hadoop1.x与hadoop2.x配置异同
hadoop相关开发所需java开发工具包,可以将其直接导入eclipse等开发工具中直接使用。
hadoop 2.x 安装文档 hadoop 2.5配置
hadoop1升级到hadoop2具体步骤及方法
hadoop2.x安装指南.