hadoop1.1.2分布式安装（完备版）

  

 

0 简介：

一共5个节点，hadoop0(namenode,jobtracker), hadoop1(secondnamenode),

剩下hadoop2,hadoop3,hadoop4为datanode

 

节点环境：

a) VMware8

b) CentOS-5.8-i386

c) win7-64位-旗舰 6G内存

d) hadoop-1.1.2.tar

e) jdk-6u24-linux-i586.bin

f）SSHSecureShellClient-3.2.9

g) 如下操作都是用root用户

h) 每台虚拟机网络连接均采用桥接方式，内存为512M

 

1 安装hadoop0节点虚拟机，后设置静态IP

 

设置静态IP操作如下：

 

1 进入目录/etc/sysconfig/network-scripts/
2 ls查看 找文件名为ifcfg-ethX的文件， X表示一个数字，通常是0或者2 eg: ifcfg-eth0
3 vi ifcfg-eth0  修改里面信息如下：
[root@localhost network-scripts]# more ifcfg-eth0 
DEVICE=eth0 
BOOTPROTO=static
HWADDR=00:0C:29:B6:55:64
NETMASK=255.255.255.0
IPADDR=192.168.1.110
GATEWAY=192.168.1.1

				
说明如下：
a)DEVICE=eth0 中名称一般和 ifcfg-eth0的-后面名称对应,可以通过# ifconfig -a查看第一个单词名称即为设备名称
BOOTPROTO=static 表示是静态地址


b) HWADDR=00:0C:29:B6:55:64 表示当前机器MAC地址，如通过克隆创建别的节点，需要修改为当前节点MAC地址，
否则修改IP后执行service network restart 重启网卡设置时，
报错为Bringing up interface eth0:  Device static does not seem to be present, delaying initialization.

查询当前节点MAC地址操作如下：
# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:B6:55:64     
找到HWaddr对应的数据 然后粘贴到	ifcfg-eth0即可		

c) 如下即是真正设置项
NETMASK=255.255.255.0
IPADDR=192.168.1.110
GATEWAY=192.168.1.1

4 修改好后，保存vim
5 执行命令service network restart重启网卡设置
6 执行命令ifconfig查看配置结果是否正确

 

2 hadoop0设置hostname,ip和机器名映射，关闭防火墙

 

2.1 设置hostname
(1)使用vi编辑/etc/sysconfig/network
   把HOSTNAME的值改为hadoop0，保存退出。
   HOSTNAME=hadoop0
(2)执行hostname hadoop0，在当前环境中立即生效   
(3)执行命令hostname查看设置结果
[root@localhost ~]# hostname hadoop0
[root@localhost ~]# hostname
hadoop0

2.2 绑定ip与hostname
   编辑文件/etc/hosts，增加ip与hostname的映射信息
   192.168.1.110   hadoop0

2.3 关闭防火墙
(1) 执行命令service iptables stop关闭防火墙
(2)执行命令service iptables status查看防火墙是否正在运行 
[root@localhost ~]# service iptables status
Firewall is stopped.

2.4 关闭防火墙的自动运行
(1) 执行命令chkconfig iptables off 
验证如下：
[root@localhost ~]# chkconfig --list | grep iptables
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

后重启机器,reboot后在查看命令行，
[root@hadoop0 ~]#   发现机器名已经修改完毕

 

 3 安装JDK：

 

通过ssh工具上传jdk-6u24-linux-i586.bin到 usr/local/下

执行命令 

    (1)cd /usr/local (将原来目录内文件删除)
    (2)chmod u+x jdk-6u24-linux-i586.bin (给用户针对jdk-6u24-xxx文件增加执行权限)
    (3)./jdk-6u24-linux-i586.bin (解压文件)
    (4)mv jdk-1.6.0_24  jdk1.6 （文件重命名） 
    (5)vi /etc/profile 空白处增加内容如下:
        export JAVA_HOME=/usr/local/jdk1.6
        export PATH=.:$JAVA_HOME/bin:$PATH
    (6)source /etc/profile (刷新环境变量 立即生效)
    #  java -version 
	java version "1.6.0_24"
	Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
	Java HotSpot(TM) Client VM (build 19.1-b02, mixed mode, sharing)

 

  4 通过vmware工具 完成克隆hadoop0机器，克隆出hadoop1，hadoop2，hadoop， hadoop4

  

    在vmware工具上，在hadoop0节点上右键/manage/clone/下一步/出现下图,

  

 

选择好克隆后的节点名称和磁盘存放位置即可，依次克隆出节点hadoop1，hadoop2，hadoop， hadoop4后，按照上面1,2,3的步骤，配置好新节点的 IP,机器别名，IP和别名映射，防火墙

（因为克隆，所以JDK已经安装好）

 

5   配置hadoop0到其余4个节点ssh免密码登陆

 

a) hadoop集群在启动时，主节点需要通过ssh登陆到从节点启动进程从而启动从节点，因此仅仅需要

将主节点的 公钥文件拷贝到其余节点即可，因为是内网集群，设置免密码登陆，关闭防火墙更快速高效的实现集群通讯

 

b)

a) hadoop0中增加其余节点机器别名配置，增加后如下
[root@hadoop0 ~]# cat /etc/hosts 
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.1.110   hadoop0
192.168.1.111   hadoop1
192.168.1.112   hadoop2
192.168.1.113   hadoop3
192.168.1.114   hadoop4

b) 在节点hadoop0,1,2,3,4中，通过命令ssh-keygen -t rsa 不断回车，生成rsa密钥对 
后在hadoop0中，通过如下命令将hadoop0的公钥文件拷贝到其余4台节点中
[root@hadoop0 .ssh]# ssh-copy-id -i hadoop1，2,3,4
执行完后去hadoop1,2,3,4查看 /root/.ssh/ 会生成 authorized_keys ，
more  authorized_keys 会发现 root@hadoop0进来了，代码如下：
[root@hadoop1 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub
[root@hadoop1 .ssh]# more authorized_keys 
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA7IdyDdRLDtW//xhFJK7BrpGlyRKhrtLxw+4q6YZOk6yT
gR18sSSjiOfMFjV6KGJy0PHpVkOc3JJ7uYRVGaojZW6+sVD65rlOzwHKbxXOcGKggLU13SwGb3/jpbxf
ZccHr6KeRPMmV80B89A1YNed4eHhGJzJidC6lxaVC4U9Kt6FB9cqXXNbjqe4xbpMyJVi+Q/FqVnl9LLj
QmLg1vot2m4aIMDd2bA5qnu1LOHF7PnnmxwjSUbB/McWc5QVxbKR2mrqh2wMeW1KEPMUuRSPGXWzwMBm
ivjgF1D3qMxmsW3M5YtqQeXSV7/KkBS8uR72ka8+OtPFcIwDRQGJ49Tx/w== root@hadoop0


c) hadoop0中，尝试 ssh hadoop1,2,3,4 确认ssh无秘钥通过

 

c) 补充遗漏的两项：

1) 确保ssh hadoop0自身通过，操作方式如下： 
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

2) 将hadoop0的host拷贝到其余节点（内容如下）
[root@hadoop0 logs]# more /etc/hosts
::1             localhost6.localdomain6 localhost6
192.168.1.110   hadoop0
192.168.1.111   hadoop1
192.168.1.112   hadoop2
192.168.1.113   hadoop3
192.168.1.114   hadoop4
拷贝命令如下：
[root@hadoop0 logs]# scp /etc/hosts hadoop1:/etc/hosts
hosts                                                                      100%  307     0.3KB/s   00:00    
[root@hadoop0 logs]# scp /etc/hosts hadoop2:/etc/hosts
hosts                                                                      100%  307     0.3KB/s   00:00    
[root@hadoop0 logs]# scp /etc/hosts hadoop3:/etc/hosts
hosts                                                                      100%  307     0.3KB/s   00:00    
[root@hadoop0 logs]# scp /etc/hosts hadoop4:/etc/hosts
hosts    

 

 

 6 在hadoop0中安装HADOOP 并修改配置文件

 

a) 拷贝 hadoop文件到 /usr/local下
b) 解压缩安装，
    (1)tar -zxvf hadoop-1.1.2.tar.gz
    (2)mv hadoop-1.1.2 hadoop
    (3)vi /etc/profile 增加内容如下:
        export JAVA_HOME=/usr/local/jdk
        export HADOOP_HOME=/usr/local/hadoop
        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
    (4)source /etc/profile
    (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml  masters  slaves  修改后如下：

	hadoop-env.sh：
    export JAVA_HOME=/usr/local/jdk1.6
	
	
	core-site.xml：
	<configuration>
	<property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
	</configuration>
	
	hdfs-site.xml：
	<configuration>
	<property>
	  <name>dfs.http.address</name>
	  <value>0.0.0.0:50070</value>
	</property>
	<property>
			<name>dfs.replication</name>
			<value>3</value>
		</property>
		<property>
			<name>dfs.permissions</name>
			<value>false</value>
		</property>
	</configuration>

	mapred-site.xml
	<configuration>
	<property>
			<name>mapred.job.tracker</name>
			<value>hadoop0:9001</value>
		</property>
		<property>
	  <name>mapred.job.tracker.http.address</name>
	  <value>0.0.0.0:50030</value> 
	</property>  
	</configuration>
	
	conf/masters: 
	hadoop1

	conf/slaves:
	hadoop2
	hadoop3
	hadoop4

 

 

7 将hadoop0中的hadoop SCP到1,2,3,4

 

[root@hadoop0 local]# scp -r hadoop hadoop1:/usr/local/
[root@hadoop0 local]# scp -r hadoop hadoop2:/usr/local/
[root@hadoop0 local]# scp -r hadoop hadoop3:/usr/local/
[root@hadoop0 local]# scp -r hadoop hadoop4:/usr/local/

 

8 hadoop0中启动HADOOP集群

 

启动命令如下：
# hadoop namenode -format
# start-all.sh

查看
[root@hadoop0 hadoop]# jps
15913 NameNode
16090 JobTracker
16196 Jps


[root@hadoop1 conf]# jps
12765 Jps
12677 SecondaryNameNode

去别的节点可以到datanode的jps

 

 

9  如果启动失败，查看日志说明如下：

 

a) 查看日志， 
[root@hadoop0 logs]# ls
hadoop-root-jobtracker-hadoop0.log  hadoop-root-namenode-hadoop0.log  history
hadoop-root-jobtracker-hadoop0.out  hadoop-root-namenode-hadoop0.out

日志格式如下：
hadooop-当前用户-当前进程-主机名.log
hadooop-当前用户-当前进程-主机名.out ---> 临时文件，不存放数据

b) more hadoop-root-namenode-hadoop0.log 和 more hadoop-root-jobtracker-hadoop0.log 可以看到报错原因，
eg:  如果hadoop0没有ssh通自己，报错如下：
java.net.ConnectException: Call to hadoop0/192.168.1.110:9000 failed on connection exception: java.net.ConnectException: Connection refused

如果端口已经被占用了，通过如下方式来处理
查看进程详细 包括开启的人：  netstat -ant | grep 9000   
杀死已经被使用的端口： kill -9 9000

 

 10 如上集群如果NameNode和JobTracker不在一个节点上的做法：

1.搭建集群环境，NameNode和JobTracker不在一个节点上。
  假设NameNode在hadoop0上，JobTracker在hadoop1上。
1.1 NameNode所在节点是通过配置文件core-site.xml的fs.default.name的值体现的。
    值还是hdfs://hadoop0:9000
	 
	JobTracker所在节点是通过配置文件mapred-site.mlx的mapred.job.tracker的值体现的。
	值修改为http://hadoop1:9001
	
	
1.2 在hadoop0上执行命令hadoop-daemon.sh start namenode
    在hadoop1上执行命令hadoop-daemon.sh start jobtracker
	在hadoop1上执行命令hadoop-daemon.sh start secondarynamenode
	在hadoop2上执行命令hadoop-daemons.sh start datanode
	在hadoop2上执行命令hadoop-daemons.sh start tasktracker  // 这样就会启动多个datanode 去slaves文件中找
	（前提是 hadoop2,3,4能ssh互通， 此时到是建议每个节点都生成各自authorized-keys后，通过ssh-copy-id -i确定所有节点都互通 
	  具体操作 见 文章 hadoop1.1.2分布式安装(简单借鉴 建议看本系列之完备版) ）
	  
1.3	关闭集群时，按照上述顺序倒过来，并将start 修改成stop 即可

 

 

11 部署成功后，通过http 查看datanode节点确认是否安装成功：

 

a) 安装成功访问datanode节点界面如下：

 

b)  通过 hadoop shell 上传一文件后([root@hadoop0 hadoop]# hadoop fs -ls hdfs://hadoop0:9000/ )

   

看逻辑结构显示(显示只有一份)和物理存储显示（显示为三份）

 

 

 

通过访问地址http://hadoop0:50070/dfshealth.jsp 点击Browse the filesystem 后，可以看到上传文件存储物理位置：

 

 

 

OK， 安装成功 文档结束。