Hadoop之——hadoop1.2.1伪分布式搭建

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51314065

0.使用host-only方式

    将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段

    注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同

1.Linux环境配置（windows下面的防火墙也要关闭）

1.1修改主机名

vim /etc/sysconfig/network

1.2修改IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"   ###
HWADDR="00:0C:29:BF:45:8B"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
IPADDR="192.168.1.110"   ###
NETMASK="255.255.255.0"  ###
GATEWAY="192.192.1.1"    ###

1.3修改主机名和IP的映射关系

vim /etc/hosts
		
192.168.1.110 liuyazhuang

1.4关闭防火墙

查看防护墙状态
service iptables status

关闭
service iptables stop

查看防火墙开机启动状态
chkconfig iptables --list

关闭开机启动
chkconfig iptables off

1.5安装JDK

上传JDK
添加执行权限
chmod u+x jdk-6u45-linux-i586.bin

解压
./jdk-6u45-linux-i586.bin

mkdir /usr/java
mv jdk1.6.0_45/ /usr/java/

将java添加到环境变量
vim /etc/profile
在文件的末尾添加如下内容

export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin

刷新配置
source /etc/profile

2.配置hadoop

2.1上传hadoop包

2.2解压hadoop包

    首先在根目录创建一个cloud目录

mkdir /cloud
		
tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/

2.3配置hadoop伪分布式（要修改4个文件）

第一个：hadoop-env.sh
vim hadoop-env.sh
	export JAVA_HOME=/usr/java/jdk1.6.0_45

第二个：core-site.xml
vim core-site.xml
	
	<configuration>
			<!-- 指定HDFS的namenode的通信地址 -->
			<property>
					<name>fs.default.name</name>
					<value>hdfs://liuyazhuang:9000</value>
			</property>
			<!-- 指定hadoop运行时产生文件的存放目录 -->
			<property>
					<name>hadoop.tmp.dir</name>
					<value>/cloud/hadoop-1.1.2/tmp</value>
			</property>
	</configuration>
	
第三个：hdfs-site.xml
vim hdfs-site.xml
	<configuration>
		<!-- 配置HDFS副本的数量 -->
		<property>
				<name>dfs.replication</name>
				<value>1</value>
		</property>
	</configuration>
	
第四个：mapred-site.xml
vim mapred-site.xml
	<configuration>
			<!-- 指定jobtracker地址 -->
			<property>
					<name>mapred.job.tracker</name>
					<value>liuyazhuang:9001</value>
			</property>
	</configuration>

2.4将hadoop添加到环境变量

vim /etc/profile
		
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/cloud/hadoop-1.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

2.5格式化HDFS

hadoop namenode -format

2.6启动hadoop

start-all.sh

2.7验证集群是否启动成功

jps(不包括jps应该有5个)
NameNode
SecondaryNameNode
DataNode
JobTracker
TaskTracker
还可以通过浏览器的方式验证
http://192.168.1.110:50070 (hdfs管理界面)
http://192.168.1.110:50030 (mr管理界面)

在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc

3.配置ssh免登陆

生成ssh免登陆密钥
ssh-keygen -t rsa
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys