hadoop伪分布式集群搭建--------来瞅瞅吧

集群搭建

一、基础操作

1. 上传：
   yum install lrzsz -y ------可以下载上传操作指令
   rz -------可以进行上传文件
2. 解压：
   tar -zxvf jdk
   tar -zxvf hadoop-2.6.5.tar.gz

如果是克隆多台机器 network中的主机名一定要修改
vim /etc/sysconfig/network

二、配置文件

1. 配置jdk环境变量

	vim /etc/profile
	export JAVA_HOME=/opt/software/jdk1.8.0_121
	export PATH=$PATH:$JAVA_HOME/bin
	source /etc/profile-----------让环境变量生效
	注：用户变量  .bashrc
	   系统变量  /etc/profile

2. 配置hadoop环境变量

	bin-----系统的操作命令（文件的增删改查）
	sbin----系统的管理命令（集群的启动、关闭）

	进入到hadoop-2.6.5文件中 使用etc/hadoop-----配置信息
	（1）slaves-----节点（Datenode）
	（2）hdfs-site.xml 
			
				dfs.replication     //设置备份个数
				1
			
			     
				dfs.namenode.secondary.http-address   //secondaryNamenode
				node01:50090
			
	（3）core-site.xml
			
				fs.defaultFS            //nameNode
				hdfs://node01:9000    
			
			
				hadoop.tmp.dir          //nameNode启动后产生的信息
				/var/abc/hadoop/local
			
	（4）把*-env.sh结尾的文件内部所有的javaHome路径改为绝对路径
		
	注：node01记得换成自己主机名

3. 配置免密登录

	在根目录中
	ssh-keygen -t rsa（一直回车）
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 （需要输入登录时的密码）
    -----node01自己的主机名

三、实现完成搭建

1. 格式化

	hdfs namenode -format        让所有文件生效（建议只格式化一次）

2. 启动命令

	你的hadoop中sbin的路径下，执行./start-dfs.sh
	例如：/opt/software/hadoop-2.6.5/hadoop/sbin    ./start-dfs.sh

3. 查看是否成功
   通过自己电脑的浏览器输入地址
   你的ip+50070
   例如：192.168.222.130:50070
   浏览器显示以下图片信息便是成功