伪分布式大数据Linux安装和环境部署

安装黑窗口 -- 

利用secureCRT不能上传是需要在Lunix系统安装  运行   yum install lrzsz

-----JDK 安装

上传完成后tar -zxvf java...tar.gz 

配置环境变量  1.vi /etc/profile

　　　　　　  2.export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　　　　export PATH=$PATH:$JAVA_HOME/bin

　　　　　　3.免密登录

　　　　　　

 

 

配置Hadoop环境变量 

　　1.安装目录下创建文件夹（也可不创建，在配置文件中配置由系统生成）

　　　　　　/usr/local/hadoop/hdfs/name

　　　　　　/usr/local/hadoop/hdfs/data

　　　　　　/usr/local/hadoop/tmp

　　2.~/.bash_profile设置环境变量

　　　　　　vi ~/.bash_profile

　　　　　　HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4

　　　　　　PATH=$PATH:$HADOOP_HOME/bin

　　　　　　export HADOP_HOME PATH

　　　　source ~/.bash_profile

　　3.修改hadoop安装包下的配置文件

　　　　目录：/usr/local/hadoop/hadoop-2.6.4/etc/hadoop

 

　　　　A--修改  hadoop-env.sh

　　　　　　export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　B--修改  yarn-env.sh

　　　　　　export JAVA_HOME=/usr/local/src/java/jdk1.7.0_80

　　　　C--修改  core-site.xml　

 1 
 2     
 3         fs.defaultFS
 4         hdfs://Master:9000
 5     
 6     
 7         hadop.tmp.dir
 8         /usr/local/hadoop/tmp
 9           
10 

 

　　　　D--hdfs-site.xml

　　　　

 1 
 2      
 3         dfs.namenode.name.dir
 4         file:/usr/local/hadoop/hdfs/name
 5      
 6     
 7         dfs.datanode.data.dir
 8         file:/usr/local/hadoop/hdfs/data
 9      
10     
11         dfs.replication
12         1
13      
14 

hdfs-site.xml

 

 

　　　　E-- mapred-site.xml.template

　　　　　　复制一份mapred-site.xml.template 修改名称为mapred-site.xml

　　　　　　配置

　　　　　　

　　　　　　

1 
2     mapreduce.framwork.name
3     yarn     
4 

mapred-site.xml

 

　　　　F--yarn-site.xml

　　　　

1 
2     
3         yarn.nodemanager.aux-services
4         mapreduce_shuffle
5           
6 

yarn-site.xml

 

格式化hadoop的bin目录

　　cd /usr/local/hadoop/hadoop-2.6.4/bin

　　./hdfs namenode -format

启动hadoop

　　cd sbin

　　./start-all.sh

查看是否启动完成

　　jps

 

客户端访问8080(hadoop)/50070(hdfs)

　　查看linux防火墙状态　　　　firewall-cmd --state

　　关闭linux防火墙　　　　　　systemctl stop firewalld.service

　　　

　　　　　　

　　　　　　

转载于:https://www.cnblogs.com/qjbbf/p/9724048.html