Hadoop初级之Hadoop伪分布安装

1. 在opt下创建文件夹hadoopdata用于存放hadoop的一些元数据
2. 上传hadoop压缩包到opt下，解压
3. 解压完成为
5. 进入以下路径，做一些配置修改 ./hadoop-2.7.2/etc/hadoop/
7. 编辑hadoop-env.sh  配置自己jdk路径
9. 编辑core-site.xml ，配置ip，端口，读取文件缓冲大小

fs.defaultFS hdfs://jh01:9000 io.file.buffer.size 4096

1. 编辑hdfs-site.xml，配置副本数等。看图

dfs.replication 3 dfs.namenode.name.dir file:///opt/hadoopdata/dfs/name dfs.datanode.data.dir file:///opt/hadoopdata/dfs/data dfs.http.address jh01:50070 dfs.secondary.http.address jh02:50090 dfs.webhdfs.enabled true dfs.permissions false

13.cp mapred-site.xml.template mapred-site.xml

14.

15.编辑mapred-site.xml，配置框架名字，历史记录组件等

16.

mapreduce.framework.name yarn true mapreduce.jobhistory.address jh01:10020 mapreduce.jobhistory.webapp.address jh01:19888 mapreduce.job.ubertask.enable true mapreduce.job.ubertask.maxmaps 9 mapreduce.job.ubertask.maxreduces 1

1. 编辑yarn-site.xml ，配置resourcemanager的相关信息

yarn.resourcemanager.hostname jh01 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address jh01:8032 yarn.resourcemanager.scheduler.address jh01:8030 yarn.resourcemanager.resource-tracker.address jh01:8031 yarn.resourcemanager.admin.address jh01:8033 yarn.resourcemanager.webapp.address jh01:8088         yarn.log-aggregation-enable     true         yarn.log-aggregation.retain-seconds     86400           yarn.log-aggregation.retain-check-interval-seconds     3600         yarn.nodemanager.log.retain-seconds     10800         yarn.nodemanager.remote-app-log-dir     /opt/hadoopdata/logs

1. 编辑slaves， 将三台虚拟机的主机名添加进去
3. 配置映射信息
4. vim /etc/hosts
5.  
6. 将配置好的hadoop-2.7.2 发送给其他节点
9. 3台机器 都配置环境变量
10. vim /etc/profile
12. 配置ssh免登陆

生成ssh免登陆密钥

ssh-keygen -t rsa （四个回车）

//执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

//将公钥拷贝到要免登陆的机器上

1. ssh-copy-id localhost

 

jh01 namenode\resourcemanager\datanode\nodemanager（要启动的服务）

jh02 secondaryNamenode\datanode\nodemanager

jh03 datanode\nodemanager

jh01 免登录jh02和jh03和自己

jh02 免登录jh03和自己

jh03 免登录 自己

1. hadoop namenode -format
2. （格式化namenode）

32.start-all.sh

（开启服务）

33.12.通过web UI查看HDFS和yarn集群是否正常

转载于:https://www.cnblogs.com/zxn0628/p/11224922.html