大数据开发Hadoop环境搭建简单记录流程（伪分布式的）

参考： https://blog.csdn.net/hliq5399/article/details/78193113
https://www.bilibili.com/video/av15390641/?p=6
1.安装VMware，下载centOS镜像文件
2.创建一个虚拟机，启动虚拟机，更改网络模式为net，并配置ipv4，用外面的CRT进行连接
3.由于开太多图形界面影响性能，需要配置开机时为命令模式。
短期命令为：init 3
长期配置为：
3.1sudo vi /etc/inittab(使用sudo比较好，使用su的话后面如果忘记退出root用户，会影响一些问题，其中sudo一开始还不能使用。要配置一下)
（1）切换为root
（2）vi /etc/sudoers
（3）root ALL=(ALL) ALL
bigdata01 ALL=(ALL) ALL
3.2initdefault改为3
4.修改主机名，配置主机名和地址的映射关系
sudo vi /etc/sysconfig/network
sudo vi /etc/hosts
5.安装jdk_linux,上传jdk到linux，然后解压，配置环境变量(第9点有配置命令)
6.安装hadoop,上传到Linux，解压
7.配置几个文件（/home/bigdata01/app/hadoop-2.7.3/etc/hadoop）：
7.1hadoop-env.sh把JAVA_HOME配置成死的（省得有时候读不到）
7.2配置core-site.xml


fs.defaultFS
hdfs://bd1:9000/


hadoop.tmp.dir
/home/bigdata01/app/hadoop-2.7.3/data/


7.3配置hdfs-site.xml


dfs.replication
1


7.4配置 mapred-site.xml
mv mapred-site.xml.template mapred-site.xml


mapreduce.framework.name
yarn


7.5配置yarn-site.xml


yarn.resourcemanager.hostname
bd1


yarn.nodemanager.aux-services
mapreduce_shuffle


8.关闭linux防火墙
sudo service iptables stop(暂时）
sudo chkconfig iptables off（永久）
9.配置hadoop的环境变量，这样就不用到bin下去启动
9.1sudo vi /etc/profile
9.2export JAVA_HOME=/home/bigdata01/app/jdk1.7.0_80
export HADOOP_HOME=/home/bigdata01/app/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin::$HADOOP_HOME/sbin
(bin ./hadoop 启动hadoop)（sbin- hdFs,yarn）
9.3source /etc/profile（生效）
10.格式化HDFS
hadoop namenode -format
11.启动hdfs,yarn
12.测试HDFS上传下载
11.1上传命令：hadoop fs -put jdk-7u80-linux-x64.tar.gz hdfs://bd1:9000/
查看的网址： http://bd1:50070（增加window主机名和地址的映射关系：C:\Windows\System32\drivers\etc\hosts）–如果文件不可修改，百度修改下电脑用户权限
11.2下载命令： hadoop fs -get hdfs://bd1:9000/jdk-7u80-linux-x64.tar.gz
13.测试mapreduce
----出问题了，本来只是resourcemanager没启动起来，后面连namenode都启动不起来了（主机名bd1,写成db1了）
13.1hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 5 5
13.2测试wordcount
（1）先写个test文件
（2）创建文件夹
hadoop fs -mkdir /wordcount
hadoop fs -mkdir /wordcount/input
（3）上传test文件
（4）hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/input /wordcount/output
（5）查看输出文件
hadoop fs -ls /wordcount/output
hadooop fs -cat /wordcount/output/xxx
14.设置无密登陆----出问题了,用户名不一样
—ll -a显示隐藏文件.ssh
14.1ssh-keygen -t rsa
（以下两步也可直接ssh-copy-id username@hostname这个就可以，但是还没试过这个命令（可能远程机器那没有authorized_keys）---- ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中）
14.2scp id_rsa.pub bigdata02@bd2:/home/bigdata02
14.3touch authorized_keys
chmod 600 authorized_keys
cat id_rsa.pub>>authorized_keys(具体看id_rsa.pub拷贝到哪里)