大数据之环境准备

Linux准备 ：

1.  Linux操作系统： centos 7  64位
2. Vmware版本不能太低，12版本
3. 网卡：虚拟机安装推荐“NAT”

   ============Linux网卡配置文件详解===============
   vi /etc/sysconfig/network-scripts/ifcfg-ens33   (eth0、ens67777)
   
   DEVICE=eth0 #指出设备名称     （*）固定
   NM_CONTROLLED=yes #network mamager的参数，实时生效，不需要重启  希望改成N0！！！
   ONBOOT=yes #设置为yes，开机自动启用网络连接   （*）固定
   BOOTPROTO=static #设置为none禁止DHCP，设置为static启用静态IP地址，设置为dhcp开启DHCP服务 （*）固定  ------------------
   
   IPADDR=192.168.1.111 #IP地址                     -----------------------------
   NETMASK=255.255.255.0 #子网掩码  （*）固定
   DNS1=8.8.8.8 #第一个dns服务器  	（*）固定
   DNS2=8.8.4.4 #第二个dns服务器   （*）固定
   GATEWAY=192.168.1.2 #设置网关    （*）固定        ----------------------------------
   
   
   TYPE=Ethernet #网络类型为：Ethernet
   IPV6INIT=no #禁止IPV6             （*）固定
   USERCTL=no #是否允许非root用户控制该设备，设置为no，只能用root用户更改
   HWADDR=00:0C:29:2C:E1:0F #网卡的Mac地址
   PREFIX=24     （*）固定
   DEFROUTE=yes    （*）固定
   IPV4_FAILURE_FATAL=yes   （*）固定
   NAME="System eth0" #定义设备名称  （*）固定
   
   
   vi /etc/resolv.conf 
   nameserver 8.8.8.8
   nameserver 8.8.4.4
   
   =====================================================

    

4. 规划可3台虚拟机  : bigdata111   bigdata112  bigdata113

5. 设置主机名和IP的对应关系：/etc/hosts   注意：需要重启生效->reboot
           vi /etc/hosts
6. 关闭防火墙

       firewall-cmd --state 显示防火墙状态
   	systemctl stop firewalld 关闭防火墙
   	systemctl disable firewalld 禁止开机自启动

7. 配置免密登录（两两之间的免密码登录）

   配置ssh免密登录
       -》ssh-keygen 生成密钥对
       -》 ssh-copy-id 自己
           ssh-copy-id 其它
           ssh-copy-id 其它）

    

安装JDK:

1. 上传解压
2. 配置环境变量  vi /etc/profile

export JAVA_HOME=/root/hd/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin
注意：加载环境变量 source /etc/profile

1. 发送到其它机器

scp -r hd/jdk1.8.0_141/ bigdata112:hd/jdk1.8.0_141
scp -r /etc/profile bigdata112:/etc

安装HDFS集群

1. 修改hadoop-env.sh             export JAVA_HOME=/root/hd/jdk1.8.0_60
2. 修改core-site.xml

   
           
           fs.defaultFS
           hdfs://bigdata111:9000
           
       
   
   修改hdfs-site.xml
   
       
           
           dfs.namenode.name.dir
           /root/hd/dfs/name
           
           
           dfs.datanode.data.dir
           /root/hd/dfs/data
           
       

    

3. 格式化namenode :     hadoop namemode -format
4. 分发hadoop到其它机器

       scp -r ~/hd/hadoop-2.8.4/ bigdata112:/root/hd/
       scp -r ~/hd/hadoop-2.8.4/ bigdata113:/root/hd/

5. 配置hadoop环境变量

       export JAVA_HOME=/root/hd/jdk1.8.0_141
       export HADOOP_HOME=/root/hd/hadoop-2.8.4
       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    

6. 分发hadoop环境变量

   scp -r /etc/profile bigdata112:/etc
     注意：加载环境变量 source /etc/profile

    

7. 启动namenode
       hadoop-daemon.sh start namenode
       

8. 启动datanode
       hadoop-daemon.sh start datanode
       

9. 访问namenode提供的web端口：50070
       
   自动批量的启动脚本

    1）修改配置文件slaves
    bigdata112
    bigdata113
    
    2）执行启动命令
    在主节点上启动 start-dfs.sh   或者  start-all.sh

附：配置内容

伪分布模式的配置

参数文件	配置参数	参考值
hadoop-env.sh	JAVA_HOME	/root/training/jdk1.8.0_144
hdfs-site.xml	dfs.replication	1
	dfs.permissions	false
core-site.xml	fs.defaultFS	hdfs://:9000
	hadoop.tmp.dir	/root/training/hadoop-2.7.3/tmp
mapred-site.xml	mapreduce.framework.name	yarn
yarn-site.xml	yarn.resourcemanager.hostname
	yarn.nodemanager.aux-services	mapreduce_shuffle

全分布模式的配置

参数文件	配置参数	参考值
hadoop-env.sh	JAVA_HOME	/root/training/jdk1.8.0_144
hdfs-site.xml	dfs.replication	2
	dfs.permissions	false
core-site.xml	fs.defaultFS	hdfs://:9000
	hadoop.tmp.dir	/root/training/hadoop-2.7.3/tmp
mapred-site.xml	mapreduce.framework.name	yarn
yarn-site.xml	yarn.resourcemanager.hostname
	yarn.nodemanager.aux-services	mapreduce_shuffle
slaves	DataNode的地址	从节点1 从节点2