大数据hadoop hdfs 基础环境搭建

1.需要5个软件,virtualBox,centos,hadoop(),jdk(linux), xshell(远程登录)
2.virtualBox 新建虚拟机Linux Red Hat 64位
3.安装centos, 硬盘->动态分配,软件选择->基础设施服务器
4.设置网络,
    a).设置宿主机实际联网网卡的共享 
    b).控制面板->网络->网络连接->vitualBox Host only Network网卡的ip设置为192.16.8.2.1,子网掩码设置为255.255.255.0,dns设置为 192.168.2.1
 5.虚拟机中网络设置
   a).在虚拟机中选择用 Host only网络
   b).vi /etc/sysconfig/network
            NETWORKING=yes
            QATEMAY-192.168.2.1
   c).vi /etc/sysconfig/network-sripts/ifcfg-enp0s3
        TYPE=Ethernet
        IPADDR=192.168.2.20
       NETMASK=255.255.255.0
    d).修改主机名hostnamectl set-hostname master //主机名不能用有下划线
     e).如需虚拟上网,需配置/etc/resolv.conf
     f).重启网络 service network restart
     g).检查ssh服务状态 service sshd status
     h).互相ping 看是否测试成功
  6. 无界面启动虚拟机,用xshell和xftp将下载好的jdk,hadoop复制到dfs_master的/usr/local
  7.安装jdk,rpm -ivh jdk****.rpm
  8.安装hadoop,tar -xvf hadoop****.tar.gz
     a).修改java环境变量 vim hadoop-env.sh  export JAVA_HOME=/usr/java/default
     b).hadoop加入系统环境变量,vim /etc/profile
          追加 export PATH=¥PATH:/usr/hadoop/bin:/usr/hadoop/sbin
      c).source etc/profile 使文件生效
      d).测试hadoop命令是否OK,任意目录输入hadoop  
   9.依次启动不同的slave并修改ip地址
    10.采用无界面启动,使用XShell来登陆,修改4台机器的/etc/hosts,测试相互能ping通
    192.168.56.100 master
    192.168.56.101 slave1
    192.168.56.102 slave2
    192.168.56.103 slave3
    

你可能感兴趣的:(大数据hadoop hdfs 基础环境搭建)