大数据技术与应用实验报告1

大数据技术与应用实验报告1

Hadoop的安装配置、运行一个WordCount 例子

根据文件里的word文档以及百度的教程进行一下的安装配置（包括后面的实验需要的）

1.VMWare Workstation pro安装激活

2.使用VMWare Workstation pro安装CentOS 7

3.安装并配置hadoop

4.安装并配置jdk

5.安装并配置HBase

6.安装redis

7.安装并配置Hive,MySQL,JDBC驱动

8.安装Spark，Scala

第一次实验需要实现伪分布式与分布式部署，运行wordcount

在CentOS 7 安装过程中，网络和主机名设置中网络部分出现问题，没有生成IP地址和网关，所以根据网上教程配置静态IP，重点在于将虚拟机的网络适配器选定为“自定义”中的“VMnet 8 ”（NAT设置），再以root身份登录CentOS修改网卡配置文件。

一： 修改网卡配置文件

1、进入修改目录

[root@localhost ~]# clear   # 1： root 用户登录 并清理屏幕
[root@localhost ~]# cd /etc/sysconfig/network-scripts/    #2：进入 设置ip 信息的  /etc/sysconfig/network-scripts/ 目录下 
[root@localhost network-scripts]# ls        #3 查看该目录下的文件信息

ifcfg-ens33 ifdown-ipv6 ifdown-TeamPort ifup-ippp ifup-routes network-functions 5 ifcfg-lo ifdown-isdn ifdown-tunnel ifup-ipv6 ifup-sit network-functions-ipv6 6 ifdown  ifdown-post ifup  ifup-isdn ifup-Team 7 ifdown-bnep ifdown-ppp ifup-aliases ifup-plip ifup-TeamPort 8 ifdown-eth ifdown-routes ifup-bnep ifup-plusb ifup-tunnel 9 ifdown-ib ifdown-sit ifup-eth ifup-post ifup-wireless 10 ifdown-ippp ifdown-Team ifup-ib ifup-ppp init.ipv6-global 11

 

2：查看 网卡 ifcfg-ens33 

  1 [root@localhost network-scripts]# cat ifcfg-ens33 
  2 TYPE="Ethernet"
  3 BOOTPROTO="dhcp"
  4 DEFROUTE="yes"
  5 PEERDNS="yes"
  6 PEERROUTES="yes"
  7 IPV4_FAILURE_FATAL="no"
  8 IPV6INIT="yes"
  9 IPV6_AUTOCONF="yes"
 10 IPV6_DEFROUTE="yes"
 11 IPV6_PEERDNS="yes"
 12 IPV6_PEERROUTES="yes"
 13 IPV6_FAILURE_FATAL="no"
 14 IPV6_ADDR_GEN_MODE="stable-privacy"
 15 NAME="ens33"
 16 UUID="59469ff2-89aa-4cb0-9304-bb1ca20c9db3"
 17 DEVICE="ens33"
 18 ONBOOT="yes"
 19 

3：备份 网卡 ifcfg-ens33 信息 

 [root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33_bak_20170827 
 

4：编辑 网卡网卡 ifcfg-ens33 信息

默认该文件中还有其他配置，可以都删除或注释。 

1 [root@localhost network-scripts]# vi ifcfg-ens33 
2 [root@localhost network-scripts]# cat ifcfg-ens33 
3 TYPE="Ethernet" 
4 BOOTPROTO="static" 
5 IPADDR=192.168.1.21 
6 NETMASK=255.255.255.0 
7 NETWORK=192.168.1.1 
8 NAME="ens33" 
9 ME="ens33" 
10 ONBOOT="yes" 
11 DNS1=192.168.1.1 
12 
13 
14 #DEFROUTE="yes" 
15 #PEERDNS="yes" 
16 #PEERROUTES="yes" 
17 #IPV4_FAILURE_FATAL="no" 
18 #IPV6INIT="yes" 
19 #IPV6_AUTOCONF="yes" 
20 #IPV6_DEFROUTE="yes" 
21 #IPV6_PEERDNS="yes" 
22 #IPV6_PEERROUTES="yes" 
23 #IPV6_FAILURE_FATAL="no" 
24 #IPV6_ADDR_GEN_MODE="stable-privacy" 
25 #NAME="ens33" 
26 #UUID="59469ff2-89aa-4cb0-9304-bb1ca20c9db3" 
27 #DEVICE="ens33" 
28 #ONBOOT="yes" 
 

二：修改网关配置文件

1：切换目录，查看文件信息 

1 [root@localhost network-scripts]# cd .. 
2 [root@localhost sysconfig]# ls 
3 atd cgred ebtables-config init iptables-config kernel man-db network-scripts pluto rdisc rsyncd saslauthd svnserve virtlogd 
4 authconfig console fcoe ip6tables iptables.rpmnew ksm modules nfs qemu-ga readonly-root rsyslog selinux sysstat wpa_supplicant 
5 autofs cpupower firewalld ip6tables-config irqbalance libvirtd netconsole ntpd radvd rpcbind run-parts smartmontools sysstat.ioconf 
6 cbq crond grub iptables kdump libvirt-guests network ntpdate raid-check rpc-rquotad samba sshd virtlockd 
7 [root@localhost sysconfig]# pwd 
8 /etc/sysconfig 
9 [root@localhost sysconfig]# cat network 
10 # Created by anaconda 

2：修改 network 文件信息

  1 [root@localhost sysconfig]# vi  network
  2 [root@localhost sysconfig]# cat network
  3 # Created by anaconda
  4 
  5 NETWORKING=yes
  6 NETWORKING_IPV6=no
  7 HOSTNAME=localhost.localdomain
  8 GATEWAY=192.168.1.1

 

重启服务：

[root@localhost sysconfig]# systemctl restart network