Hadoop安装及运行简单示例

一.环境安装与配置

1. 安装VM虚拟机

2. 在VM虚拟机里安装Ubuntu server版本,本教程使用ubuntu 18.10 server

3. 启用root用户

   装完Ubuntu后进入,用新用户登录,并执行命令sudo passwd root 设置root用户密码.
   执行logout注销当前用户,用root账户登录

4. 关闭防火墙

   ufw diable

5. 卸载iptables组件

   apt-get remove iptables

6. 下载安装VIM

   apt-get install vim

二.SSH连接配置

Linux远程连接需求:
1.Linux有ssh服务
2.需要使用SSH客户端工具

1. 安装SSH工具

   apt-get install openssh-server

2. 启动SSH服务

   /etc/init.d/ssh /start
   注意:查看进程是否启动指定服务ps -e | grep sshd

3. 设置允许root登录

   vim /etc/ssh/sshd_config
   找到PermitRootLogin 将其值设为yes
   PermitRootLogin yes
   执行sudo service ssh restart重启服务

4. 使用SSH连接工具连接

   ifconfig 查看当前IP
   使用SecureCRT或Putty连接

三.配置FTP服务(可选)

1. 安装vsftpd服务组件

   apt-get install vsftpd

2. 修改ftp用户的密码

   上述安装完成后,最自动为系统创建一个叫ftp的用户
   passwd ftp

3. 设置ftp目录的权限

   vsftpd安装完成后,会自动创建一个/srv/ftp的目录
   cd /srv/ftp
chmod 777 /srv/ftp

4. 修改配置文件

   vim /etc/vsftpd.conf
   + 设置允许写的权限
   write_enable=YES
   + 设置不允许匿名登录
   anonymous_enable=NO
   + 允许本地用户登录
   local_enable=YES
   + 是否将所有用户的限制在主目录
   chroot_local_user=YES
   + 是否启动限制用户名单
   chroot_list_enable=YES
   + 定义名单设置的目录(方便管理大的账号列表)
   chroot_list_file=/etc/vsftpd.chroot_list
   + 增加服务配置
   pam_service_name=vsftpd

5. 新建vsftpd.chroot_list文件

   vim /etc/vsftpd.chroot_list
   在文件里写入访问的用户名ftp,保存退出

6. 修改/etc/pam.d/vsftpd

   vim /etc/pam.d/vsftpd
   注释掉最后一行
   # auth required pam_shells.so

7. 启动vsftpd服务

   service vsftpd start
   注意:重启 service vsftpd restart

8. 客户端连接

   推荐FileZilla
   IP地址:ifconfig查看
   账号:ftp
   密码是之前设置的
   端口:21

四.JDK的安装与配置(Hadoop本质是Java程序)

1. 下载JDK (下载for linux的.tar.gz)

   1)在官网下载,使用FTP上传
   2)使用wget下载

2. 解压缩JDK

   tar xzvf jdk-name-***.tar.gz -C /usr/local
   解压至-C后面的目录

3. 文件夹改名(可选)

   进入解压后的目录
   cd /usr/local
   将文件名改短
   mv jdk***/ jdk

4. 配置环境文件

   vim /etc/profile
   打开后进入最下面配置
   export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin:
export CLASS_PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5. 使配置立即生效

   source /etc/profile

6. 测试JDK
   执行java 或 javac 看是否出错

五.安装Hadoop

1. 下载Hadoop并用FTP上传

   在www.apache.org找到Hadoop下载

2. 解压Hadoop

   tar xzvf hadoop***.tar.gz -C /usr/local

3. 重命名(可选)

   进入解压后的目录
   cd /usr/local
   将文件名改短
   mv hadoop***/ hadoop

4. 配置环境文件

   vim /etc/profile
   打开后进入最下面配置
   export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin:

5. 使配置立即生效

   source /etc/profile

6. 在hadoop的资源文件定义要使用的jdk

   路径 /usr/local/hadoop/etc/hadoop/hadoop-env.sh
   修改下面的内容
   export JAVA_HOME=/usr/local/jdk

7. 使用测试程序测序hadoop环境

   使用wordcount测试
   在Hadoop目录下创建一个文件夹
   mkdir input
   编写一个文件
   echo hello,world nice to meet you > input/info.txt
   执行wordcount统计单词数
   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount input/info.txt ouput/
   注意:输出文件夹output必须不存在(rm output/ -r 可删除)

配置SSH免密登录

密钥对分为公钥和私钥,其中公钥放在服务器,私钥放在要通过SSH连接服务器的本机.
公钥相当于锁,私钥相当于钥匙.

1. 生成密钥对
   ssh-keygen
   选择生成的密钥对储存的位置,默认(/root/.ssh/id_rsa)即可
   选择是否对公钥对进行加密,若不加密,直接回车

2. 安放公钥和私钥
   id_rsa -私钥
   id_rsa.pub -公钥

3. 导入公钥
   将生成的公钥导入到ssh的配置文件
   cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

4. 开启SSH登录
   打开ssh配置文件
   vim /etc/ssh/sshd_config

   PubkeyAuthentication
   默认注释,将no改为yes,取消注释即可开启ssh登录

5. 关闭密码登录
   上述配置文件中
   PasswordAuthentication
   默认注释将yes改为no即可关闭密码登陆