安装Hadoop

安装Hadoop

1. 确保Linux系统和Windows系统能够共享文件夹

需要重新安装vmware-tools

具体参考文章：https://www.cnblogs.com/ygh1229/p/6379817.html

2.安装SSH（详见Hadoop：SSH的安装+免密登录https://blog.csdn.net/weixin_44015669/article/details/107569723）

Ubunt已经安装了SSH客户端，现在只需要安装SSH服务器端

执行下列命令

sudo apt-get install openssh-server

然后使用如下命令登录本机

ssh localhost

最后去掉ssh登录的密码

先执行

exit  #退出ssh登录

然后执行以下3条命令

cd ~/.ssh/   #切换到ssh目录，加"."表示隐藏目录 ssh-keygen -t rsa   #生成2个密钥id_rsa和id_rsa.pub cat ./id_rsa.pub >> ./authorized_keys   #显示前面文件内容并追加到后面文件内容的末尾

其中：“./” 是当前目录

再次执行：

ssh localhost  

无需密码即可登录

3.安装JDK7

因为Ubuntu16版自带的是JDK8，要想安装JDK7，需要执行：

sudo add-apt-repository ppa:openjdk-r/ppa     #repository是仓库的意思 sudo apt-get update   #更新apt sudo apt-get install openjdk-7-jre openjdk-7-jdk

4.下载安装文件

(1)目录的含义

“./” 是当前目录，“/”代表根目录、“..”代表上一级目录、“~”代表HOME目录、“-”代表前一目录。

(2)解压Hapdoop2.7

sudo tar -zxf ~/下载/hadoop-2.7.1.tar.gz -C /usr/local  #解压 cd /usr/local/                #切换目录 sudo mv ./hadoop-2.7.1/ ./hadoop   #重命名 sudo chown -R hadoop ./hadoop   #修改文件权限

(3)检查Hadoop是否可用

cd /usr/local/hadoop ./bin/hadoop version

5.伪分布式模式配置

（1）修改配置文件

Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，需要修改2个配置文件，即core-site.xml和hdfs-site.xml4

1）用vim编辑器打开core-site.xml。改变内容如下：

hadoop.tmp.dir    file:/usr/local/hadoop/tmp    Abase for other temporary directories.    fs.defaultFS    hdfs://localhost:9000

2）用vim编辑器打开hdfs-site.xml。改变内容如下：

dfs.replication    1    dfs.namenode.name.dir    file:/usr/local/hadoop/tmp/dfs/name    dfs.datanode.data.dir    file:/usr/local/hadoop/tmp/dfs/data

(2)执行名称节点格式化

输入如下命令：

cd /usr/local/hadoop ./bin/hdfs namenode -format

(3)启动Hadoop

执行如下命令：

cd /usr/local/hadoop ./sbin/start-dfs.sh

(4)判断Hadoop是否启动成功

执行命令

jps

列出

NameNode、DataNode和SecondaryNameNode进程

 

（5）使用Web界面查看HDFS信息

Hadoop成功启动后，打开Linux下火狐浏览器，在地址栏输入：http://localhost:50070 

 

（6）运行Hadoop伪分布式实例

1）在HDFS中创建用户目录

HDFS的操作命令如下：

cd /usr/local/hadoop ./bin/hdfs dfs -mkdir -p /user/hadoop

2）把本地文件系统的/usr/local/Hadoop/etc/hadoop目录中的所有xml文件作为输入文件，复制到分布式文件系统HDFS中的/user/Hadoop/input目录中，命令如下：

cd /usr/local/hadoop ./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

3）复制完成后，查看HDFS中的文件列表

./bin/hdfs dfs -ls input

 

4）运行Hadoop自带的grep程序

1. 查看Hadoop所有例子

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar

1. 创建input目录，复制配置文件到input目录下

mkdir input cp ./etc/hadoop/*.xml ./input

1. 运行Hadoop自带的grep程序

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

5）运行结束后，可以通过如下命令查看HDFS中的output文件夹中的内容：

./bin/hdfs dfs -cat output/*

6）再次执行grep程序前，删除HDFS中的output文件夹

./bin/hdfs dfs -rm -r output   #删除output文件夹

（6）配置PATH变量

打开~/.bashrc这个文件，然后在文件最前面位置加入如下单独一行：

exprot PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin

运行下面命令使配置生效

source ~/.bashrc

(7) 停止Hadoop命令

cd /usr/local/hadoop ./sbin/stop-dfs.sh

 

ok，以上是安装Hadoop的全部内容。