Hadoop的安装和入门使用

Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。

以下转载至厦大林子雨老师所著图书，当初学习hadoop入门环境搭建部分帮助很多，在此作为推荐。如有侵权请告知删除。

• 单机模式：单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
• 伪分布式模式：Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
• 分布式模式：使用多个节点构成集群环境来运行Hadoop。

（一）单机和伪分布式安装方式
如果系统是Linux，请参照下面给出的教程进行安装：
在Ubuntu系统上安装Hadoop请参考：
http://dblab.xmu.edu.cn/blog/install-hadoop/

在CentOS系统上安装Hadoop请参考：
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
需要注意以下几点：
系统用户名使用hadoop
不要修改/etc/hosts 默认的localhost地址，如果已经修改请重新把127.0.0.1映射到localhost

如果系统是Mac，请参照下面给出的链接进行安装：
http://dblab.xmu.edu.cn/blog/820-2/

（二）分布式安装方式
（1）在集群上分布式安装Hadoop，请参考：
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

---

HADOOP的核心组件有

• HDFS（分布式文件系统）
• YARN（运算资源调度系统）

• MAPREDUCE（分布式运算编程框架）

  问题（当初学习hadoop时没有过多记录，好多问题和知识点都忘了…）

1. Can’t get master address from ZooKeeper; znode data == null

zookeeper不能启动时，注意myid文件内数。

2. org.apache.hadoop.dfs.SafeModeException: . Name node is in safe mode

当不能操作文件时考虑安全模式，一般开机一段时间后会自动退出
在hadoop根目录下：bin/hadoop dfsadmin -safemode leave

3.错误：Error contacting service. It is probably not running.

zookeeper未正常关闭重启后可能会报以上错，注意data目录下myid文件内容，可能已被修改。根据配置更正即可。