Hadoop学习笔记(准备与安装)

HDFS--分布式文件存储，MapReduce--分布式计算，HBase。

推荐书籍：实战Hadoop 刘鹏(适合初学者)，Hadoop实战 陆嘉恒(有hadoop的开发经验)，Hadoop分布式文件系统深度解析( 熟练的高手)。

Hadoop的三种运行模式：

单机模式：仅作为调试使用，几乎可以不作任何配置。

伪分布模式：在单节点上同时启动namenode、datenode、jobtracker、tasktracker、secondlynamenode 五个进程，模拟分布式运行各个节点(仅需一个节点，适合条件不充足的情况)。

完全分布式模式：正常的hadoop集群，由多个各司其职的节点构成( 建议至少三个节点)。

伪分布式的安装：

（1）下载并解压hadoop安装包

（2）进入hadoop解压目录。编辑hadoop-env.sh文件。

（3）编辑core-site.xml，hdfs-site.xml，mapred-site.xml三个核心配置文件。

（4）配置ssh，生成密匙。使到ssh可以免密码连接localhost。（集群中的各个节点连接均无需密码）。

（5）格式化HDFS。

（6）启动hadoop。

（7）关闭hadoop。