Hadoop运行模块

二、Hadoop运行模式

1）Hadoop官方网站：http://hadoop.apache.org

2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

• 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
• 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
• 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

2.1 完全分布式运行模式（开发重点）

分析：

• 1.准备3台虚拟机（关闭防火墙、静态IP、主机名称）
• 2.安装JDK
• 3.配置环境变量
• 4.安装Hadoop
• 5.配置环境变量
• 6.配置集群
• 7.单点启动
• 8.配置ssh
• 9.群起并测试集群

2.2.1 虚拟机准备

详见1.1、1.2两节。

2.2.2 编写集群分发脚本xsync

1）scp（secure copy）安全拷贝

scp定义：scp可以实现服务器与服务器之间的