hadoop client 本地开发调试客户端搭建

hadoop client 本地开发调试客户端搭建

在实际的开发环境中，在集群环境中开发往往存在很多安全隐患，例如集群文件被误删等等，所以一般的开发工作都是本地完成开发的。本地做MR开发时，由于没有hadoop环境，所以调试工作往往变的很难进行，所以在本地搭建一个hadoop client，不仅能提供本地调试环境，还能从直接从本地访问到hdfs 数据和提交任务到hadoop环境中。你可以在本地运行MR,不登陆服务器查看数据。本文只写在windows环境下搭建，linux环境也差不多（更简单），有需要可以留言。

---

hadoop 客户端模式搭建

1、将集群的的配置文件复制到本地，并且配置ＨＡＤＯＯＰ_HOME,和环境变量（PATH）,如图：


将hadoop的bin和sbin路径配置好，如上图，验证，打开cmd,输入hadoop -version。

2、修改配置文件：
（1）修改core-site.xml,修改 fs.default.name选项的值，使其指向集群master的地址。

(2)修改hadoop-env(windows修改.cmd文件)的jdk路径。

需要修改的就只有上面两项，是不是很简单。

3、配置本地用户变量，冒充hadoop用户（我这里用的时虚拟机，所以用的root权限，可根据实际情况经行修改），如果不设置这一步，会报权限拒绝。

到这一步，hadoop的客户端已经搭建完成了，你可以在本地运行MR,不登陆服务器查看数据。
4、写在最后，其实hadoop client模式不仅仅只用于本地调试，还可以作为集群的堡垒机使用，使得集群环境和开发环境分离开来。

注：如需要hive,spark 等客户端模式搭建文档，如果遇到搭建问题可在博客留言，我会定期回复。