IDEA 执行Mapreduce 程序

以下提到三种方式

方式1： 首先在windows 的IDEA写好代码，代码中不指出 在哪运行，就是本地运行。即在windows 运行环境。此时需要满足以下条件：

-- 下载hadoop 安装包，解压。

-- 百度 “hadoop winutils”. 找到这个这个资源。选择对应hadoop版本号。然后应该会是一个 bin 文件夹，其中就包含了winutils.exe。将这个 文件夹复制到 先前解压的hadoop 安装包中，替换掉安装包中的 bin 文件夹。

-- 最后在这个bin文件夹中找到 hadoop.dll 的文件。 复制到 C:\Windows\System32 这个目录下。

然后再回到 IDEA 执行主类。应该就好了。网上一些教程还指出，要修改 环境变量。添加hadoop_home. 我使用的是hadoop3.0. IDEA也是2021年好像三月份的一个版本。反正没有添加 hadoop_home 这些。代码是可以运行的。

方式2： 同样在windows 的IDEA写好代码，但是代码中指出 在Yarn 上运行。因此还要在代码中添加conf.set一些参数配置。其他不变。 如此执行程序，就是将 mapreduce 远程 提交到集群的Yarn上执行。

	Configuration conf = new Configuration();
		// 1、设置job运行时要访问的默认文件系统
		conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
		// 2、设置job提交到哪去运行
		conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "hdp-01");
		// 3、如果要从windows系统上运行这个job提交客户端程序，则需要加这个跨平台提交的参数
		conf.set("mapreduce.app-submission.cross-platform","true");

方式3： 同样在windows 的IDEA写好代码， 同方式1， 不需要指出 在哪运行。然后maven 打包。在家这个jar 包，复制到 集群得服务器中， 使用 hadoop jar 命令执行。