windows下使用Idea来运行MR

Windows下使用idea来运行MR

1、配置本地环境变量

我们要先在本地配置Hadoop运行环境,我的是hadoop2.7.5
先解压按装包,然后配置hadoop环境变量

2、下载hadoop.dall和winutils.exe两个文件,我在这里面下载的是hadoop2.7.1

网址:https://github.com/LUK-qianliu/winutils-master

将下载好的这两个文件放到hadoop的bin目录下,但是此时我们还不能运行成功,我们还需要将hadoop.dell文件放到System32目录下,然后运行MR程序,程序启动成功

3、当我们对HDFS文件系统进行操作的时候

有时候会给我报权限的问题,此时我们需要在hadoop/ect/hadoop目录下配置hdfs-site.xml文件中添加

 
	dfs.permissions 
	false 

你可能感兴趣的:(windows下使用Idea来运行MR)