Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)

Window环境下hadoop开发环境
一、java环境准备
二、解压window环境编译过的 hadoop2.7.2版本(通Linux版本差异是,在bin目录下多了两个文件:winutils.exe、hadoop.dll),hadoop2.7.2压缩包网盘下载地址:
链接:https://pan.baidu.com/s/1DKm5VfckSXSk2rp0pug0-g 提取码:4h6w
三、配置环境变量:
1、配置java环境变量 JAVA_HOME,PATH,目录不能有空格,不然hadoop访问时会提示“hadoop Error: JAVA_HOME is incorrectly set.”

Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第1张图片

2、配置hadoop环境变量 HADOOP_HOME ,PATH

Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第2张图片
Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第3张图片
3、
验证效果:打开cmd命令窗口
Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第4张图片
能输出正常的版本信息,表示环境配置成功

四、运行测试(词频统计)

1、准备测试数据
切换到hadoop目录下: 新建/mytest/wordcount/input目录,在该目录下新增需统计词频的文件,如下:
Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第5张图片

2、运行hadoop jar包,
在cmd (hadoop目录下)命令窗口输入:hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.2.jar wordcount mytest\wordcount\input mytest\wordcount\output
在这里插入图片描述
执行成果界面:
Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第6张图片

3、查看执行结果(注:若要第二次执行验证,需删除ouput文件夹)
Window环境下hadoop开发环境配置(含window环境的hadoop编译后压缩包)_第7张图片

五、验证成功
则说单机运行模式运行成功

六、常见错误:
在windows系统生要配置hadoop运行环境,否则直接运行代码会出现以下问题:
缺少winutils.exe
Could not locate executable null \bin\winutils.exe in the hadoop binaries
缺少hadoop.d11,报错信息

unable to load nativ-hadoop library for your platform_using ……
在这里插入图片描述

你可能感兴趣的:(hadoop)