springboot对HDFS文件进行操作

springboot对HDFS文件进行操作

1 本地开发环境配置

需要在本地环境有安装hadoop，(有bin即可) ,配置本地环境变量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eXvR07xm-1572397634569)(.\images\1568621382014.png)]

将下载好的hadooponwindows-master.zip（笔记第一步有下载地址，不知道可以去笔记开头的需求栏目查看）解压，将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。

链接下载hadooponwindows-master.zip

链接csdn博客

链接测试CSDN博客 wordcount代码复制到我原先创建好的hadoopdemo项目中，改写hdfs路径报[
证明连接成功

查看hdfs端口：1 查看core-site.xml 链接更多端口位置

vim core-site.xml

![在这里插入图片描述](https://img-blog.csdnimg.cn/1568623111592.png

2 通过命令

hdfs getconf -confKey fs.default.name

2 代码部分

config暂时没加，hdfs路径，用户名在代码中写死

Service

遇到的问题

1 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message

在代码中hdfs namenode的端口不正确

2 org.apache.hadoop.ipc.RemoteException: Permission denied: user=LENOVO, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

在创建Filesystem 没有添加用户。本地运行时用户 LENOVO(默认) 访问被拒绝。在代码添加操作hdfs用户，或者，在hdfs-xml中 dfs.permissions 为false关闭安全检查

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bIjcfRBE-1572397634577)(.\images\1568625433723.png)]