hadoop访问hdfs 的两种方式

hadoop 提供了两种方式对hdfs 进行访问:

1 配置客户端,后台连接到客户端进行工作

客户端的配置比较简单,只要把配置好的hadoop的namenode节点的hadoop 打包,发到另一台机器(该机器不出现在 etc/hadoop/slaves里就可以)

设置一下环境变量 JAVA_HOME HADOOP_HOME

还有一些在hadoop xml配置的临时文件目录等 也改一下(启动时查看日志,根据日志来进行修改就好)

剩下的就是让你的后台连到这个机器上进行任务提交就行

这种方式使用的是core-site.xml里 dfs.defaultFS 来进行工作的。

如果配置了HA,那么这种方式是可以用到HA的。下面这种方式用不了


2 使用dfs://namenode机器ip:8020(或不加端口号)进行rpc访问

上面是配置了客户端的方式进行使用。这种方式不用客户端部署,进行绝对地址访问

可以在自己的hadoop 程序中通过haoop 提供的api进行操作

你可能感兴趣的:(hadoop,访问hdfs的两种方式)