大数据之Hadoop中HDFS客户端操作（第四篇）
HDFS客户端操作
继上篇Hadoop入门第三篇后，我们今天来说一下HDFS客户端的操作。
准备工作：
这里我们先用伪分布式来说一下，所以我们要先有一个伪分布式。
1、HDFS客户端环境准备
1）根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：C:\Study\tools）。
2）配置环境变量
- 1）配置系统环境变量
1.2.1.1 配置jdk的环境变量
一般学java的我们都会配好JDK的环境变量所以这里就不细说。
1.2.1.2 配置hadoop的环境变量
首先这里要创建HADOOP_HOME变量名和变量值
然后编辑系统变量中的Path
对Path进行编辑
添加变量%HADOOP_HOME%\bin
以上步骤就把我们环境变量配置好了。然后我们开始进行配置eclipse环境
- 2）配置eclipse环境
- 1.2.2.1 在eclipse启动之前，先将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins
- 1.2.2.2 启动eclipse
eclipse启动后，首先打开window——Show View——Other
进入到这个视图之后我们开始配置的端口号，此处的端口号是我们在伪分布式搭建成功后登陆50070后跳转页面上显示的接口号
这要我们就有了我们小象的视图了
然后在我们的虚拟机中先上传个文件，以便我们之后查看我们的文件。
我们先创建一个目录
[root@node01 ~]# hdfs dfs -mkdir -p /user/root
然后上传我们要上传的文件
[root@node01 ~]# hdfs dfs -put /etc/profile /user/root
/etc/profile 为我要上传的文件
/user/root 为我创建的目录
然后在我们eclipse中的左侧的小象刷新就可以显示我们已经上传到HDFS的文件了
2、创建项目
1）window——perferences
Hadoop Map/Reduce ——放置hadoop-2.6.5
java—build Path-----User Libraries—Add External然后把lib下的所有jar包导入进来
2)创建一个Java Project 项目
然后在我们的项目里右击----Build Path，导入我们所需要的User library—lib包
以及Junit包
创建conf文件夹，利用Xftp6这个软件把我们Linux中的配置文件拖出来。然后将这两个配置文件放入conf文件夹中，右击build，将它转化为资源包生效文件。
3、HDFS的API操作
3.1 创建一个类在其中编写我们的代码
//首先引入配置文件
Configuration conf=null;
//创建文件流
FileSystem fs=null;
@Before
public void conn() throws IOException {
//设置是否读取配置信息
conf=new Configuration(true);
fs=FileSystem.get(conf);
}
@After
public void close() throws IOException {
fs.close();
}
创建一个文件夹和判断是否存在以及删除文件夹
//创建删除重命名判断是否存在
@Test
public void mkdir() throws IOException {
//
Path f=new Path("/aaa");
//判断是否存在
if (fs.exists(f)) {
//删除文件夹
fs.delete(f);
}
fs.mkdirs(f);
}
//重命名
@Test
public void rn() throws IOException {
Path p1 = new Path("/user/root/profile");
Path p2 = new Path("/user/root/haha.txt");
boolean rename = fs.rename(p1, p2);
System.out.println(rename);
}
//上传文件
@Test
public void upload() throws IOException {
//输入位置 C:\\Users\\***\\Desktop\笔记.doc
//输出位置 /user/root
Path inputFile = new Path("/user/root/笔记.txt");
//文件内容输出
FSDataOutputStream output = fs.create(inputFile);
//输入
InputStream input=new BufferedInputStream(new FileInputStream(new File("C:\\\\Users\\\\吕宏达\\\\Desktop\\笔记.doc")));
IOUtils.copyBytes(input, output, conf, true);
}
//下载文件
@Test
public void download() throws IOException {
//从linux中上传到hdfs
//输入位置
Path src = new Path("/user/root/笔记.txt");
FSDataInputStream input = fs.open(src);
//输出位置
FileOutputStream output = new FileOutputStream("c:\\123\\笔记.txt");
IOUtils.copyBytes(input, output, conf, true);
}