HDFS Java API 详解
Hadoop版本： Hadoop 2.6.0
连接HDFS
String URL="hdfs://hadoop001:9000";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", URL);
FileSystem fs = FileSystem.get(conf);
上传文件到HDFS
//获取本地文件的输入流
FileInputStream in=new FileInputStream("d://aaa.mp3");
//获取hdfs的输出流，默认是覆盖已存在的同名文件
//上传到hdfs根目录/
FSDataOutputStream output = fs.create(new Path("/bbb.mp3"));
//通过commons中的工具类copy文件到hdfs
IOUtils.copy(in, output);
简单方法
/*
* copyFromLocalFile(Path src, Path dst)
* 该方法对上面的过程进行了封装，使操作更加简单。
*/
fs.copyFromLocalFile(new Path("d://abc.mp3"), new Path("/bcd.mp3"));
读取HDFS文件
Path inHdfs=new Path("/bbb.mp3");
if(fs.exists(inHdfs)){
//获取hdfs的输入流
FSDataInputStream in = fs.open(inHdfs);
//获取本地文件的输出流
FileOutputStream out=new FileOutputStream("d://aaa.mp3");
//写文件到本地磁盘
//或使用IOUtils.copy(in, output);
byte[] buf=new byte[1024];
int next=0;
while((next=in.read(buf))!=-1){
out.write(buf, 0, next);
}
}
简单方法
//copyToLocalFile(Path src, Path dst)
fs.copyToLocalFile(inHdfs, new Path("c://aaa.mp3"));
注意：如果要从hdfs复制文件到windows系统，需要设置useRawLocalFileSystem的值为true。否则会抛出空指针异常。
默认是使用HDFS的文件系统，如果是windows系统，需要使用原生的本地文件系统。
(？？？这里不是很明白，没读懂源码。)
/*
* delSrc：是否删除原文件
* Path src：源文件
* Path dst：目的文件
* useRawLocalFileSystem：是否使用原生本地文件系统
*/
fs.copyToLocalFile(false,new Path("/f1/bbb.pdf"), new Path("c://abc.pdf"),true);
删除HDFS文件
/*
* delete(Path f, boolean recursive)
* 当删除非空目录时，recursive必须为true
*/
fs.delete(new Path("/file1), true);
创建目录
//在hdfs的根目录下创建文件夹
foofs.mkdirs(new Path("/foo"));
//文件夹的默认权限是755,也可以通过第二个参数设置权限mkdirs(Path, FsPermission)
如果文件夹的目录是相对路径，hdfs会做如下处理：
源码位置：FileSystem#fixRelativePart()
if (p.isUriPathAbsolute()) { //如果是绝对路径(/开始的路径)，直接使用
return p;
} else {//如果是相对路径，在当前用户的home目录下创建该目录
return new Path(getWorkingDirectory(), p);
}
例如你在windows系统中执行的操作，假设当前windows的账户名是Administrator(管理员账户登陆)，那么在hdfs中的home目录即：/user/Administrator。
fs.mkdirs(new Path("foo"));
执行完上面的代码，就会在hdfs中创建目录结构: /user/Administrator/foo
Thanks a lot！
END！