使用myeclipse 创建Hadoop项目之读取hdfs中的文件

1.搭建好hadoop集群及配置好myeclipse开发环境之后，新建hadoop项目

2.输入项目的名称

3.myeclipse会自动根据HADOOP_HOME 加载所有的jar，并且自动添加到项目的build路径中

4.编写ReadFileMain.java

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import org.apache.commons.compress.utils.IOUtils;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
public class ReadFileMain {
static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
InputStream inputStream=null;
try{
inputStream=new URL(args[0]).openStream();
IOUtils.copy(inputStream,System.out,4096);//读取HDFS文件并输出
}catch(Exception ex)
{
System.out.println(ex.getMessage());
}finally{
inputStream.close();//关闭输入流
}
}
}

5.编写需要读取的文件并上传

6.上传可以直接通过

上传到in文件夹下

7.Project Explorer视图区选择ReadHdfsFile.java，右键Run as -->Run configurations

设置上传的文件file1的hdfs的路径信息

点击右下角的Run

8.结果如下