实验2熟悉常用的HDFS操作
1.实验目的
（1）理解HDFS在Hadoop体系结构中的角色；
（2）熟练使用HDFS操作常用的Shell命令；
（3）熟悉HDFS操作常用的Java API。
2. 实验平台
（1）操作系统：Linux；
（2）Hadoop版本：2.7.4 ；
（3）JDK版本1.8；
（4）Java IDE：eclipse 。
3. 实验步骤
（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：
（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
/**
* 向HDFS中上传任意文本文件
* 如果指定的文件在 HDFS 中已经存在
* 由用户指定是追加到原有文件末尾还是覆盖原有的文件
* @param fileSystem
* @param srcPath 本地文件地址
* @param desPath HDFS文件地址
* @author yangd
*/
@Test
private static void test1(FileSystem fileSystem, Path srcPath, Path desPath) {
try {
if (fileSystem.exists(new Path("/a/test.txt"))) {
System.out.println("文件已存在，是否覆盖原有的文件? ( y 覆盖/n 追加)");
if (new Scanner(System.in).next().equals("y")) {
fileSystem.copyFromLocalFile(false, true, srcPath, desPath);
} else {
FileInputStream inputStream = new FileInputStream(srcPath.toString());
FSDataOutputStream outputStream = fileSystem.append(new Path("/test/test.txt"));
byte[] bytes = new byte[1024];
int read = -1;
while ((read = inputStream.read(bytes)) > 0) {
outputStream.write(bytes, 0, read);
}
inputStream.close();
outputStream.close();
}
} else {
fileSystem.copyFromLocalFile(srcPath, desPath);
}
} catch (IOException e) {
e.printStackTrace();
}
}
调用方法
public static void main(String args[]) throws IOException {
// HDFS路径
Path path1 = new Path("/a/test.txt");
// 本地路径
Path path2 = new Path("D:/test.txt");
System.setProperty("hadoop.home.dir", "D:\\Hadoop2.7.4\\hadoop-2.7.4");
// 构造一个配置参数对象，设置一个参数：要访问的HDFS的URI
Configuration conf = new Configuration();
// 这里指定使用的是HDFS
conf.set("fs.defaultFS", "hdfs://192.168.121.130:9000");
// 通过如下的方式进行客户端身份的设置
System.setProperty("HADOOP_USER_NAME", "root");
// 通过FileSystem的静态方法获取文件系统客户端对象
FileSystem fs = FileSystem.get(conf);
test1(fs, path2, path1);
}
结果
shell
hadoop fs -put /export/data/word.txt /test
hadoop fs -appendToFile /export/data/word.txt /test
hadoop fs -copyFromLocal -f /export/data/word.txt /test
（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；
/**
* 从HDFS中下载指定文件 若本地文件与要下载的文件名称相同
* 则自动对下载的文件重命名
* @param fileSystem
* @param remotePath HDFS文件地址
* @param localPath 本地文件地址
* @author yangd
*/
@Test
private static void test2(FileSystem fileSystem, Path remotePath, Path localPath) {
try {
if (fileSystem.exists(remotePath)) {
if(!(fileSystem.equals(localPath))){
fileSystem.copyToLocalFile(remotePath, localPath);
System.out.println("从HDFS中下载文件成功！");
}else {
fileSystem.copyToLocalFile(remotePath, new Path("localPath"+ new Random().nextInt() + ".txt"));
System.out.println("从HDFS中下载文件并重命名成功！");
}
} else {
System.out.println("在HDFS中找不到此文件！");
}
}catch (IOException e) {
e.printStackTrace();
}
}
hadoop fs -copyToLocal /a/test.txt /export/data/test.txt
（3）将HDFS中指定文件的内容输出到终端中；
hadoop fs -cat /a/test.txt
/**
* 将HDFS中指定文件的内容输出到终端中
*
* @param fileSystem
* @param remotePath
* @author yangd
*/
@Test
private static void test3(FileSystem fileSystem, Path remotePath) {
try {
FSDataInputStream inputStream = fileSystem.open(remotePath);
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(inputStream));
String line;
System.out.println("HDFS中文件内容为：");
while ((line = bufferedReader.readLine()) != null) {
System.out.println(line);
}
} catch (IOException e) {
e.printStackTrace();
}
}
（4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；
/**
* 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息
* @param fileSystem
* @param remotePath HDFS文件地址
* @author yangd
*/
private static void test4(FileSystem fileSystem, Path remotePath) {
try {
FileStatus[] fileStatus = fileSystem.listStatus(remotePath);
System.out.println("HDFS中指定的文件的读写权限、大小、创建时间、路径信息如下：");
for (FileStatus status : fileStatus) {
System.out.println(status.getPermission());
System.out.println(status.getBlockSize());
System.out.println(status.getAccessTime());
System.out.println(status.getPath());
}
} catch (IOException e) {
e.printStackTrace();
}
}
hadoop fs -ls -h /a/test.txt
完整实验过程及源代码和运行结果截图下载链接：
实验2常用的HDFS操作.doc-Linux文档类资源-CSDN文库