大数据技术原理及应用课实验3 :熟悉常用的HBase操作

目录

实验3  熟悉常用的HBase操作

一、实验目的

二、实验平台

三、实验步骤(每个步骤下均需有运行截图)

(一)编程实现以下指定功能,并用Hadoop提供的HBase Shell命令完成相同任务:

1.列出HBase所有的表的相关信息,例如表名;

2.在终端打印出指定的表的所有记录数据;

3.向已经创建好的表添加和删除指定的列族或列;

4.统计表的行数。

(二)HBase数据库操作

1. 现有以下关系型数据库中的表和数据(见表14-3到表14-5),要求将其转换为适合于HBase存储的表并插入数据:

 (1)创建Student表:

(2)创建Couse表:

(3)创建SC表

2. 请编程实现以下功能:

(1)createTable(String tableName, String[] fields)

        (2)addRecord(String tableName, String row, String[] fields, String[] values)

        (3)scanColumn(String tableName, String column)

        (4)modifyData(String tableName, String row, String column)

(5)deleteRow(String tableName, String row)

四、实验总结

五、优化及改进(选做)


实验3  熟悉常用的HBase操作

一、实验目的

1. 理解HBase在Hadoop体系结构中的角色;

2. 熟练使用HBase操作常用的Shell命令;

3. 熟悉HBase操作常用的Java API。

二、实验平台

1. 操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04);

2. Hadoop版本:3.1.3;

3. HBase版本:2.2.2;

4. JDK版本:1.8;

5. Java IDE:Eclipse。

三、实验步骤(每个步骤下均需有运行截图)

(一)编程实现以下指定功能,并用Hadoop提供的HBase Shell命令完成相同任务:

1.列出HBase所有的表的相关信息,例如表名;

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第1张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第2张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第3张图片

2.在终端打印出指定的表的所有记录数据;

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第4张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第5张图片

3.向已经创建好的表添加和删除指定的列族或列;

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第6张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第7张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第8张图片

清空指定的表的所有记录数据;

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第9张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第10张图片

4.统计表的行数。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第11张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第12张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第13张图片

(二)HBase数据库操作

1. 现有以下关系型数据库中的表和数据(见表14-3到表14-5),要求将其转换为适合于HBase存储的表并插入数据:

表14-3 学生表(Student)

学号(S_No)

姓名(S_Name)

性别(S_Sex)

年龄(S_Age)

2015001

Zhangsan

male

23

2015002

Mary

female

22

2015003

Lisi

male

24

表14-4 课程表(Course)

课程号(C_No)

课程名(C_Name)

学分(C_Credit)

123001

Math

2.0

123002

Computer Science

5.0

123003

English

3.0

表14-5 选课表(SC)

学号(SC_Sno)

课程号(SC_Cno)

成绩(SC_Score)

2015001

123001

86

2015001

123003

69

2015002

123002

77

2015002

123003

99

2015003

123001

98

2015003

123002

95

 (1)创建Student表:

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第14张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第15张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第16张图片

(2)创建Couse表:

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第17张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第18张图片

(3)创建SC表

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第19张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第20张图片

2. 请编程实现以下功能:

(1)createTable(String tableName, String[] fields)

        创建表,参数tableName为表的名称,字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候,先删除原有的表,然后再创建新的表。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第21张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第22张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第23张图片

        (2)addRecord(String tableName, String row, String[] fields, String[] values)

        向表tableName、行row(用S_Name表示)和字符串数组fields指定的单元格中添加对应的数据values。其中,fields中每个元素如果对应的列族下还有相应的列限定符的话,用“columnFamily:column”表示。例如,同时向“Math”、“Computer Science”、“English”三列添加成绩时,字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”},数组values存储这三门课的成绩。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第24张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第25张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第26张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第27张图片

        (3)scanColumn(String tableName, String column)

        浏览表tableName某一列的数据,如果某一行记录中该列数据不存在,则返回null。要求当参数column为某一列族名称时,如果底下有若干个列限定符,则要列出每个列限定符代表的列的数据;当参数column为某一列具体名称(例如“Score:Math”)时,只需要列出该列的数据。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第28张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第29张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第30张图片大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第31张图片

        (4)modifyData(String tableName, String row, String column)

        修改表tableName,行row(可以用学生姓名S_Name表示),列column指定的单元格的数据。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第32张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第33张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第34张图片

(5)deleteRow(String tableName, String row)

删除表tableName中row指定的行的记录。

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第35张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第36张图片

大数据技术原理及应用课实验3 :熟悉常用的HBase操作_第37张图片

四、实验总结

在本次实验中,我更加进一步理解了HDFS在Hadoop体系结构中的角色并能使用HDFS操作常用的Shell命令以及HDFS操作常用的Java API。

在本次实验的第一题是用编程Java API实现指定功能,并用Hadoop提供的HBase Shell命令完成相同任务。在本题中学习了列出HBase所有的表的相关信息,在终端打印出指定的表的所有记录数据,向已经创建好的表添加和删除指定的列族或列,清空指定的表的所有记录数据,统计表的行数。

第二题中,主要是通过虚拟机的IDEA采用HDFS操作常用的Java API来运行解答。在此题中学习了创建表,向表tableName、行row(用S_Name表示)和字符串数组fields指定的单元格中添加对应的数据values。浏览表tableName某一列的数据,如果某一行记录中该列数据不存在,则返回null。修改表tableName,行row(可以用学生姓名S_Name表示),列column指定的单元格的数据。删除表tableName中row指定的行的记录。在此题中还是感觉到Java API还不够熟练,还需要继续加强学习。

五、优化及改进(选做)

【提出你觉得解决这个问题更好的算法,并加以说明】

你可能感兴趣的:(大数据编程,大数据,hbase,数据库)