使用Hive和iReport进行大数据分析

每个JJ Abrams的电视连续剧疑犯追踪从主要人物芬奇先生一个下列叙述情节开始：“ 你是被监视。 政府拥有一个秘密系统-每天每天每小时都会对您进行监视的机器。 我知道是因为...我建造了它。 “当然，我们的技术人员知道得更多。 庞大的电气和软件工程师团队需要花费多年的时间来制造如此高性能的机器，而预算却是无法想象的……或者不是吗？ 等一下，我们有了Hadoop ！ 现在，由于有了Hadoop ，我们每个人都可以成为Finch先生，预算不高。

在JCG文章“ Hadoop模式介绍-独立，伪分布式，分布式 ”中，JCG合作伙伴Rahul Patodi解释了如何设置Hadoop 。 Hadoop项目已经产生了许多用于分析半结构化数据的工具，但是Hive也许是其中最直观的工具，因为它允许具有SQL背景的任何人提交被描述为SQL查询的MapReduce作业。 Hive可以从命令行界面执行，也可以在服务器模式下运行，而Thrift客户端充当JDBC / ODBC接口，可以访问数据分析和报告应用程序。

在本文中，我们将设置一个Hive服务器，创建一个表，使用文本文件中的数据加载它，然后使用iReport创建一个Jasper Resport。 Jasper报表在Hive服务器上执行SQL查询，然后将其转换为Hadoop执行的MapReduce作业。

注意：我使用运行OpenSuSE 12.1 Linux且安装了MySQL 5.5的Hadoop版本0.20.205，Hive版本0.7.1和iReport版本4.5。

假设你已经安装了Hadoop的下载和安装蜂巢下面的蜂巢 入门维基指令。 默认情况下， Hive是在独立Hadoop模式下运行的CLI模式下安装的。

制作多用户Hive Metastore

默认的Hive安装使用derby嵌入式数据库作为其元存储。 Metastore是Hive维护我们要通过SQL访问的数据的描述的地方。 为了使metastore同时可以从许多用户访问，必须将其移动到独立数据库中。 这是安装MySQL Metastore的方法。

1. 将MySQL JDBC驱动程序 jar文件复制到〜/ hive-0.7.1-bin / lib目录
2. 更改〜/ hive-0.7.1-bin / conf目录中的文件hive-default.xml中的以下属性：

   
     javax.jdo.option.ConnectionURL
     jdbc:mysql://hyperion/metastore?createDatabaseIfNotExist=true
     JDBC connect string for a JDBC metastore
   
   
   
     javax.jdo.option.ConnectionDriverName
     com.mysql.jdbc.Driver
     Driver class name for a JDBC metastore
   
   
   
     javax.jdo.option.ConnectionUserName
     foo
     Username to connect to the database
   
   
   
     javax.jdo.option.ConnectionPassword
     bar
     Password to connect to the database
   

3. 使用MySQL工作台或MySQL命令行实用程序使用latin1字符集创建模式。 如果Hive找不到模式，它将使用MySQL的默认字符集自行创建模式。 在我的情况下，这是UTF-8，并生成了jdbc错误。 如果要使用命令行实用程序，请键入：

   mysql> CREATE DATABASE  IF NOT EXISTS `metastore` DEFAULT CHARACTER SET latin1 COLLATE latin1_bin;

4. 在命令提示符下键入Hive以输入Hive CLI并键入：

   hive> SHOW TABLES;
   OK
   testlines
   Time taken: 3.654 seconds
   hive>

   这将填充您新创建的metastore模式。 如果您看到任何错误，请检查您的hive-default.xml配置，并确保您的数据库模式被命名为“ metastore”，其中latin1作为默认字符集。

现在让我们用一些数据填充Hadoop Hive

我们只创建两个名为file01和file02的文本文件，每个文件包含：

file01 ：
你好世界再见世界
大家好再见大家

file02 ：
您好Hadoop再见Hadoop
大家好，大家再见

将这些文件从本地文件系统复制到HDFS：

$ hadoop fs -mkdir HiveExample
$ hadoop fs -copyFromLocal ~/file* /user/ssake/HiveExample

转到Hive CLI并创建一个名为testlines的表，该表将在字符串数组中包含每一行的单词：

hive> create table testlines (line array) row format delimited collection items terminated by ' ';

将文本文件加载到Hive中：

hive> load data inpath "/user/ssake/HiveExample/file01" INTO table testlines;
hive> load data inpath "/user/ssake/HiveExample/file02" INTO table testlines;

检查测试行现在是否包含每行的单词：

hive> select * from testlines;
OK
["Hello","World","Bye","World"]
["Hello","Everybody","Bye","Everybody"]
["Hello","Hadoop","Goodbye","Hadoop"]
["Hello","Everybody","Goodbye","Everybody"]
Time taken: 0.21 seconds

现在我们有了一个包含数据的Hive，我们可以将其作为服务器在端口10000中运行，这通常是运行hive服务器的方式：

$ HIVE_PORT=10000
$ hive --service hiveserver

通过此设置，可能有多个Thrift客户端访问我们的Hive服务器。 但是，根据Apache Hive博客 ，多线程Hive功能尚未经过全面测试，因此每个Thrift客户端使用单独的端口和Hive实例更为安全。

创建“字数统计”报告

iReport 4.5支持配置单元数据源，因此让我们使用它来创建一个以配置单元服务器作为数据源运行的报表：

1.创建一个连接到配置单元服务器的数据源

2.使用报告向导生成报告

3.在“ HiveQL查询”输入框中键入以下内容：

select word,count(word) from testlines lateral view explode(line) words as word group by word

让我们简要解释一下上述查询的作用：

我们的源表“ testlines”表只有一个名为“ line”的列，其中包含字符串数组形式的数据。 每个字符串数组代表在导入文件“ file01 ”和“ file02 ”中找到的句子中的单词。

为了正确计算所有输入文件中每个不同单词的出现次数，我们必须将源表中的字符串数组“分解”为一个新单词，其中应包含每个单词。 为此，我们将“侧视图”与HiveQL命令“ explode（）”结合使用，如上所示。

在上面的HiveQL查询中，我们创建了一个名为“ words”的新图标表，该表具有一个名为“ word”的列，其中包含从“ testlines”表的每个字符串数组中找到的所有单词。

4.单击…按钮以选择所有文件，然后单击下一步。

5.在设计器视图中，单击“预览”选项卡以执行HiveQL报告

这是我们的报告：

现在，您已经准备好构建使用熟悉的JDBC接口访问Hadoop数据的应用程序！

参考：我们的W4G合作伙伴 Spyros Sakellariou 使用Hive和iReport进行大数据分析 。

翻译自: https://www.javacodegeeks.com/2012/02/big-data-analytics-with-hive-and.html