使用Hive处理WordCount

一.在Hive中创建存放要处理的数据的表

$hive> create table textlines(line string)

导入数据：

$hive> load data inpath ’tmp/input’ overwrite into table textlines;

如果想从本地导入，可以使用这个load data local inpath '...',这里的就会是这样的/tmp/input/wordcount。

查看是否导入成功：

$hive> select * from  texlines;

二.用HIVE实现map/reduce的计算

下面是HIVE编程指南给出的word count HQL:

SELECT word,count(1) AS count FROM (SELECT explode(split(,'[ \t]+') ) AS word FROM docs ) w GROUP BY word ORDER BY word;

我讲上面语句拆分成两条语句：

SELECT explode(split(line,’\s’)) AS word FROM docs；

SELECT word,count(1) FROM w GROUP BY word ORDER BY word;

所以我先创建一个words表，存放第一条查询的结果：

$hive> create table words(word STRING);

$hive> insert overwrite table words select explode(split(line,'\s’)) word from textlines;

注：关键语句是select explode(split(line,'\s’)) 这句将处罚Hadoop进行MapReduce计算，explode()函数表示将字符串分割为数组，\s是正则，表示空白字符，split(line,'\s’)就是将line(textiles表的字段)按照正则\s分割，然后explode函数将KEY相同的value存在数组里。这HQL条语句相当于Hadoop中的Map函数。

现在来处理第二条HQL语句：SELECT word,count(1) FROM w GROUP BY word ORDER BY word;

$hive> SELECT word,count(1) FROM words GROUP BY word ORDER BY word;

注：这条语句相当于Hadoop中的reduce函数。

三.将我们处理获得的结果导出：

$hive> INSERT OVERWRITE LOCAL DIRECTORY ‘/tmp/wordcount_result’ SELECT word,count(1) FROM words GROUP BY word ORDER BY word;

LOCAL去掉表示导出到HDFS的目录；

下面就用Sqoop将HDFS上的结果存储到mysql上了