mysql 统计_新增访客数量MR统计之MR数据输出到MySQL

关注公众号:分享电脑学习
回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
云盘目录说明:
tools目录是安装包
res 目录是每一个课件对应的代码和资源等
doc 目录是一些第三方的文档工具

承接上一个文档《新增访客数量MR统计之数据库准备》

首先将MR数据输出到MySQL

创建TransformerOutputFormat和ICollector,文件位置如下:

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第1张图片

完成ICollector的代码

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第2张图片

完成TransformerOutputFormat代码如下:

自定义的数据输出格式器,要求: 1. 数据输出到mysql 2. 要体现代码的公用性

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第3张图片

接着下面的部分

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第4张图片

使用的是FileOutputFormat中默认的方式

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第5张图片

自定义的具体将reducer输出数据输出到mysql表的输出器

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第6张图片

构造方法

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第7张图片

Write方法

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第8张图片

Close方法

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第9张图片

修改Runner类,配置方法加入所需要的配置文件

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第10张图片

将reduce的输出类型更改为MapWritableValue

job.setOutputValueClass(MapWritableValue.class);

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第11张图片

给定自定义的outputformat类

job.setOutputFormatClass(TransformerOutputFormat.class);

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第12张图片

如果全改了,可以测试运行下

先看下HDFS上有没有数据

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第13张图片

下载下来查看下

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第14张图片

再看下数据库有没有数据,发现有数据,本地环境就没有问题了,现在看下打包到Linux上之后是否有问题。

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第15张图片

先打包程序运行一下

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第16张图片

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第17张图片

运行jar包,查看屏幕信息

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第18张图片

查看屏幕输出信息

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第19张图片

查看HDFS上是有数据的

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第20张图片

代码已经上传到云盘了,可以下载调试一下

mysql 统计_新增访客数量MR统计之MR数据输出到MySQL_第21张图片

你可能感兴趣的:(mysql,统计,mysql,输出,mysql新增列并同时增加数据)