hive ETL之物流行业-订单跟踪SLA sql
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
|
-- case1 --
--========== order_created ==========--
/*
10703007267488 2014-05-01 06:01:12.334+01
10101043505096 2014-05-01 07:28:12.342+01
10103043509747 2014-05-01 07:50:12.33+01
10103043501575 2014-05-01 09:27:12.33+01
10104043514061 2014-05-01 09:03:12.324+01
*/
CREATE
EXTERNAL
TABLE
order_created (
orderNumber STRING
, event_time STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_created'
;
CREATE
EXTERNAL
TABLE
order_created_partition (
orderNumber STRING
, event_time STRING
)
PARTITIONED
BY
(event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_created_partition'
;
CREATE
TABLE
order_created_dynamic_partition (
orderNumber STRING
, event_time STRING
)
PARTITIONED
BY
(event_month string)
;
insert
into
table
order_created_dynamic_partition PARTITION (event_month)
select
orderNumber, event_time, substr(event_time, 1, 7)
as
event_month
from
order_created;
set
hive.
exec
.
dynamic
.partition.mode=nonstrict;
/*
hive.
exec
.
dynamic
.partition=
false
hive.
exec
.
dynamic
.partition.mode=strict
hive.
exec
.
max
.
dynamic
.partitions.pernode=100 Maximum number
of
dynamic
partitions allowed
to
be created
in
each mapper/reducer node
hive.
exec
.
max
.
dynamic
.partitions=1000 Maximum number
of
dynamic
partitions allowed
to
be created
in
total
hive.
exec
.
max
.created.files=100000 Maximum number
of
HDFS files created
by
all
mappers/reducers
in
a MapReduce job
hive.error.
on
.empty.partition=
false
*/
select
INPUT__FILE__NAME, ordernumber, event_time, BLOCK__OFFSET__INSIDE__FILE / (length(ordernumber) + length(event_time) + 2) + 1
from
order_created_dynamic_partition;
select
INPUT__FILE__NAME, ordernumber, event_time, round(BLOCK__OFFSET__INSIDE__FILE / (length(ordernumber) + length(event_time) + 2) + 1)
from
order_created_dynamic_partition;
desc
formatted order_created_dynamic_partition;
desc
formatted order_created_dynamic_partition partition (event_month=
'2014-05'
);
CREATE
TABLE
order_created_dynamic_partition_parquet (
orderNumber STRING
, event_time STRING
)
PARTITIONED
BY
(event_month string)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
STORED
AS
parquet;
MSCK REPAIR
TABLE
order_created_dynamic_partition_parquet;
-- set to text file format, bug in hive
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-06'
)
SET
SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
;
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-06'
)
SET
FILEFORMAT textfile;
-- impala
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-06'
)
SET
FILEFORMAT textfile;
-- set to parquet file format, hive <= 0.12
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-07'
)
SET
SERDE
'parquet.hive.serde.ParquetHiveSerDe'
;
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-07'
)
SET
FILEFORMAT INPUTFORMAT
'parquet.hive.DeprecatedParquetInputFormat'
OUTPUTFORMAT
'parquet.hive.DeprecatedParquetOutputFormat'
;
-- impala or hive 0.13
ALTER
TABLE
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-07'
)
SET
FILEFORMAT parquet;
insert
into
table
order_created_dynamic_partition_parquet PARTITION (event_month=
'2014-07'
)
select
orderNumber, event_time
from
order_created;
--========== order_picked ==========--
/*
10703007267488 2014-05-01 07:02:12.334+01
10101043505096 2014-05-01 08:29:12.342+01
10103043509747 2014-05-01 10:55:12.33+01
*/
CREATE
EXTERNAL
TABLE
order_picked (
orderNumber STRING
, event_time STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_picked'
;
--========== order_shipped ==========--
/*
10703007267488 2014-05-01 10:00:12.334+01
10101043505096 2014-05-01 18:39:12.342+01
*/
CREATE
EXTERNAL
TABLE
order_shipped (
orderNumber STRING
, event_time STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_shipped'
;
--========== order_received ==========--
/*
10703007267488 2014-05-02 12:12:12.334+01
*/
CREATE
EXTERNAL
TABLE
order_received (
orderNumber STRING
, event_time STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_received'
;
--========== order_cancelled ==========--
/*
10103043501575 2014-05-01 12:12:12.334+01
*/
CREATE
EXTERNAL
TABLE
order_cancelled (
orderNumber STRING
, event_time STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED
BY
'\t'
LOCATION
'/tmp/db_case1/order_cancelled'
;
--=====================================--
CREATE
TABLE
order_tracking
AS
SELECT
orderNumber
,
max
(
CASE
WHEN
type_id=
"order_created"
THEN
event_time
ELSE
'0'
END
)
AS
order_created_ts
,
max
(
CASE
WHEN
type_id=
"order_picked"
THEN
event_time
ELSE
'0'
END
)
AS
order_picked_ts
,
max
(
CASE
WHEN
type_id=
"order_shipped"
THEN
event_time
ELSE
'0'
END
)
AS
order_shipped_ts
,
max
(
CASE
WHEN
type_id=
"order_received"
THEN
event_time
ELSE
'0'
END
)
AS
order_received_ts
,
max
(
CASE
WHEN
type_id=
"order_cancelled"
THEN
event_time
ELSE
'0'
END
)
AS
order_cancelled_ts
FROM
(
select
orderNumber,
"order_created"
as
type_id, event_time
FROM
order_created
UNION
ALL
select
orderNumber,
"order_picked"
as
type_id, event_time
FROM
order_picked
UNION
ALL
select
orderNumber,
"order_shipped"
as
type_id, event_time
FROM
order_shipped
UNION
ALL
select
orderNumber,
"order_received"
as
type_id, event_time
FROM
order_received
UNION
ALL
select
orderNumber,
"order_cancelled"
as
type_id, event_time
FROM
order_cancelled
) u
group
by
orderNumber;
select
*
from
order_tracking
order
by
order_created_ts limit 5;
--=====================================--
CREATE
TABLE
order_tracking_join
AS
select
t1.orderNumber
, t1.event_time
as
order_created_ts
, t2.event_time
as
order_picked_ts
, t3.event_time
as
order_shipped_ts
, t4.event_time
as
order_received_ts
, t5.event_time
as
order_cancelled_ts
from
(
select
ordernumber,
max
(event_time)
as
event_time
from
order_created
group
by
ordernumber
) t1
left
outer
join
(
select
ordernumber,
max
(event_time)
as
event_time
from
order_picked
group
by
ordernumber
) t2
on
t1.ordernumber = t2.ordernumber
left
outer
join
(
select
ordernumber,
max
(event_time)
as
event_time
from
order_shipped
group
by
ordernumber
) t3
on
t1.ordernumber = t3.ordernumber
left
outer
join
(
select
ordernumber,
max
(event_time)
as
event_time
from
order_received
group
by
ordernumber
) t4
on
t1.ordernumber = t4.ordernumber
left
outer
join
(
select
ordernumber,
max
(event_time)
as
event_time
from
order_cancelled
group
by
ordernumber
) t5
on
t1.ordernumber = t5.ordernumber;
select
*
from
order_tracking_join
order
by
order_created_ts limit 5;
--=====================================--
select
orderNumber
, order_created_ts
, order_picked_ts
, order_shipped_ts
, order_received_ts
, order_cancelled_ts
from
order_tracking
WHERE
order_created_ts !=
'0'
AND
order_cancelled_ts =
'0'
AND
(
COALESCE
(unix_timestamp(order_picked_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 2 * 60 * 60
OR
COALESCE
(unix_timestamp(order_shipped_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 4 * 60 * 60
OR
COALESCE
(unix_timestamp(order_shipped_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 48 * 60 * 60
)
;
select
orderNumber
, order_created_ts
, order_picked_ts
, order_shipped_ts
, order_received_ts
, order_cancelled_ts
from
order_tracking_join
WHERE
order_created_ts
IS
NOT
NULL
AND
order_cancelled_ts
IS
NULL
AND
(
COALESCE
(unix_timestamp(order_picked_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 2 * 60 * 60
OR
COALESCE
(unix_timestamp(order_shipped_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 4 * 60 * 60
OR
COALESCE
(unix_timestamp(order_shipped_ts,
'yyyy-MM-dd HH:mm:ss.S'
), 0) - unix_timestamp(order_created_ts,
'yyyy-MM-dd HH:mm:ss.S'
) > 48 * 60 * 60
)
;
|
获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】
A 代码生成器(开发利器);全部是源码
增删改查的处理类，service层，mybatis的xml，SQL( mysql 和oracle)脚本, jsp页面 都生成
就不用写搬砖的代码了,生成的放到项目里，可以直接运行
B 阿里巴巴数据库连接池druid;
数据库连接池 阿里巴巴的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势
C 安全权限框架shiro ;
Shiro 是一个用 Java 语言实现的框架，通过一个简单易用的 API 提供身份验证和授权，更安全，更可靠
D ehcache 分布式缓存;
是一个纯Java的进程内缓存框架，具有快速、精干等特点,广泛使用的开源Java分布式缓存。
E 微信接口开发（后续会加入Activiti5 工作流 ）赠送一个jbpm工作流大型ERP系统(含OA、财务、分销)参考学习
F WebSocket 通信技术 即时通讯功能
-------------------------------------------------------------------------------------------------------------------------
1. 模块化、服务化，流程化，耦合度低、扩展性好，灵活度高，工具类封装完整，干净利索，调用简单方便
2. 提供Rest服务，支持APP手机应用(android和ios)接口、php、.net、易语言、VB等第三方接口调用
3. 全新高大尚HTML5+css3.0+bootstrap响应式开发界面UI，( 手机 PC 平板 截图在下面)、前沿. spring restful 风格
4. 框架搭建完善成熟，在此基础上做过很多项目，系统具有并发处理、分布式、稳定性。
5. 系统功能完善，此为框架平台，文档、注释齐全，提供技术支持，专门供二次开发
6. 在此基础上可二次开发(OA、ERP、CRM ,医疗管理、金融、网站后台、APP后台、电子商务、商城(赠送UI)等等
7.我们这边是公司，主要业务是定制开发, 此系统为我们平时给客户做项目用的，经过很多项目实战考验
-------------------------------------------------------------------------------------------------------------------------系统模块
1. 组织管理：角色管理，分角色组和成员，有组权限和成员权限。
2. 系统用户：对各个基本的组会员增删改查，单发、群发邮件短信，导入导出excel表格，批量删除
3. 会员管理：对前台用户管理，分配会员级别，到期时间，状态，联系信息等资料
4. 菜单管理：增删改查菜单 ztree（自定义菜单）业务菜单和系统菜单分离
5. 数据字典：无限级别，支持多级别无限分类。内设编号，排序等
6. 系统设置：修改系统名称，邮件服务器配置，短信账号设置，图片水印配置，微信配置
7. 代码生成：打开代码生成器模块
8. 图库管理：对批量上传的图片统一管理
9. 性能监控：监控整个系统的性能，SQL监控，SQL防火墙，URL监控，SPRING监控，SESSION监控等
10. 接口测试：POST or GET 方式检测系统接口，参数加密，json返回结果，计算服务器响应时间
11. 发送邮件：单发，群发邮件
12. 置二维码：生成 or 解析二维码
13.地图工具：经纬度操作
14.即时通讯：打开即时聊天窗口
15.在线管理：(统计在线人数和在线列表，可强制某用户下线)，同一用户只能在一个客户端登录
16.打印测试：页面打印预览测试
-------------------------------------------------------------------------------------------------------------------------
菜单权限：分配给每个角色不同的菜单权限, 每个角色看到的菜单不同
按钮权限：独立分配不同的角色不同的功能权限，增删改查权限分配具体到不同的菜单
支持多用户分权限管理后台, 权限具体到不同的菜单不同的按钮
--------------------------------------------------------------------------------------------------------------信息模块(小项目代码中)
新闻管理：新闻的维护、发布、权重排序等 采用百度ueditor富文本框
公告管理：公告的维护、发布
广告管理：广告的维护、发布，状态维护，上传广告图片
友情链接：友情链接的维护、状态维护
特别推荐：特别推荐、状态维护
微信模块
关注回复：微信用户关注公众号回复
文本回复：匹配关键词进行文本回复
图文回复：匹配关键词进行图文回复
应用命令：匹配关键词进行命令操作，例如微信发送命令，执行服务器重启、关机、锁定等操作
-------------------------------------------------------------------------------------------------------------------------
技术点
1. 导出 导入 excel 文件
2 导出word文件
3. IO 流上传下载文件
4. 群发邮件，可以发html、纯文本格式，可以发给任意邮箱(实现批量发送广告邮件)
5. 群发or单独 发送短信，支持两种第三方短信商接口
6. spring aop 事物处理
7. 代码生成器 (freemarker)， 代码 zip 压缩打包
8. MD5加密 SHA加密（登录密码用此加密）接口加密身份校验
9. 数据库连接池 阿里的 druid。Druid在监控、可扩展性、稳定性和性能方面都有明显的优势,支持并发
10.加入安全框架 shiro (登录授权)(session管理)
11.根据汉字 解析汉字的全拼(拼音)和首字母(导入excel到用户表，根据用户的汉字姓名生成拼音的用户名)
12.app接口@ResponseBody（支持与其它语言数据交互）
13.极光推送 (推送给APP及时消息，APP不启动也能收到)
14.微信接口(身份验证，文本、图文回复等) 微信远程控制服务器重启、锁定、其它应用程序
15.java Quartz 定时器 （定时执行某程序，精确到秒，可设置周期）
16.java websocket 即时通讯技术，点对点，群聊，单聊，EXT4对话框
17.新增Lucene全文检索
18.Base64传输图片
19.图片加水印(图片水印，文字水印）
20.生成 or 解析 二维码
21.HTML5 + JAVAEE WebSocket 通信技术，WebSocket 验证用户登录，强制某用户下线
22.批量异步上传图片，可预览，有进度条，支持拖拽上传(百度webuploader )。列表动态滑动放大展示。
23.ehcache 自定义二级缓存 ，选择缓存存放目录，处理并发，增加系统性能
24.服务器内部GET POST 请求
25.uploadify 上传插件，单条、批量上传多线程，带进度条，异步，图片、视频, 其它文件格式均可上传
26.地图选点获取经纬度坐标，根据俩经纬度计算距离
27.tab标签页面功能，标签自由切换，不重复操作数据库
-------------------------------------------------------------------------------------------------------------------------
系统框架为：springmvc + mybaits 3.2 有 maven 版本和 非maven 版本 jdk 1.6 1.7 1.8 tomcat 6 7 8
数据库：oracle 版本 和 msyql 版本 ( spring3.0 和4.02 mybaits 3.2) 开发工具：myeclipse eclipse 均可
赠送 同UI springmvc + hibernate SpringSecurity Lucene Quartz MySQL、Oracle、SQL Server
赠送 同UI maven 分模块项目 springmvc + mybatis
-------------------------------------------------------------------------------------------------------------------------
系统演示视频：链接: http://pan.baidu.com/s/1kThEHb5 密码: t987 之前录的(有点粗糙, 凑合着看)
http://www.tudou.com/programs/view/7z9L6IdngtM/
http://www.tudou.com/programs/view/eOOWlc3BB5I/
http://www.tudou.com/programs/view/_k7hjoF8Dp8/
获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】
--------------------------------------------------------------------------------------------------------------------
PC实物截图如下
登录界面背景用HTML5特效自动切换(百叶窗，幕布等多种切换方式)
获取【下载地址 (劳动所得,不喜勿喷)】 【免费支持更新】