朱古力...

04 电商数仓(用户行为数据仓库 DWS/ADS层)

电商数仓(用户行为数据仓库 DWS/ADS层)

文章目录

电商数仓(用户行为数据仓库 DWS/ADS层)

1. 业务知识准备

1.1 业务术语
1.2 系统函数

1.2.1 collect_set 函数
1.2.2 日期处理函数

2. 需求一：用户活跃主题

2.1 DWS 层：服务数据层

2.1.1 每日活跃设备明细
2.1.2 每周活跃设备明细
2.1.3 每月活跃设备明细
2.1.4 DWS 层加载数据脚本

2.2 ADS 层：数据应用层

2.2.1 活跃设备数
2.2.2 ADS 层加载数据脚本

3. 需求二：用户新增主题

3.1 DWS 层

3.1.1 每日新增设备明细表
3.1.2 DWS 层加载数据脚本

3.2 ADS 层

3.2.1 每日新增设备表
3.2.2 ADS 层加载数据脚本

4. 需求三：用户留存主题

4.1 需求描述
4.2 DWS 层

4.2.1 DWS 层（每日留存用户明细表）
4.2.2 DWS 层（1，2，3，n 天留存用户明细表）
4.2.3 union 与 union all 区别

4.3 ADS 层

4.3.1 留存用户数
4.3.2 留存用户比率

5. 新数据准备
6. 需求四：沉默用户数

6.1 DWS 层
6.2 ADS 层
6.3 编写脚本

7. 需求五：本周回流用户数

7.1 DWS 层
7.2 ADS 层
7.3 编写脚本

8. 需求六：流失用户数

8.1 DWS 层
8.2 ADS 层
8.3 编写脚本

9. 需求七：最近连续三周活跃用户数

9.1 DWS 层
9.2 ADS 层
9.3 编写脚本

10. 需求八：最近七天内连续三天活跃用户数

10.1 DWS 层
10.2 ADS 层

10.3 编写脚本

1. 业务知识准备

1.1 业务术语

用户： 用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。
新增用户： 如果一个用户首次打开某 APP ，那这个用户定义为新增用户；卸载再安装的设备，不会算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。
活跃用户： 打开应用的用户即为活跃用户，不考虑使用情况。
周(月)活跃用户： 某个自然周(月)内启动过应用的用户，该周(月)内多次启动只记为一个活跃用户。
月活跃率： 月活跃用户与截止到该月累计的用户总和之间的比例。
沉默用户： 用户只在安装当天(次日)启动一次，后续事件无再启动行为。
版本分布： 不同版本的周内各天新增用户数，活跃用户数和启动次数。
本周回流用户： 上周未启动过应用，本周启动了应用的用户。
连续 n 周活跃用户： 连续 n 周，每周至少启动一次。
忠诚用户： 连续活跃 5 周以上的用户。
连续活跃用户： 连续 2 周及以上活跃的用户。
近期流失用户： 连续 n（2<=n<=4）周没有启动应用的用户。
留存用户： 某段时间内的新增用户，经过一段时间后，仍然使用应用的被认作是留存用户，这部分用户占当时新增用户的比例即是留存率。
用户新鲜度： 新增用户数占活跃用户数的比例。
单次使用时长： 每次启动使用的时间长度。
日使用时长： 累计一天内的使用时间长度。
启动次数计算标准： IOS平台应用退到后台就算一次独立的启动；Android平台我们规定，两次启动之间的间隔小于30秒，被计算一次启动。用户在使用过程中，若因收发短信或接电话等退出应用30秒又再次返回应用中，那这两次行为应该是延续而非独立的，所以可以被算作一次使用行为，即一次启动。业内大多使用30秒这个标准，但用户还是可以自定义此时间间隔。

1.2 系统函数

1.2.1 collect_set 函数

说明： 将同一分组的不同行数据聚合成一个集合。

举例：

创建数据表：

drop table if exists stu;
create table stu (name string,
                   area string,
                   course string,
                   score int);

插入数据：

insert into table stu values('zs', 'bj', 'math', 88);
insert into table stu values('ls', 'bj', 'math', 99);
insert into table stu values('ww', 'sh', 'chinese', 92);
insert into table stu values('zl', 'sh', 'chinese', 54);
insert into table stu values('tq', 'bj', 'chinese', 91);

查询数据：

select * from stu;

把同一分组的不同行数据聚合成一个集合：

select course , collect_set(area) , avg(score) from stu group by course;

用下标可以取某一个：

select course , collect_set(area) , avg(score)[0] from stu group by course;

1.2.2 日期处理函数

date_format 函数（根据格式整理日期）

select date_format('2020-05-22','yyyy-MM');
-- 2020-05

date_add 函数（加减日期）

select date_add('2020-05-22',1);
-- 2020-02-23

select date_add('2020-05-22',-1);
-- 2020-02-21

next_day 函数

-- 取当前天的下一个周一
select next_day('2020-05-22','MO');
-- 2020-05-25

-- 取当前周的周一
select date_add(next_day('2020-05-22','MO'),-7);
-- 2020-05-18

last_day 函数（求当月最后一天日期）

select last_day('2020-05-22');
-- 2020-05-31

2. 需求一：用户活跃主题

2.1 DWS 层：服务数据层

2.1.1 每日活跃设备明细

跟设备唯一标识 mid_id 有关，且与启动表 dwd_start_log 有关。

建表语句：

drop table if exists dws_uv_detail_day;
create external table dws_uv_detail_day (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string
)
partitioned by(`dt` string)
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_day/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dws_uv_detail_day
partition(dt='2020-05-11')
select
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat 
from dwd_start_log
where dt='2020-05-11' 
group by mid_id;

查询导入结果

select * from dws_uv_detail_day limit 2;
select count(*) from dws_uv_detail_day;

2.1.2 每周活跃设备明细

跟设备唯一标识 mid_id 有关，且与日活表 dws_uv_detail_day 有关。

建表语句

drop table if exists dws_uv_detail_week;
create external table dws_uv_detail_week (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string,
  `monday_date` string,
  `sunday_date` string
)
partitioned by(`wk_dt` string) -- wk_dt 相当于表中的一个字段，且在最后
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_week/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dws_uv_detail_week
partition(wk_dt) 
select 
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat ,
  date_add(next_day('2020-05-11', 'MO') , -7),
  date_add(next_day('2020-05-11', 'MO') , -1),
  concat(date_add(next_day('2020-05-11', 'MO') , -7), '_', date_add(next_day('2020-05-11', 'MO') , -1))
from dws_uv_detail_day
where dt>=date_add(next_day('2020-05-11', 'MO') , -7) and dt<=date_add(next_day('2020-05-11', 'MO') , -1)
group by mid_id;

查询导入结果

select * from dws_uv_detail_week limit 2;
select count(*) from dws_uv_detail_week;

2.1.3 每月活跃设备明细

跟设备唯一标识 mid_id 有关，且与日活表 dws_uv_detail_day 有关。

建表语句

drop table if exists dws_uv_detail_month;
create external table dws_uv_detail_month (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string
)
partitioned by(`mt_dt` string) 
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_month/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dws_uv_detail_month
partition(mt_dt)
select 
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat ,
  date_format('2020-05-11', 'yyyy-MM')
from dws_uv_detail_day
where date_format(dt, 'yyyy-MM') = date_format('2020-05-11', 'yyyy-MM')
group by mid_id;

查询导入结果

select * from dws_uv_detail_month limit 2;
select count(*) from dws_uv_detail_month;

2.1.4 DWS 层加载数据脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建脚本 dws_uv_log.sh。

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n $1 ] ; then
	do_date=$1
else
	do_date=`date -d "-1 day" +%F`
fi

sql="
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table "$APP".dws_uv_detail_day
partition(dt='$do_date')
select
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat 
from "$APP".dwd_start_log
where dt='$do_date' 
group by mid_id;

insert overwrite table "$APP".dws_uv_detail_week
partition(wk_dt) 
select 
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat ,
  date_add(next_day('2020-05-11', 'MO') , -7),
  date_add(next_day('2020-05-11', 'MO') , -1),
  concat(date_add(next_day('$do_date', 'MO') , -7), '_', date_add(next_day('$do_date', 'MO') , -1))
from "$APP".dws_uv_detail_day
where dt>=date_add(next_day('$do_date', 'MO') , -7) and dt<=date_add(next_day('$do_date', 'MO') , -1)
group by mid_id;

insert overwrite table "$APP".dws_uv_detail_month
partition(mt_dt)
select 
  mid_id,
  concat_ws('|', collect_set(user_id)) user_id,
  concat_ws('|', collect_set(version_code)) version_code ,
  concat_ws('|', collect_set(version_name)) version_name ,
  concat_ws('|', collect_set(lang)) lang ,
  concat_ws('|', collect_set(source)) source ,
  concat_ws('|', collect_set(os)) os ,
  concat_ws('|', collect_set(area)) area ,
  concat_ws('|', collect_set(model)) model ,
  concat_ws('|', collect_set(brand)) brand ,
  concat_ws('|', collect_set(sdk_version)) sdk_version ,
  concat_ws('|', collect_set(gmail)) gmail ,
  concat_ws('|', collect_set(height_width)) height_width ,
  concat_ws('|', collect_set(app_time)) app_time ,
  concat_ws('|', collect_set(net_work)) net_work ,
  concat_ws('|', collect_set(lng)) lng ,
  concat_ws('|', collect_set(lat)) lat ,
  date_format('$do_date', 'yyyy-MM')
from "$APP".dws_uv_detail_day
where date_format(dt, 'yyyy-MM') = date_format('$do_date', 'yyyy-MM')
group by mid_id;
"

$hive -e "$sql"

增加脚本执行权限
```
chmod 777 dws_uv_log.sh
```
脚本使用
```
dws_uv_log.sh 2020-05-12
```

查询是否导入成功

select count(*) from dws_uv_detail_month where mt_dt='2020-05-12';

2.2 ADS 层：数据应用层

2.2.1 活跃设备数

目标：当日、当周、当月设备活跃数

建表语句

drop table if exists ads_uv_count;
create external table ads_uv_count (
	`dt` string,   -- 统计日期
  `day_count` bigint,   -- 当天活跃用户数
  `week_count` bigint,   -- 当周活跃用户数
  `month_count` bigint,   -- 当月活跃用户数
  `is_weekend` string,  -- Y/N代表是否是周末，用于得到本周的最终结果
  `is_monthend` string  -- Y/N代表是否是月末，用于得到本月的最终结果
)
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_uv_count_day/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert into table ads_uv_count
select 
  '2020-05-11' dt,
  daycount.ct day_count,
  weekcount.ct week_count,
  monthcount.ct month_count,
  if(date_add(next_day('2020-05-11','MO'),-1)='2020-05-11', 'Y', 'N'),
  if(last_day('2020-05-11')='2020-05-11', 'Y', 'N')
from (
  select 
    '2020-05-11' dt, count(*) ct 
  from 
    dws_uv_detail_day 
  where 
    dt='2020-05-11'
) daycount 
join
(
  select 
    '2020-05-11' dt, count(*) ct 
  from 
    dws_uv_detail_week 
  where 
    wk_dt=concat(date_add(next_day('2020-05-11','MO'),-7), '_', date_add(next_day('2020-05-11','MO'),-1) ) 
) weekcount on daycount.dt=weekcount.dt 
join
(
  select 
    '2020-05-11' dt, count(*) ct 
  from 
    dws_uv_detail_month 
  where 
    mt_dt=date_format('2020-05-11' , 'yyyy-MM')
) monthcount on daycount.dt=monthcount.dt ;

查看导入是否成功
```
select * from ads_uv_count;
```

2.2.2 ADS 层加载数据脚本

在 hadoop101 的 /home/zhl/bin/ 的目录下创建脚本 ads_uv_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="
  set hive.exec.dynamic.partition.mode=nonstrict;

insert into table "$APP".ads_uv_count
select 
  '$do_date' dt,
  daycount.ct day_count,
  weekcount.ct week_count,
  monthcount.ct month_count,
  if(date_add(next_day('$do_date','MO'),-1)='$do_date', 'Y', 'N'),
  if(last_day('$do_date')='$do_date', 'Y', 'N')
from (
  select 
    '$do_date' dt, count(*) ct 
  from 
    "$APP".dws_uv_detail_day 
  where 
    dt='$do_date'
) daycount 
join
(
  select 
    '$do_date' dt, count(*) ct 
  from 
    "$APP".dws_uv_detail_week 
  where 
    wk_dt=concat(date_add(next_day('$do_date','MO'),-7), '_', date_add(next_day('$do_date','MO'),-1) ) 
) weekcount on daycount.dt=weekcount.dt 
join
(
  select 
    '$do_date' dt, count(*) ct 
  from 
    "$APP".dws_uv_detail_month 
  where 
    mt_dt=date_format('$do_date' , 'yyyy-MM')
) monthcount on daycount.dt=monthcount.dt ;
"

$hive -e "$sql"

给脚本增加可执行权限
```
chmod 777 ads_uv_log.sh
```
执行脚本
```
ads_uv_log.sh 2020-05-12
```
查看脚本执行结果
```
select * from ads_uv_count;
```

3. 需求二：用户新增主题

3.1 DWS 层

3.1.1 每日新增设备明细表

与设备的唯一标识 mid_id 有关，需要使用到日活表 dws_uv_detail_day。

建表语句

drop table if exists dws_new_mid_day;
create external table dws_new_mid_day (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string,
  `create_date` string
)
stored as parquet
location '/warehouse/gmall/dws/dws_new_mid_day/';

插入数据

insert into table dws_new_mid_day 
select 
  ud.mid_id,
  ud.user_id,
  ud.version_code,
  ud.version_name,
  ud.lang,
  ud.source,
  ud.os,
  ud.area,
  ud.model,
  ud.brand,
  ud.sdk_version,
  ud.gmail,
  ud.height_width,
  ud.app_time,
  ud.net_work,
  ud.lng,
  ud.lat,
  '2020-05-11'
from 
  dws_uv_detail_day ud left join dws_new_mid_day nm
  on ud.mid_id=nm.mid_id
where ud.dt='2020-05-11' and nm.mid_id is null;

查询导入的数据
```
select * from dws_new_mid_day;
```

3.1.2 DWS 层加载数据脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建 dws_new_mid_day_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".dws_new_mid_day 
select 
  ud.mid_id,
  ud.user_id,
  ud.version_code,
  ud.version_name,
  ud.lang,
  ud.source,
  ud.os,
  ud.area,
  ud.model,
  ud.brand,
  ud.sdk_version,
  ud.gmail,
  ud.height_width,
  ud.app_time,
  ud.net_work,
  ud.lng,
  ud.lat,
  '$do_date'
from 
  "$APP".dws_uv_detail_day ud left join "$APP".dws_new_mid_day nm
  on ud.mid_id=nm.mid_id
where ud.dt='$do_date' and nm.mid_id is null;
"

$hive -e "$sql"

给脚本添加执行权限
```
chmod 777 dws_new_mid_day_log.sh
```
执行脚本
```
dws_new_mid_day_log.sh 2020-05-12
```

查看脚本执行情况

select * from dws_new_mid_day_log.sh limit 2;
select count(*) from dws_new_mid_day_log.sh;

3.2 ADS 层

3.2.1 每日新增设备表

建表语句

drop table if exists ads_new_mid_count;
create external table ads_new_mid_count (
  `create_date` string,
  `new_mid_count` bigint
) 
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_new_mid_count';

插入数据

insert into table ads_new_mid_count 
select 
  '2020-05-11',
  count(*)
from dws_new_mid_day
where create_date='2020-05-11';

查看是否插入成功
```
select * from ads_new_mid_count;
```

3.2.2 ADS 层加载数据脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建脚本 ads_new_mid_count_log.sh。

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".ads_new_mid_count 
select 
  '$do_date',
  count(*)
from "$APP".dws_new_mid_day
where create_date='$do_date';
"

$hive -e "$sql"

给脚本添加执行权限
```
ads_new_mid_count_log.sh 2020-05-12
```
查看脚本执行结果
```
select * from ads_new_mid_count;
```

4. 需求三：用户留存主题

4.1 需求描述

**需求：**每天计算前1、2、3、4、7、14天的留存率。
分析： 假设今天是12日，统计前一天的留存率。
- 分母获取： 11日活跃表 left join 每日新增表，新增表 id 为 null 的为 11日的新增设备。
- 分子获取： 11日的新增 join 12日的活跃表，且新增日期是11日，活跃日期是12日。
- 留存率计算： 11日的新增设备且12日的活跃设备，与11日新增设备相比，计算出留存率。

4.2 DWS 层

4.2.1 DWS 层（每日留存用户明细表）

建表语句

drop table if exists dws_user_retention_day;
create external table dws_user_retention_day (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string,
  `create_date` string,  -- 新增日期
  `retention_day` string  -- 截至当前日期留存天数
)
partitioned by(`dt` string)
stored as parquet
location '/warehouse/gmall/dws/dws_user_retention_day';

导入数据：(计算前一天的新用户访问留存明细)

insert overwrite table dws_user_retention_day
partition (dt='2020-05-12')
select 
  nm.mid_id,
  nm.user_id , 
  nm.version_code , 
  nm.version_name , 
  nm.lang , 
  nm.source, 
  nm.os, 
  nm.area, 
  nm.model, 
  nm.brand, 
  nm.sdk_version, 
  nm.gmail, 
  nm.height_width,
  nm.app_time,
  nm.net_work,
  nm.lng,
  nm.lat,
  nm.create_date,
  1 retention_day
from dws_uv_detail_day ud join dws_new_mid_day nm 
on ud.mid_id = nm.mid_id 
where ud.dt='2020-05-12' and nm.create_date=date_add('2020-05-12',-1);  -- 今日活跃 and 前一天新增

查询导入结果

select count(*) from dws_user_retention_day;

4.2.2 DWS 层（1，2，3，n 天留存用户明细表）

导入数据 (每天计算前 1，2，3，n 天的新用户访问留存明细)

insert overwrite table dws_user_retention_day
partition (dt='2020-05-12')
select 
  nm.mid_id,
  nm.user_id , 
  nm.version_code , 
  nm.version_name , 
  nm.lang , 
  nm.source, 
  nm.os, 
  nm.area, 
  nm.model, 
  nm.brand, 
  nm.sdk_version, 
  nm.gmail, 
  nm.height_width,
  nm.app_time,
  nm.net_work,
  nm.lng,
  nm.lat,
  nm.create_date,
  1 retention_day
from dws_uv_detail_day ud join dws_new_mid_day nm 
on ud.mid_id = nm.mid_id 
where ud.dt='2020-05-12' and nm.create_date=date_add('2020-05-12',-1)

union all 

select 
  nm.mid_id,
  nm.user_id , 
  nm.version_code , 
  nm.version_name , 
  nm.lang , 
  nm.source, 
  nm.os, 
  nm.area, 
  nm.model, 
  nm.brand, 
  nm.sdk_version, 
  nm.gmail, 
  nm.height_width,
  nm.app_time,
  nm.net_work,
  nm.lng,
  nm.lat,
  nm.create_date,
  2 retention_day
from dws_uv_detail_day ud join dws_new_mid_day nm 
on ud.mid_id = nm.mid_id 
where ud.dt='2020-05-12' and nm.create_date=date_add('2020-05-12',-2)

union all 

select 
  nm.mid_id,
  nm.user_id , 
  nm.version_code , 
  nm.version_name , 
  nm.lang , 
  nm.source, 
  nm.os, 
  nm.area, 
  nm.model, 
  nm.brand, 
  nm.sdk_version, 
  nm.gmail, 
  nm.height_width,
  nm.app_time,
  nm.net_work,
  nm.lng,
  nm.lat,
  nm.create_date,
  3 retention_day
from dws_uv_detail_day ud join dws_new_mid_day nm 
on ud.mid_id = nm.mid_id 
where ud.dt='2020-05-12' and nm.create_date=date_add('2020-05-12',-3);

查询导入结果

select retention_day, count(*) from dws_user_retention_day group by retention_day;

4.2.3 union 与 union all 区别

union 会将联合的结果集去重，效率较 union all 差。
union all 不会对结果集去重，所以效率较高。

4.3 ADS 层

4.3.1 留存用户数

建表语句

drop table if exists ads_user_retention_day_count;
create external table ads_user_retention_day_count (
  `create_date` string,
  `retention_day` string,
  `retention_count` bigint
)
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_user_retention_day_count/';

导入数据

insert into table ads_user_retention_day_count
select 
  create_date,
  retention_day,
  count(*) retention_count
from dws_user_retention_day 
where dt='2020-05-12'
group by create_date,retention_day;

查询导入结果

select * from ads_user_retention_day_count;

4.3.2 留存用户比率

建表语句

drop table if exists ads_user_retention_day_rate;
create external table ads_user_retention_day_rate (
  `stat_date` string,
  `create_date` string,
  `retention_day` string,
  `retention_count` bigint,
  `new_mid_count` bigint,
  `retention_ratio` decimal(10,2)
)
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_user_retention_day_rate/';

导入数据

insert into table ads_user_retention_day_rate
select 
  '2020-05-12',
  ur.create_date,
  ur.retention_day, 
  ur.retention_count, 
  nc.new_mid_count,
  ur.retention_count/nc.new_mid_count*100
from
(
  select
    create_date,
    retention_day,
    count(*) retention_count
  from dws_user_retention_day
  where dt='2020-05-12'
  group by create_date,retention_day
) ur join ads_new_mid_count nc on nc.create_date=ur.create_date;

查询导入结果

select * from ads_user_retention_day_rate;

5. 新数据准备

为了分析沉默用户、本周回流用户数、流失用户、最近连续3周活跃用户、最近七天内连续三天活跃用户数，需要准备 2020-05-13、2020-05-21日的数据。

2020-05-13 数据准备

2.1 修改日志事件

dt.sh 2020-05-13

2.2 启动集群

cluster.sh start

2.3 生成日志数据

lg.sh

2.4 将 HDFS 数据导入 ODS 层

ods_log.sh 2020-05-13

2.5 将 ODS 层数据导入 DWD 层

dwd_start_log.sh 2020-05-13
dwd_base_log.sh 2020-05-13
dwd_event_log.sh 2020-05-13

2.6 将 DWD 层数据导入到 DWS 层

dws_uv_log.sh 2020-05-13

2.7 验证

select * from dws_uv_detail_day where dt='2020-05-13' limit 2;

2020-05-21 数据准备

3.1 修改日志事件

dt.sh 2020-05-21

3.2 启动集群

cluster.sh start

3.3 生成日志数据

lg.sh

3.4 将 HDFS 数据导入 ODS 层

ods_log.sh 2020-05-21

3.5 将 ODS 层数据导入 DWD 层

dwd_start_log.sh 2020-05-21
dwd_base_log.sh 2020-05-21
dwd_event_log.sh 2020-05-21

3.6 将 DWD 层数据导入到 DWS 层

dws_uv_log.sh 2020-05-21

3.7 验证

select * from dws_uv_detail_day where dt='2020-05-21' limit 2;

6. 需求四：沉默用户数

沉默用户： 指的是只在安装当天启动过，且启动时间是在一周前。

6.1 DWS 层

使用 dws_uv_detail_day 作为 DWS 层数据。

6.2 ADS 层

建表语句

drop table if exists ads_slient_count;
create external table ads_slient_count (
  `dt` string ,
  `slient_count` bigint
) 
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_slient_count';

导入数据

insert into table ads_slient_count
select 
  '2020-05-21' dt,
  count(*) slient_count
from 
(
  select mid_id
  from dws_uv_detail_day
  where dt<='2020-05-21'
  group by mid_id
  having count(*)=1 and min(dt) < date_add('2020-05-21', -7)
) t1;

查询导入结果
```
select * from ads_slient_count;
```

6.3 编写脚本

在 hadoop101 的 /home/zgl/bin/ 在创建脚本 ods_slient_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".ads_slient_count
select 
  '$do_date' dt,
  count(*) slient_count
from 
(
  select mid_id
  from "$APP".dws_uv_detail_day
  where dt<='$do_date'
  group by mid_id
  having count(*)=1 and min(dt) < date_add('$do_date', -7)
) t1; 
"

$hive -e "$sql"

增加脚本执行权限
```
chmod 777 ads_slient_log.sh
```
执行脚本
```
ads_slient_log.sh 2020-05-21
```
查询结果
```
select * from ads_slient_count;
```

7. 需求五：本周回流用户数

本周回流 = 本周活跃 - 本周新增 - 上周活跃

7.1 DWS 层

使用日活明细表 dws_uv_detail_day 作为 DWS 层数据。

7.2 ADS 层

建表语句

drop table if exists ads_back_count;
create external table ads_back_count (
  `dt` string,
  `wk_dt` string,
  `wastage_count` bigint
)
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_back_count';

导入数据

insert into table ads_back_count
select 
  '2020-05-21' dt,
  concat(date_add(next_day('2020-05-21','MO'),-7), '_', date_add(next_day('2020-05-21','MO'),-1)) wk_dt,
  count(*)
from
(
  select t1.mid_id
  from 
  (
    select  mid_id
    from dws_uv_detail_week
    where wk_dt=concat(date_add(next_day('2020-05-21','MO'),-7),'_',date_add(next_day('2020-05-21','MO'),-1))
  ) t1
  left join
  (
    select mid_id
    from dws_new_mid_day
    where create_date<=date_add(next_day('2020-05-21','MO'),-1) and create_date>=date_add(next_day('2020-05-21','MO'),-7)
  )t2
  on t1.mid_id=t2.mid_id
  left join
  (
      select  mid_id
      from dws_uv_detail_week
      where wk_dt=concat(date_add(next_day('2020-05-21','MO'),-7*2),'_',date_add(next_day('2020-05-21','MO'),-7-1))
  )t3
  on t1.mid_id=t3.mid_id
  where t2.mid_id is null and t3.mid_id is null
) t4;

查询结果
```
select * from ads_back_count;
```

7.3 编写脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建 ads_back_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi


sql="
insert into table "$APP".ads_back_count
select 
  '$do_date' dt,
  concat(date_add(next_day('$do_date','MO'),-7), '_', date_add(next_day('$do_date','MO'),-1)) wk_dt,
  count(*)
from
(
  select t1.mid_id
  from 
  (
    select  mid_id
    from "$APP".dws_uv_detail_week
    where wk_dt=concat(date_add(next_day('$do_date','MO'),-7),'_',date_add(next_day('$do_date','MO'),-1))
  ) t1
  left join
  (
    select mid_id
    from "$APP".dws_new_mid_day
    where create_date<=date_add(next_day('$do_date','MO'),-1) and create_date>=date_add(next_day('$do_date','MO'),-7)
  )t2
  on t1.mid_id=t2.mid_id
  left join
  (
      select  mid_id
      from "$APP".dws_uv_detail_week
      where wk_dt=concat(date_add(next_day('$do_date','MO'),-7*2),'_',date_add(next_day('$do_date','MO'),-7-1))
  )t3
  on t1.mid_id=t3.mid_id
  where t2.mid_id is null and t3.mid_id is null
) t4;
"

$hive -e "$sql"

给脚本添加执行权限
```
chmod 777 ads_back_log.sh
```
执行脚本
```
ads_back_log.sh 2020-05-21
```
查询结果
```
select * from ads_back_count;
```

8. 需求六：流失用户数

流失用户： 最近7天未登录的称之为流失用户。

8.1 DWS 层

使用日活明细表dws_uv_detail_day 作为 DWS 层数据。

8.2 ADS 层

建表语句

drop table if exists ads_wastage_count;
create external table ads_wastage_count( 
    `dt` string COMMENT '统计日期',
    `wastage_count` bigint COMMENT '流失设备数'
) 
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_wastage_count';

导入数据：

insert into table ads_wastage_count
select
     '2020-05-21',
     count(*)
from 
(
    select mid_id
from dws_uv_detail_day
    group by mid_id
    having max(dt)<=date_add('2020-05-21',-7)
)t1;

查询导入结果
```
select * from ads_wastage_count;
```

8.3 编写脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建 ads_wastage_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".ads_wastage_count
select
     '$do_date',
     count(*)
from 
(
    select mid_id
from "$APP".dws_uv_detail_day
    group by mid_id
    having max(dt)<=date_add('$do_date',-7)
)t1;
"

$hive -e "$sql"

给脚本添加执行权限
```
chmod 777 ads_wastage_log.sh
```
执行脚本
```
ads_wastage_log.sh 2020-05-21
```
查询结果
```
select * from ads_wastage_count;
```

9. 需求七：最近连续三周活跃用户数

最近3周连续活跃的用户：通常是周一对前3周的数据做统计，该数据一周计算一次。

9.1 DWS 层

使用周明细表 dws_uv_detail_week 作为 DWS 层数据。

9.2 ADS 层

建表语句

drop table if exists ads_continuity_wk_count;
create external table ads_continuity_wk_count(
  `dt` string,
  `wk_dt` string,
  `continuity_count` bigint
)
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_continuity_wk_count';

导入 2020-05-21 所在周的数据

insert into table ads_continuity_wk_count
select 
     '2020-05-21',
     concat(date_add(next_day('2020-05-21','MO'),-7*3),'_',date_add(next_day('2020-05-21','MO'),-1)),
     count(*)
from 
(
    select mid_id
    from dws_uv_detail_week
    where wk_dt>=concat(date_add(next_day('2020-05-21','MO'),-7*3),'_',date_add(next_day('2020-05-21','MO'),-7*2-1)) 
    and wk_dt<=concat(date_add(next_day('2020-05-21','MO'),-7),'_',date_add(next_day('2020-05-21','MO'),-1))
    group by mid_id
    having count(*)=3
)t1;

查询
```
select * from ads_continuity_wk_count;
```

9.3 编写脚本

在 hadoop101 的 /home/zgl/bin/ 下创建脚本：ads_continuity_wk_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".ads_continuity_wk_count
select 
     '$do_date',   concat(date_add(next_day('$do_date','MO'),-7*3),'_',date_add(next_day('$do_date','MO'),-1)),
     count(*)
from 
(
    select mid_id
    from "$APP".dws_uv_detail_week
    where wk_dt>=concat(date_add(next_day('$do_date','MO'),-7*3),'_',date_add(next_day('$do_date','MO'),-7*2-1)) 
    and wk_dt<=concat(date_add(next_day('$do_date','MO'),-7),'_',date_add(next_day('$do_date','MO'),-1))
    group by mid_id
    having count(*)=3
)t1;
"

$hive -e "$sql"

给脚本添加执行权限
```
chmod 777 ads_continuity_wk_log.sh
```
执行脚本
```
ads_continuity_wk_log.sh 2020-05-21
```
查看运行结果
```
select * from ads_continuity_wk_count;
```

10. 需求八：最近七天内连续三天活跃用户数

10.1 DWS 层

使用日活明细表 dws_uv_detail_day 作为 DWS 层数据。

10.2 ADS 层

建表语句

drop table if exists ads_continuity_uv_count;
create external table ads_continuity_uv_count( 
    `dt` string ,
    `wk_dt` string ,
    `continuity_count` bigint
) 
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_continuity_uv_count';

导入数据

insert into table ads_continuity_uv_count
select
    '2020-05-21',
    concat(date_add('2020-05-21',-6),'_','2020-05-21'),
    count(*)
from
(
    select mid_id
    from
    (
    select mid_id      
     from
     (
         select 
             mid_id,
             date_sub(dt,rank) date_dif
         from
         (
             select 
                 mid_id,
                 dt,
                 rank() over(partition by mid_id order by dt) rank
             from dws_uv_detail_day
             where dt>=date_add('2020-05-21',-6) and dt<='2020-05-21'
         )t1
     )t2 
     group by mid_id,date_dif
     having count(*)>=3
 )t3 
 group by mid_id
)t4;

查询结果：
```
select * from ads_continuity_uv_count;
```

10.3 编写脚本

在 hadoop101 的 /home/zgl/bin 目录下创建脚本： ads_continuity_uv_log.sh。

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="
insert into table "$APP".ads_continuity_uv_count
select
    '$do_date',
    concat(date_add('$do_date',-6),'_','$do_date'),
    count(*)
from
(
    select mid_id
    from
    (
    select mid_id      
     from
     (
         select 
             mid_id,
             date_sub(dt,rank) date_dif
         from
         (
             select 
                 mid_id,
                 dt,
                 rank() over(partition by mid_id order by dt) rank
             from "$APP".dws_uv_detail_day
             where dt>=date_add('$do_date',-6) and dt<='$do_date'
         )t1
     )t2 
     group by mid_id,date_dif
     having count(*)>=3
 )t3 
 group by mid_id
)t4;
"

$hive -e "$sql"

给脚本添加执行权限
```
chmod 777 ads_continuity_uv_log.sh
```
执行脚本
```
ads_continuity_uv_log.sh 2020-05-21
```
查看结果
```
select * from ads_continuity_uv_count;
```

你可能感兴趣的:(Hadoop相关项目总结)

MATLAB语言基础教程、小项目1：简单的计算器、小项目2：有页面的计算器、使用App Designer创建GUI计算器 azuredragonz 学习教程 matlab 开发语言
MATLABMATLAB语言基础教程1.MATLAB简介2.基本语法变量与赋值向量与矩阵矩阵运算数学函数控制流3.函数4.绘图案例：简单方程求解小项目1：简单的科学计算器功能代码项目说明小项目2：有页面的计算器使用AppDesigner创建GUI计算器主要步骤：完整代码（使用MATLAB编写）说明：如何运行：小项目总结MATLAB语言基础教程1.MATLAB简介MATLAB（矩阵实验室）是一种用于
网上商城项目总结报告 WEB前端程序贵前端
网上商城项目总结报告1：掌握的知识通过网上商城这个实战项目的开发，不仅了解到了一个项目的业务逻辑，而且掌握了实现相关业务功能的方法。通过这个实战项目，了解到了模块化开发项目的基础结构的搭建，以及项目文件的管理方式。通过这个实战项目，运用封装的接口api文档实现了客户端服务器之间的交互知识。通过封装的axios实例对象与方法，向服务器请求数据，然后渲染页面。通过运用localStorage本地储存的
网上商城项目总结续猫只i java web 电子商城结构
前台1.用户登录注册邮箱验证校验用户名是否存在验证码自动登录2.导航条自定义标签库采用异步读取数据（使用gson将集合转换json数据）Redis服务器3.首页热门商品查询展示4.分类列表分页查询5.商品详情用cookie实现浏览记录6.购物车实现商品添加到购物车商品的查询，添加，修改，删除清空购物车7.提交订单添加订单（订单详情）确认订单（易宝支付）8.我的订单9.Fliter定义权限拦截（提交
在 Spring Boot 项目中连接 IBM AS/400 数据库——详细案例教程箬敏伊儿数据库 AS/400 spring boot 数据库后端 database java
文章目录1.添加`jt400`依赖2.下载`jt400`驱动包依赖下载手动下载下载地址：手动下载JAR的步骤：3.配置application.properties或application.yml（1）`application.properties`（2）`application.yml`4.数据源配置类（可选）5.创建`JDBC`访问层6.测试连接7.启动项目总结在SpringBoot项目中连接I
被批一顿略有所感浮生清逸
2021.4.7—阴周叁今天下午开了项目总结会，被批的体无完肤。当初为了独特点加入了特效，结果成了被批的点，所以小聪明不要有。一开始对此不怎么重视，导致被领导批审美不行什么的。当时真的无比尴尬，在几十人的会议上，没有给我留丝毫面子。以后的项目总结，就仿照其他同事了。在换页的时候慢一点，讲得更久一点，做好充足的准备。不会再犯第二次这种错误，既然指出了，我就去改正没什么大不了的。待自己变得足够优秀再潇
sap 项目总结 weixin_34405332 测试
SAP项目实施总结(转)项目还没结束，但很多经验已经可以开始总结了。对于这个项目，不完善的地方有很多，有我们自己的问题，也有用户的问题。从顾问自己的角度去看――我们可以做的更好。我们的SAP的项目包括以下的部分：项目前期调研SAP产品入门培训企业需求确定（蓝图）系统配置顾问内部测试用户操作培训用户单元测试用户集成测试项目最终培训系统交付与支持从我参与的情况来看，有几个部分是需要所有SAP实施顾问尤
不费力不费脑，几个提升执行力的小技巧我家的牛
文／我家的牛这些场景，你应该不陌生：1、早上计划了一堆待办事项，当晚没一件完成。2、领导很早就催你交项目总结报告，却总是等到前一天才开始动手。3、开始做事了，却管不住手脚，点开微信，刷刷微博，看看抖音……。没关系，你并不孤独，大家都一样。于是很多人感概，你干脆也不要做啥计划了？反正你也完不成，何必添堵呢？想一想，你每天真正用在执行上面的时间有多少，70%，50%？对于很多人来说，这个数字也许还会更
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】王小王-123 hadoop 大数据分布式电商系统分析分布式计算
文章目录==有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍2.3Pyecharts介绍2.4Flask框架3分布式集群搭建及数据准备3.1Hadoop全套组件搭建3.2数据集介绍3.3数据预处理4分布式计
vue.js学习步骤一雨方知深秋 vue.js
文章目录前言一、vue.js是什么？二、学习步骤1.基础知识2.进阶学习实战项目总结前言Vue.js从一个简单的实验性项目成长为一个功能强大、社区活跃的前端框架，其发展历程展示了它对前端开发的持续创新和改进。通过引入先进的功能和不断扩展的生态系统，Vue.js为开发者提供了一个高效、灵活的工具，满足了不同规模和复杂度应用的需求。一、vue.js是什么？Vue.js是一个灵活且高效的前端框架，旨在简
当前主流的 ChatGPT 工具有哪些？圣逸人工智能专栏 chatgpt
目录1.OpenAIChatGPT概述特色应用场景优缺点2.MicrosoftAzureOpenAIService概述特色应用场景优缺点3.GoogleBard概述特色应用场景优缺点4.ChatGPTbyAnthropic概述特色应用场景优缺点5.其他值得关注的工具5.1.HuggingFace5.2.FacebookAIResearch(FAIR)5.3.自然语言处理科研界的其他项目总结随着人工
vue项目总结纯纯小白打码人记录前端 vue elementui
学习前端知识大概是三个月了吧，都是跟着b站的视频学的，学了基本三件套，然后学了vue框架，由于自己没有关于前端的项目经验，所以就在b站找了个项目跟着做，花了大概一个月时间做完了，也成功部署上线了。码云地址：https://gitee.com/chen-mu-pmf/test2022.git部署上线访问地址：电商后台管理系统其实做完之后有点陷入迷茫，没有收获的感觉，没有学习的踏实感，很多东西都只是走
使用vue-cli自定义搭建项目步骤解析（Windows） Leiccy vue vue-cli3
使用vue-cli自定义搭建项目步骤解析（Windows）前言一、下载安装Node.js二、创建vue项目总结前言提示：在正式搭建vue脚手架（vue-cli）之前，必须要确保电脑已经安装好了Node.jsNode.js官网提示：以下内容为本篇文章正文，所演示案例仅供参考一、下载安装Node.js1、去Node.js官网下载安装包。2、安装步骤是在原有默认的选项下一直点击next即可，安装完成后去
微服务学习 | Springboot整合Dubbo+Nacos实现RPC调用牵着猫散步的鼠鼠 Java全栈微服务 spring boot dubbo 学习后端
️个人主页：鼠鼠我捏，要死了捏的主页️系列专栏：Golang全栈-专栏️个人学习笔记，若有缺误，欢迎评论区指正前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站AI学习网站。目录前言快速上手创建示例项目导入依赖编写配置添加启动类注解编写服务接口与服务实现类引入common项目新建common项目总结前言随着互联网技术的飞速发展，越来越多的企业和开发者开
项目总结：毕业论文竣工感想 Cindy_Sze
一、趁早开始写毕业论文，因为你永远不知道答辩准备期还有多少别的屁事。二、别指望一气呵成。因为没有发个十篇八篇文，根本不具备一气呵成的思路连贯性。三、毕业论文其实就是公文写作，可以参考相关技巧。四、如果不是用得很熟练，《金字塔原理》帮不上什么忙。五、格式调整群需要的时间起码是连续工作两周的工作量。相信我，这个东西永无止境，不可能一劳永逸。六、参考文献最后存一个备用文件，储存对应的作者，年份，编号和观
怎么在网上赚钱？这8种赚钱方法总有一种适合你。优惠券高省
互联网创业者，每天分享互联网经验！最近有很多的网友留言，如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。一、高省APP(优惠劵导购平台)高省APP隶属杭州长孚科技有限公司，高省位于阿里投资的梦想小镇，高省创始团队来自前阿里、网易等高管，高省是一款可领取各大网购平台的隐藏优
一场项目总结复盘会议纪实 2020.7.30 慧海无涯引力波
时光如水，引力波领导力提升特训营项目第二季度结束了，这期有来自七家公司21位学员参加，今天项目总结复盘会的议题有三项：1,学员分享：总结盘点领导力平衡轮成果及个人领导力发展计划阶段性成果呈现，收获和感悟，对于本项目的改进建议有哪些？2,人力资源部主管反馈：反馈学员行为改变情况，反馈项目进展评估，针对下一季度项目改进建议。3,项目总结：系统梳理本项目，总结复盘做得好的，可以做得更好的有哪些？本文重点
【项目日记(九)】项目整体测试,优化以及缺陷分析杭电码农-NEO 项目日记--高并发内存池项目日记 c++内存池
博主CSDN主页:杭电码农-NEO ⏩专栏分类:项目日记-高并发内存池⏪ 代码仓库:NEO的学习日记关注我带你做项目开发环境:VisualStudio2022项目日记1.前言2.整体项目测试3.项目的效率上限分析4.效率上限问题的解决方法5.项目的缺陷分析6.项目总结1.前言整个项目的代码和框架就已经介绍完毕了,项目的所有代码在下面的链接:gitee代码仓库项目源代码本章重点:本篇文章着重讲解
线上赚米的方法有哪些？这7个方法是目前最稳的！高省APP大九
最近有很多的网友网友留言我，如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。1、社交电商现在有很多购物app，你只要分享链接，然后有人购买，你就可以得到佣金，就像分销一样，做好的还不错。小编使用高省app快3年的时间，不光省的多，每个月还能带来小几万的收入，这几年下来获得
如何在网上赚钱，网络上做什么可以赚钱？优惠券高省
相信大家都在思考如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。大家好，我是高省运营古楼导师。在开始本文的交流之前，我想向大家介绍一款网购省钱利器——高省APP，同时也是一项难得的零投入零成本的创业项目【高省】（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百
今天工作效率挺高情商晚期
今天周五，早上花20分钟阅读项目管理书籍大概10页，这已是第二遍阅读，好好利用我当前拥有充足时间期间去学习。自7月份以来，项目管理SOP任务我已重新完成更新，并初步给两位重要负责人查看，得到认可，我需要深入项目管理，为团队提升项目整体效率。今天工作上有一堆项目总结文档要编写，之前每周这一天得忙到加班才能完成，今天我提前准备好了相关文档模板，文档内容也从每天的记录中复制并快速整理，并按时提交给领导及
跟着cherno手搓游戏引擎【24】开启2D引擎前的项目总结（包括前置知识汇总） larito 游戏引擎
前置技术：vs属性解释：MSBuild的入门完整教程（包学包会）-CSDN博客配置界面：c++动态链接和静态链接：隐藏的细节：编译与链接_哔哩哔哩_bilibili【底层】动态链接库(dll)是如何工作的？_哔哩哔哩_bilibilicmake：软件构建:CMake快速入门_哔哩哔哩_bilibiliCMake保姆级教程【C/C++】_哔哩哔哩_bilibilipreake5：premake5实例
如何完成一份优秀的工作汇报影子喵喵喵
在日常工作中，需要汇报的场景有很多，有些同事不擅长编写文档，有些同事不擅长总结归纳，有些同事汇报工作抓不到重点、逻辑不清晰。工作汇报的本质是信息传递。Part1：日常常见的工作汇报场景1.个人工作总结2.项目总结3.个人日报/周报/月报4.项目提案5.项目立项申请/资源申请6.项目跟踪7.项目周报/月报8.项目例会9.会议纪要及跟踪10.突发情况通报Part2：一份有效的工作汇报包括哪些要素1.主
2018-2021我的开源项目总结 wayn1
corwd-admin本人18年6月份毕业在武汉找了第一份java开发工作4500（面试时被hr压了500，武汉当时行情第一年5000），做的oa、库存管理相关系统，公司内系统架构主要是ssh，页面模板使用jsp，干了差不多大半年觉得提升有限，在19年3月份辞职，想着在家写一套自己的后台管理系统，于是就写出了crowd-adnin的第一个版本。当时写这个项目真的是废寝忘食，参考了网上很多的管理项目
黑马头条项目总结之文章发布 Lil G. java java 开发语言
文章发布功能/***新增文章**@paramdto参数*@return响应信息*/@OverridepublicResponseResultsubmitNews(WmNewsDtodto){//0.参数检验if(dto==null||dto.getContent()==null){returnResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVA
[Hadoop]万字长文Hadoop相关优化和问题排查总结王一1995 hadoop jvm java
目录写文章的背景namenode频繁切换的原因namenodeHA如何实现，关键技术难题是什么？namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜集群重启任务自动重启hadoop宕机
python实训听风347 python 开发语言数据分析数据库
一、项目目的与意义二、项目的内容与操作环境三、项目实施过程四、项目总结及收获一、项目目的与意义数据采集课程设计是计算机科学与技术专业的一门专业课程，涉及python编程、数据库技术等课程。课程设计的目的是使学生掌握数据采集以及预处理的技术，理解数据采集的原理以及实现，培养学生综合运用所学知识的能力。通过数据采集项目解决实际问题，培养学生严谨的学习态度和良好的学习习惯。数据采集课程是一门旨在教授如何
搭建hadoop单机环境 .Passion hadoop hadoop hdfs 大数据
hadoop笔记sbin:一些启动脚本【服务端的serverbin】logs:存放hadoop相关日志bin:客户端的脚本etc:hadoop相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P''-f~/.ssh/id_rsacat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys#启动namenode#sbin/hadoop-daemon
项目前后端项目总结夏野qwq JavaWeb
一、前后端项目部署由于自己对前端部分来说并不是特别熟悉，前端的功能实现全部是跟着拉勾老师的步骤做，在做完整个项目后，在自己的云服务器上部署了前后端的项目并运行。通过整个流程下来，自己对于前后端的协同工作和数据处理等方面的认识，可以说是比之前那种模棱两可的状态清晰了很多，虽说自己从事前端工作的可能性不大，但实话实话，收获无疑是巨大的，以及开发的思路的锻炼。之前讲Linux服务器可能以后开发中会有多个
BiliBili评论案例 -_-你好-_- typescript react.js 前端
文章目录前言一、准备工作1.环境准备2.数据准备3.定义接口二、功能实现1.获取数据2.渲染评论数据（点赞，删除）3.用户发表评论（自动排序）4.最新最热列表渲染切换5.启动项目总结前言本次案例是基于react和typescript的项目实现，项目的实现步骤本文中有详细的讲解，在本文最后附有项目完整代码的github连接可供参考项目所实现的核心功能：1.渲染评论数据2.根据评论时间排序3.根据点赞
linux平台 LED情报板网关项目总结 QMCY_jason linux 运维服务器
LED情报板目前已经基本稳定主要存在两个版本LED1.5和LED2两个版本的主要差别是：1.1.5的配置文件存在本地2.0的存在平台需要通过接口从平台获取2.1.5的下发消息的时候需要同步返回2.0的是异步返回，所以1.5的要尽可能完成不然会导致发布平台卡在那里3.1.5上报状态是一个一个上报的，2.0上报是所有板子一起上报4.1.5有注册接口注册的时候需要把每个情报板支持的字体大小上报给平台2.
java线程Thread和Runnable区别和联系 zx_code java jvm thread 多线程 Runnable
我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
【转】JSON与XML的区别比较丁_新 json xml
1.定义介绍 (1).XML定义扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
c++ 实现五种基础的排序算法 CrazyMizzz C++c 算法
#include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
我的软件麦田的设计者我的软件音乐类娱乐放松
这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
linux awk命令详解被触发 linux awk
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
各种语言比较 _wy_ 编程语言
Java Ruby PHP 擅长领域
oracle 中数据类型为clob的编辑知了ing oracle clob
public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
分布式服务框架 Zookeeper -- 管理分布式环境中的数据矮蛋蛋 zookeeper
原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
tomcat数据源 alafqq tomcat
数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。没有使用JNDI时我用要这样连接数据库： 03. Class.forName("com.mysql.jdbc.Driver"); 04. conn
遍历的方法百合不是茶遍历
遍历在java的泛
linux查看硬件信息的命令 bijian1013 linux
linux查看硬件信息的命令一.查看CPU： cat /proc/cpuinfo 二.查看内存： free 三.查看硬盘： df linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
java常见的ClassNotFoundException bijian1013 java
1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory 添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization
【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
对日期类型的数据进行序列化和反序列化时，需要考虑如下问题： 1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals 默认序列化和反序列化 import com
【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
1. DStream的类说明文档： /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
通过nginx获取header信息 ronin47 nginx header
1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") { set $all_cookie $1; } 变量$all_cookie就获得了cookie的值，可以用于运算了
java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
Netty源码学习-ReplayingDecoder bylijinnan java netty
ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
js特殊字符过滤 cngolon js特殊字符 js特殊字符过滤
1.js中用正则表达式过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) { var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？]"
hibernate使用sql查询 ctrain Hibernate
import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
linux shell脚本中切换用户执行命令方法 daizj linux shell 命令切换用户
经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下： 1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123"
好的代码里只要一个 return 语句 dcj3sjt126com return
别再这样写了：public boolean foo() { if (true) { return true; } else { return false;
Android动画效果学习 dcj3sjt126com android
1、透明动画效果方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总 linux管道命令 linux常用管道命令
转载请出自出处： http://eksliang.iteye.com/blog/2105461 bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？答：非常的经典的一句话，记住了，何为管
Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
在项目中碰到这样的问题：由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
asp.net获取站点根目录下子目录的名称 hvt .net C#asp.net hovertree Web Forms
使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" /> 那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
Eclipse程序员要掌握的常用快捷键 justjavac java eclipse 快捷键 ide
判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。曾有人在豆瓣评《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个程序员图书列表，目的也就是通过读书，让程序员变懒。写道程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
c++编程随记 lx.asymmetric C++笔记
为了字体更好看，改变了格式…… &&运算符： #include<iostream> using namespace std; int main(){ int a=-1,b=4,k; k=(++a<0)&&!(b--
linux标准IO缓冲机制研究音频数据 linux
一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
随想生活暗黑小菠萝生活
其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
我认为POJO是一个错误的概念 windshome java POJO 编程 J2EE 设计
这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。 &

04 电商数仓(用户行为数据仓库 DWS/ADS层)

电商数仓(用户行为数据仓库 DWS/ADS层)

文章目录

1. 业务知识准备

1.1 业务术语

1.2 系统函数

1.2.1 collect_set 函数

1.2.2 日期处理函数

2. 需求一：用户活跃主题

2.1 DWS 层：服务数据层

2.1.1 每日活跃设备明细

2.1.2 每周活跃设备明细

2.1.3 每月活跃设备明细

2.1.4 DWS 层加载数据脚本

2.2 ADS 层：数据应用层

2.2.1 活跃设备数

2.2.2 ADS 层加载数据脚本

3. 需求二：用户新增主题

3.1 DWS 层

3.1.1 每日新增设备明细表

3.1.2 DWS 层加载数据脚本

3.2 ADS 层

3.2.1 每日新增设备表

3.2.2 ADS 层加载数据脚本

4. 需求三：用户留存主题

4.1 需求描述

4.2 DWS 层

4.2.1 DWS 层（每日留存用户明细表）

4.2.2 DWS 层 （1，2，3，n 天留存用户明细表）

4.2.3 union 与 union all 区别

4.3 ADS 层

4.3.1 留存用户数

4.3.2 留存用户比率

5. 新数据准备

6. 需求四：沉默用户数

6.1 DWS 层

6.2 ADS 层

6.3 编写脚本

7. 需求五：本周回流用户数

7.1 DWS 层

7.2 ADS 层

7.3 编写脚本

8. 需求六：流失用户数

8.1 DWS 层

8.2 ADS 层

8.3 编写脚本

9. 需求七：最近连续三周活跃用户数

9.1 DWS 层

9.2 ADS 层

9.3 编写脚本

10. 需求八：最近七天内连续三天活跃用户数

10.1 DWS 层

10.2 ADS 层

10.3 编写脚本

你可能感兴趣的:(Hadoop相关项目总结)

4.2.2 DWS 层（1，2，3，n 天留存用户明细表）