朱古力...

03 电商数仓(用户行为数据仓库 ODS/DWD层)

电商数仓(用户行为数据仓库 ODS/DWD层)

写在前面：本文是我学习电商数仓项目的过程中，对相关知识的记录与总结。

文章目录

电商数仓(用户行为数据仓库 ODS/DWD层)

1. 数仓分层概念

1.1 为什么要分层？
1.2 数仓分层

1.2.1 分层结构图
1.2.2 各层介绍

1.3 数据集市与数据仓库

2. 数仓搭建环境准备

2.1 Hive & MySQL安装

3. 数仓搭建之 ODS 层

3.1 创建数据库 `gmall`
3.2 ODS 原始数据层

3.2.1 创建启动日志表
3.2.2 创建事件日志表
3.2.3 Shell 中单引号和双引号区别
3.2.4 ODS 层加载数据脚本

4. 数仓搭建之 DWD 层

4.1 DWD 层启动表数据解析

4.1.1 创建启动表
4.1.2 向启动表中导入数据
4.1.3 查看是否导入成功
4.1.4 DWD 层启动表加载数据脚本

4.2 DWD 层事件表数据解析

4.2.1 创建基础明细表
4.2.2 自定义 UDF 函数（解析公共字段 cm）
4.2.3 自定义 UDTF 函数（解析具体事件字段）
4.2.4 解析事件日志基础明细表
4.2.5 DWD 层数据解析脚本

4.3 DWD 层事件表获取

4.3.1 商品点击表
4.3.2 商品详情页表
4.3.3 商品列表页表
4.3.4 广告表
4.3.5 消息通知表
4.3.6 用户前台活跃表
4.3.7 用户后台活跃表
4.3.8 评论表
4.3.9 收藏表
4.3.10 点赞表
4.3.11 错误日志表
4.3.12 DWD 层事件表加载数据脚本

1. 数仓分层概念

1.1 为什么要分层？

把复杂问题简单化： 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，简单且方便定位问题。
减少重复开发： 规范数据分层，通过中间层数据，能过减少极大地重复计算，增加一次计算结果的复用性。
隔离原始数据： 不论是数据的异常还是数据的敏感性，使真实的数据与统计数据解耦开。

1.2 数仓分层

1.2.1 分层结构图

1.2.2 各层介绍

ODS (Operation Data Store) 原始数据层： 存放原始数据，直接加载原始日志、数据，保持原貌不作处理。
DWD (Data Warehouse Detail) 数据明细层： 结构和粒度与原始表保持一致，对 ODS 层数据进行清洗 (去除空值、脏数据，超过极限范围的数据) 。
DWS (Data Warehouse Service) 服务数据层： 以 DWD 为基础，进行轻度汇总。
ADS (Application Data Store) 数据应用层： 为各种统计报表提供数据。

1.3 数据集市与数据仓库

数据集市： 是一种微型的数据仓库，它通常拥有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务。
数据仓库： 是企业级的，能为整个企业的各个部门提供决策支持手段。

2. 数仓搭建环境准备

2.1 Hive & MySQL安装

安装 Hive & MySQL 。

先 Mark，之后陆续更新。
Hive 运行引擎 Tez。

Hive 默认使用 MapReduce 作为运行引擎，Tez 是另一款运行引擎且优于 MR ，建议将运行引擎换为 Tez。

替换方法，之后陆续更新。

3. 数仓搭建之 ODS 层

3.1 创建数据库 `gmall`

数据准备
```
dt 2020-5-11
lg.sh

dt 2020-5-12
lg.sh
```
启动 hive
```
bin/hive
```

创建 gmall 数据库

create database gmall;   

-- 如果数据库存在且有数据，需要强制删除时执行：
-- drop database gmall cascade;

使用 gmall 数据库
```
use gmall;
```

3.2 ODS 原始数据层

3.2.1 创建启动日志表

原始数据格式

{
    "action": "1",
    "ar": "MX",
    "ba": "Sumsung",
    "detail": "",
    "en": "start",
    "entry": "4",
    "extend1": "",
    "g": "[email protected]",
    "hw": "750*1134",
    "l": "es",
    "la": "0.0",
    "ln": "-103.0",
    "loading_time": "2",
    "md": "sumsung-7",
    "mid": "5",
    "nw": "3G",
    "open_ad_type": "1",
    "os": "8.2.7",
    "sr": "W",
    "sv": "V2.2.2",
    "t": "1589116880895",
    "uid": "5",
    "vc": "4",
    "vn": "1.0.5"
}

创建输入数据是 lzo 输出是 text，支持 json 解析的分区表。

-- 如果要创建的表已经存在，则先删除
drop table if exists ods_start_log;
-- 创建外部表，字段就是一个 String 类型的 json 数据
create external table ods_start_log (`line` string)
-- 根据日期进行分区
partitioned by (`dt` string)
-- Lzo压缩格式处理  Lzo --> text
stored as
  inputformat 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
-- 设置数据存储的位置
location '/warehouse/gmall/ods/ods_start_log';

加载数据

load data inpath '/orgin_data/gmall/log/topic_start/2020-05-11'
into table gmall.ods_start_log
partition(dt='2020-05-11');

查看是否加载成功
```
select * from ods_start_log limit 2;
```

3.2.2 创建事件日志表

原始数据格式

1589212831498|{
    "cm":{
        "ln":"-64.8",
        "sv":"V2.0.6",
        "os":"8.1.6",
        "g":"[email protected]",
        "mid":"6",
        "nw":"3G",
        "l":"pt",
        "vc":"6",
        "hw":"1080*1920",
        "ar":"MX",
        "uid":"6",
        "t":"1589203841317",
        "la":"-51.8",
        "md":"Huawei-18",
        "vn":"1.0.6",
        "ba":"Huawei",
        "sr":"Y"
    },
    "ap":"app",
    "et":[
        {
            "ett":"1589114083593",
            "en":"active_background",
            "kv":{
                "active_source":"2"
            }
        }
    ]
}

创建输入数据是 lzo 输出是 text，支持 json 解析的分区表。

drop table if exists ods_event_log;
create external table ods_event_log (`line` string)
partitioned by (`dt` string)
stored as
  inputformat 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_event_log';

加载数据

load data inpath '/orgin_data/gmall/log/topic_event/2020-05-11'
into table gmall.ods_event_log
partition(dt='2020-05-11');

查看是否加载成功
```
select * from ods_event_log limit 2;
```

3.2.3 Shell 中单引号和双引号区别

单引号不取变量值。
双引号取变量值。
单引号内部嵌套双引号，不取变量值。
双引号内部嵌套单引号，区变量值。
反引号执行引号中的命令。

3.2.4 ODS 层加载数据脚本

在 hadoop101 的 /home/zgl/bin 目录下创建脚本 ods_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
# [ -n 变量值 ] 判断变量的值，是否为空
if [-n "$1"] ; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F` 
fi

echo "===日志日期为 $do_date==="

sql="
load data inpath '/orgin_data/gmall/log/topic_start/$do_date' into table "$APP".ods_start_log partition(dt='$do_date');
load data inpath '/orgin_data/gmall/log/topic_event/$do_date' into table "$APP".ods_event_log partition(dt='$do_date');
"

$hive -e "$sql"

增加脚本权限
```
chmod 777 ods_log.sh
```
脚本使用（将 12日的数据导入）
```
ods_log.sh 2020-05-12
```

查看导入数据

select * from ods_start_log where dt='2020-05-12' limit 2;
select * from ods_event_log where dt='2020-05-12' limit 2;

4. 数仓搭建之 DWD 层

该层是对 ODS 层数据进行清洗（去除空值、脏数据、超过极限范围的数据，行式存储改为列存储，该压缩格式等等）。

4.1 DWD 层启动表数据解析

4.1.1 创建启动表

drop table if exists dwd_start_log;
create external table dwd_start_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `net_work` string,
  `lng` string,
  `lat` string,
  `entry` string,
  `open_ad_type` string,
  `action` string,
  `loading_time` string,
  `detail` string,
  `extend1` string
)
partitioned by(`dt` string)
location '/warehouse/gmall/dwd/dwd_start_log/';

4.1.2 向启动表中导入数据

insert overwrite table dwd_start_log
partition(dt='2020-05-11')
select 
  get_json_object(line, '$.mid') mid_id,
  get_json_object(line, '$.uid') user_id,
  get_json_object(line, '$.vc') version_code,
  get_json_object(line, '$.vn') version_name,
  get_json_object(line, '$.l') lang,
  get_json_object(line, '$.sr') source,
  get_json_object(line, '$.os') os,
  get_json_object(line, '$.ar') area,
  get_json_object(line, '$.md') model,
  get_json_object(line, '$.ba') brand,
  get_json_object(line, '$.sv') sdk_version,
  get_json_object(line, '$.g') gmail,
  get_json_object(line, '$.hw') height_width,
  get_json_object(line, '$.t') app_time,
  get_json_object(line, '$.nw') net_work,
  get_json_object(line, '$.ln') lng,
  get_json_object(line, '$.la') lat,
  get_json_object(line, '$.entry') entry,
  get_json_object(line, '$.open_ad_type') open_ad_type,
  get_json_object(line, '$.action') action,
  get_json_object(line, '$.loading_time') loading_time,
  get_json_object(line, '$.detail') detail,
  get_json_object(line, '$.extend1') extend1
from ods_start_log
where dt='2020-05-11';

4.1.3 查看是否导入成功

select * from dwd_start_log limit 2;

4.1.4 DWD 层启动表加载数据脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建脚本 dwd_start_log.sh。

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ] ; then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F`
fi

sql="
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table "$APP".dwd_start_log
partition(dt='$do_date')
select 
  get_json_object(line, '$.mid') mid_id,
  get_json_object(line, '$.uid') user_id,
  get_json_object(line, '$.vc') version_code,
  get_json_object(line, '$.vn') version_name,
  get_json_object(line, '$.l') lang,
  get_json_object(line, '$.sr') source,
  get_json_object(line, '$.os') os,
  get_json_object(line, '$.ar') area,
  get_json_object(line, '$.md') model,
  get_json_object(line, '$.ba') brand,
  get_json_object(line, '$.sv') sdk_version,
  get_json_object(line, '$.g') gmail,
  get_json_object(line, '$.hw') height_width,
  get_json_object(line, '$.t') app_time,
  get_json_object(line, '$.nw') net_work,
  get_json_object(line, '$.ln') lng,
  get_json_object(line, '$.la') lat,
  get_json_object(line, '$.entry') entry,
  get_json_object(line, '$.open_ad_type') open_ad_type,
  get_json_object(line, '$.action') action,
  get_json_object(line, '$.loading_time') loading_time,
  get_json_object(line, '$.detail') detail,
  get_json_object(line, '$.extend1') extend1
from "$APP".ods_start_log
where dt='$do_date';
"

$hive -e "$sql"

增加脚本权限
```
chmod 777 dwd_start_log.sh
```
使用
```
dwd_start_log.sh 2020-05-12
```

查看是否导入数据成功

select * from dwd_start_log where dt='2020-05-12' limit 2;

4.2 DWD 层事件表数据解析

4.2.1 创建基础明细表

表的设计分析：

创建事件日志基础明细表

drop table if exists dwd_base_event_log;
create external table dwd_base_event_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `event_name` string,
  `event_json` string,
  `server_time` string
) 
partitioned by (`dt` string)
stored as parquet
location '/warehouse/gmall/dwd/dwd_base_event_log/';

如上图，需要使用到 UDF 和 UDTF。

4.2.2 自定义 UDF 函数（解析公共字段 cm）

创建 maven 工程：hive-function。
创建包 com.guli.udf。

在 pom.xml 添加下列内容：

<properties>
    <project.build.sourceEncoding>UTF8project.build.sourceEncoding>
    <hive.version>1.2.1hive.version>
properties>

<dependencies>
    
    <dependency>
        <groupId>org.apache.hivegroupId>
        <artifactId>hive-execartifactId>
        <version>${hive.version}version>
    dependency>
dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-compiler-pluginartifactId>
            <version>2.3.2version>
            <configuration>
                <source>1.8source>
                <target>1.8target>
            configuration>
        plugin>
        <plugin>
            <artifactId>maven-assembly-pluginartifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependenciesdescriptorRef>
                descriptorRefs>
            configuration>
            <executions>
                <execution>
                    <id>make-assemblyid>
                    <phase>packagephase>
                    <goals>
                        <goal>singlegoal>
                    goals>
                execution>
            executions>
        plugin>
    plugins>
build>

在包 com.guli.udf 创建类 BaseFieldUDF，用来解析公共字段。

package com.guli.udf;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONException;
import org.json.JSONObject;

public class BaseFieldUDF extends UDF {
    public String evaluate(String line, String jsonKeysString) {

        StringBuilder sb = new StringBuilder();

        // 切割 jsonKeys 得到一个个 key 值
        String[] keys = jsonKeysString.split(",");

        // 处理 line ，得到 服务器时间 和 json
        String[] logContents = line.split("\\|");

        // 合法性校验
        if (logContents.length != 2 || StringUtils.isBlank(logContents[1])) {
            return "";
        }

        // 处理 json
        try {
            JSONObject jsonObject = new JSONObject(logContents[1]);
            // 获取公共字段 cm 中的数据
            JSONObject base = jsonObject.getJSONObject("cm");
            // 循环遍历取值
            for (String key : keys) {
                String fieldName = key.trim();
                if (base.has(fieldName)) {
                    sb.append(base.getString(fieldName)).append("\t");
                } else {
                    sb.append("\t");
                }
            }

            // 添加事件字段
            sb.append(jsonObject.getString("et")).append("\t");

            // 添加服务器时间
            sb.append(logContents[0]).append("\t");

        } catch (JSONException e) {
            e.printStackTrace();
        }
        return sb.toString();
    }
}

4.2.3 自定义 UDTF 函数（解析具体事件字段）

创建包 com.guli.udtf。

在包 com.guli.udtf 下创建类 EventJsonUDTF ，用于将多个事件展开。

package com.guli.udtf;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.json.JSONArray;
import org.json.JSONException;

import java.util.ArrayList;

public class EventJsonUDTF extends GenericUDTF {

    // 在该方法中，指定输出参数的名称和参数类型
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        ArrayList<String> fieldNames = new ArrayList<>();
        ArrayList<ObjectInspector> fieldOIs = new ArrayList<>();

        fieldNames.add("event_name");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("event_json");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    // 输入一条记录，输出若干条结果
    @Override
    public void process(Object[] objects) throws HiveException {
        // 获取传入的 et
        String input = objects[0].toString();
        // 如果传进来的数据为空，直接返回过滤掉该数据
        if (StringUtils.isBlank(input)) {
            return;
        } else {
            try {
                // 获取一共有几个事件
                JSONArray ja = new JSONArray(input);
                if (ja == null) {
                    return;
                }

                // 遍历每一个事件
                for (int i = 0; i < ja.length(); i++) {
                    String[] result = new String[2];
                    try {
                        // 获取每个事件的名称
                        result[0] = ja.getJSONObject(i).getString("en");
                        // 取出每一个事件的整体
                        result[1] = ja.getString(i);
                    } catch (JSONException e) {
                        continue;
                    }
                    // 将结果返回
                    forward(result);
                }
            } catch (JSONException e) {
                e.printStackTrace();
            }
        }
    }

    // 当没有记录处理的时候该方法会被调用，用来清理代码或者产生额外的输出
    @Override
    public void close() throws HiveException {

    }
}

将该项目打包。
将不带依赖的 jar 包上传到 hadoop101 的 opt/module/hive-1.2.1/ 目录下。

将 jar 包添加到 Hive 的 classpath。

hive (gmall)> add jar /opt/module/hive-1.2.1/hive-function-1.0-SNAPSHOT.jar;

创建临时函数与开发好的 java class 关联。

hive (gmall)> create temporary function base_analizer as 'com.guli.udf.BaseFieldUDF';
hive (gmall)> create temporary function flat_analizer as 'com.guli.udtf.EventJsonUDTF';

4.2.4 解析事件日志基础明细表

解析事件日志基础明细表

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_base_event_log
partition (dt='2020-05-11')
select 
mid_id,
user_id,
version_code,
version_name,
lang,
source,
os,
area,
model,
brand,
sdk_version,
gmail,
height_width,
app_time,
network,
lng,
lat,
event_name,
event_json,
server_time
from(
select
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[0] as mid_id,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[1] as user_id,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[2] as version_code,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[3] as version_name,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[4] as lang,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[5] as source,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[6] as os,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[7] as area,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[8] as model,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[9] as brand,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[10] as sdk_version,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[11] as gmail,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[12] as height_width,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[13] as app_time,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[14] as network,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[15] as lng,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[16] as lat,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[17] as ops,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[18] as server_time
from ods_event_log where dt='2020-05-11' and base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la')<>''
) sdk_log lateral view flat_analizer(ops) tmp_k as event_name, event_json;

测试

select * from dwd_base_event_log limit 2;

4.2.5 DWD 层数据解析脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建脚本 dwd_base_log.sh

#!/bin/bash

# 定义变量方便修改
APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n "$1" ]; then
  do_date=$1
else
  do_date=`date -d "-1 day" +%F`
fi

sql="

add jar /opt/module/hive-1.2.1/hive-function-1.0-SNAPSHOT.jar;
create temporary function base_analizer as 'com.guli.udf.BaseFieldUDF';
create temporary function flat_analizer as 'com.guli.udtf.EventJsonUDTF';
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table "$APP".dwd_base_event_log
partition (dt='$do_date')
select 
mid_id,
user_id,
version_code,
version_name,
lang,
source,
os,
area,
model,
brand,
sdk_version,
gmail,
height_width,
app_time,
network,
lng,
lat,
event_name,
event_json,
server_time
from(
select
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[0] as mid_id,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[1] as user_id,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[2] as version_code,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[3] as version_name,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[4] as lang,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[5] as source,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[6] as os,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[7] as area,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[8] as model,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[9] as brand,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[10] as sdk_version,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[11] as gmail,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[12] as height_width,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[13] as app_time,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[14] as network,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[15] as lng,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[16] as lat,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[17] as ops,
split(base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la'),'\t')[18] as server_time
from "$APP".ods_event_log where dt='$do_date' and base_analizer(line, 'mid,uid,vc,vn,l,sr,os,ar,md,ba,sv,g,hw,t,nw,ln,la')<>''
) sdk_log lateral view flat_analizer(ops) tmp_k as event_name, event_json;
"

$hive -e "$sql"

增加脚本执行权限
```
chmod 777 dwd_base_log.sh
```
脚本使用
```
dwd_base_log.sh 2020-05-12
```

查询导入结果

select * from dwd_base_event_log where dt='2020-05-12' limit 2;

4.3 DWD 层事件表获取

4.3.1 商品点击表

事件名称：display

建表语句

drop table if exists dwd_display_log;
create external table dwd_display_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `action` string,
  `goodsid` string,
  `place` string,
  `extend1` string,
  `category` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_display_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_display_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.goodsid') goodsid ,
  get_json_object(event_json, '$.kv.place') place ,
  get_json_object(event_json, '$.kv.extend1') extend1 ,
  get_json_object(event_json, '$.kv.category') category ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='display';

查看插入数据是否成功
```
select * from dwd_display_log limit 2;
```

4.3.2 商品详情页表

事件名称：newsdetail

建表语句

drop table if exists dwd_newsdetail_log;
create external table dwd_newsdetail_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `entry` string,
  `action` string,
  `goodsid` string,
  `showtype` string,
  `news_staytime` string,
  `loading_time` string,
  `type1` string,
  `category` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_newsdetail_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_newsdetail_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.entry') entry ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.goodsid') goodsid ,
  get_json_object(event_json, '$.kv.showtype') showtype ,
  get_json_object(event_json, '$.kv.news_staytime') news_staytime ,
  get_json_object(event_json, '$.kv.loading_time') loading_time ,
  get_json_object(event_json, '$.kv.type1') type1 ,
  get_json_object(event_json, '$.kv.category') category ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='newsdetail';

查看是否插入成功

select * from dwd_newsdetail_log limit 2;

4.3.3 商品列表页表

事件名称：loading

建表语句

drop table if exists dwd_loading_log;
create external table dwd_loading_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `action` string,
  `loading_time` string,
  `loading_way` string,
  `extend1` string,
  `extend2` string,
  `type` string,
  `type1` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_loading_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_loading_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.loading_time') loading_time ,
  get_json_object(event_json, '$.kv.loading_way') loading_way ,
  get_json_object(event_json, '$.kv.extend1') extend1 ,
  get_json_object(event_json, '$.kv.extend2') extend2 ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.type1') type1 ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='loading';

查看是否插入成功
```
select * from dwd_loading_log limit 2;
```

4.3.4 广告表

事件名称：ad

建表语句

drop table if exists dwd_ad_log;
create external table dwd_ad_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `entry` string,
  `action` string,
  `content` string,
  `detail` string,
  `ad_source` string,
  `behavior` string,
  `newstype` string,
  `show_style` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_ad_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_ad_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.entry') entry ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.content') content ,
  get_json_object(event_json, '$.kv.detail') detail ,
  get_json_object(event_json, '$.kv.source') ad_source ,
  get_json_object(event_json, '$.kv.behavior') behavior ,
  get_json_object(event_json, '$.kv.newstype') newstype ,
  get_json_object(event_json, '$.kv.show_style') show_style ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='ad';

查看是否插入成功
```
select * from dwd_ad_log limit 2;
```

4.3.5 消息通知表

事件名称：notification

建表语句

drop table if exists dwd_notification_log;
create external table dwd_notification_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `action` string,
  `type` string,
  `ap_time` string,
  `content` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_notification_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_notification_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.ap_time') ap_time ,
  get_json_object(event_json, '$.kv.content') content ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='notification';

查看是否插入成功

select * from dwd_notification_log limit 2;

4.3.6 用户前台活跃表

事件名称：active_foreground

建表语句

drop table if exists dwd_active_foreground_log;
create external table dwd_active_foreground_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `push_id` string,
  `access` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_active_foreground_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_active_foreground_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.push_id') push_id ,
  get_json_object(event_json, '$.kv.access') access ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='active_foreground';

查看是否插入成功

select * from dwd_active_foreground_log limit 2;

4.3.7 用户后台活跃表

事件名称：active_background

建表语句

drop table if exists dwd_active_background_log;
create external table dwd_active_background_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `active_source` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_active_foreground_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_active_background_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.active_source') active_source ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='active_background';

查看是否插入成功

select * from dwd_active_background_log limit 2;

4.3.8 评论表

事件名称：comment

建表语句

drop table if exists dwd_comment_log;
create external table dwd_comment_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `comment_id` string,
  `userid` string,
  `p_comment_id` string,
  `content` string,
  `addtime` string,
  `other_id` string,
  `praise_count` string,
  `reply_count` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_comment_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_comment_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.comment_id') comment_id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.p_comment_id') p_comment_id ,
  get_json_object(event_json, '$.kv.content') content ,
  get_json_object(event_json, '$.kv.addtime') addtime ,
  get_json_object(event_json, '$.kv.other_id') other_id ,
  get_json_object(event_json, '$.kv.praise_count') praise_count ,
  get_json_object(event_json, '$.kv.reply_count') reply_count ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='comment';

查看是否插入成功
```
select * from dwd_comment_log limit 2;
```

4.3.9 收藏表

事件名称：favorites

建表语句

drop table if exists dwd_favorites_log;
create external table dwd_favorites_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `id` string,
  `course_id` string,
  `userid` string,
  `add_time` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_favorites_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_favorites_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.id') id ,
  get_json_object(event_json, '$.kv.course_id') course_id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.add_time') add_time ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='favorites';

查看是否插入成功

select * from dwd_favorites_log limit 2;

4.3.10 点赞表

事件名称：praise

建表语句

drop table if exists dwd_praise_log;
create external table dwd_praise_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `id` string,
  `userid` string,
  `target_id` string,
  `type` string,
  `add_time` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_praise_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_praise_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.id') id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.target_id') target_id ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.add_time') add_time ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='praise';

查看是否插入成功
```
select * from dwd_praise_log limit 2; 
```

4.3.11 错误日志表

事件名称：error

建表语句

drop table if exists dwd_error_log;
create external table dwd_error_log (
  `mid_id` string,
  `user_id` string,
  `version_code` string,
  `version_name` string,
  `lang` string,
  `source` string,
  `os` string,
  `area` string,
  `model` string,
  `brand` string,
  `sdk_version` string,
  `gmail` string,
  `height_width` string,
  `app_time` string,
  `network` string,
  `lng` string,
  `lat` string,
  `errorBrief` string,
  `errorDetail` string,
  `server_time` string
) 
partitioned by (`dt` string)
location '/warehouse/gmall/dwd/dwd_error_log/';

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table dwd_error_log
partition(dt='2020-05-11')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.errorBrief') errorBrief ,
  get_json_object(event_json, '$.kv.errorDetail') errorDetail ,
  server_time 
from dwd_base_event_log
where dt='2020-05-11' and event_name='error';

查看是否插入成功
```
select * from dwd_error_log limit 2;
```

4.3.12 DWD 层事件表加载数据脚本

在 hadoop101 的 /home/zgl/bin/ 目录下创建脚本 dwd_event_log.sh

#!/bin/bash

APP=gmall
hive=/opt/module/hive-1.2.1/bin/hive

if [ -n $1 ]; then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F`
fi

sql="
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table "$APP".dwd_display_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.goodsid') goodsid ,
  get_json_object(event_json, '$.kv.place') place ,
  get_json_object(event_json, '$.kv.extend1') extend1 ,
  get_json_object(event_json, '$.kv.category') category ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='display';

insert overwrite table "$APP".dwd_newsdetail_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.entry') entry ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.goodsid') goodsid ,
  get_json_object(event_json, '$.kv.showtype') showtype ,
  get_json_object(event_json, '$.kv.news_staytime') news_staytime ,
  get_json_object(event_json, '$.kv.loading_time') loading_time ,
  get_json_object(event_json, '$.kv.type1') type1 ,
  get_json_object(event_json, '$.kv.category') category ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='newsdetail';

insert overwrite table "$APP".dwd_loading_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.loading_time') loading_time ,
  get_json_object(event_json, '$.kv.loading_way') loading_way ,
  get_json_object(event_json, '$.kv.extend1') extend1 ,
  get_json_object(event_json, '$.kv.extend2') extend2 ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.type1') type1 ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='loading';

insert overwrite table "$APP".dwd_ad_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.entry') entry ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.content') content ,
  get_json_object(event_json, '$.kv.detail') detail ,
  get_json_object(event_json, '$.kv.source') ad_source ,
  get_json_object(event_json, '$.kv.behavior') behavior ,
  get_json_object(event_json, '$.kv.newstype') newstype ,
  get_json_object(event_json, '$.kv.show_style') show_style ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='ad';

insert overwrite table "$APP".dwd_notification_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.action') action ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.ap_time') ap_time ,
  get_json_object(event_json, '$.kv.content') content ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='notification';

insert overwrite table "$APP".dwd_active_foreground_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.push_id') push_id ,
  get_json_object(event_json, '$.kv.access') access ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='active_foreground';

insert overwrite table "$APP".dwd_active_background_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.active_source') active_source ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='active_background';

insert overwrite table "$APP".dwd_comment_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.comment_id') comment_id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.p_comment_id') p_comment_id ,
  get_json_object(event_json, '$.kv.content') content ,
  get_json_object(event_json, '$.kv.addtime') addtime ,
  get_json_object(event_json, '$.kv.other_id') other_id ,
  get_json_object(event_json, '$.kv.praise_count') praise_count ,
  get_json_object(event_json, '$.kv.reply_count') reply_count ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='comment';

insert overwrite table "$APP".dwd_favorites_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.id') id ,
  get_json_object(event_json, '$.kv.course_id') course_id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.add_time') add_time ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='favorites';

insert overwrite table "$APP".dwd_praise_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.id') id ,
  get_json_object(event_json, '$.kv.userid') userid ,
  get_json_object(event_json, '$.kv.target_id') target_id ,
  get_json_object(event_json, '$.kv.type') type ,
  get_json_object(event_json, '$.kv.add_time') add_time ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='praise';

insert overwrite table "$APP".dwd_error_log
partition(dt='$do_date')
select
  mid_id,
  user_id,
  version_code ,
  version_name ,
  lang ,
  source ,
  os ,
  area ,
  model ,
  brand ,
  sdk_version ,
  gmail ,
  height_width ,
  app_time ,
  network ,
  lng ,
  lat ,
  get_json_object(event_json, '$.kv.errorBrief') errorBrief ,
  get_json_object(event_json, '$.kv.errorDetail') errorDetail ,
  server_time 
from "$APP".dwd_base_event_log
where dt='$do_date' and event_name='error';
"

$hive -e "$sql"

增加脚本权限
```
chmod 777 dwd_event_log.sh 
```
执行脚本
```
dwd_event_log.sh 2020-05-12
```

你可能感兴趣的:(Hadoop相关项目总结)

MATLAB语言基础教程、小项目1：简单的计算器、小项目2：有页面的计算器、使用App Designer创建GUI计算器 azuredragonz 学习教程 matlab 开发语言
MATLABMATLAB语言基础教程1.MATLAB简介2.基本语法变量与赋值向量与矩阵矩阵运算数学函数控制流3.函数4.绘图案例：简单方程求解小项目1：简单的科学计算器功能代码项目说明小项目2：有页面的计算器使用AppDesigner创建GUI计算器主要步骤：完整代码（使用MATLAB编写）说明：如何运行：小项目总结MATLAB语言基础教程1.MATLAB简介MATLAB（矩阵实验室）是一种用于
网上商城项目总结报告 WEB前端程序贵前端
网上商城项目总结报告1：掌握的知识通过网上商城这个实战项目的开发，不仅了解到了一个项目的业务逻辑，而且掌握了实现相关业务功能的方法。通过这个实战项目，了解到了模块化开发项目的基础结构的搭建，以及项目文件的管理方式。通过这个实战项目，运用封装的接口api文档实现了客户端服务器之间的交互知识。通过封装的axios实例对象与方法，向服务器请求数据，然后渲染页面。通过运用localStorage本地储存的
网上商城项目总结续猫只i java web 电子商城结构
前台1.用户登录注册邮箱验证校验用户名是否存在验证码自动登录2.导航条自定义标签库采用异步读取数据（使用gson将集合转换json数据）Redis服务器3.首页热门商品查询展示4.分类列表分页查询5.商品详情用cookie实现浏览记录6.购物车实现商品添加到购物车商品的查询，添加，修改，删除清空购物车7.提交订单添加订单（订单详情）确认订单（易宝支付）8.我的订单9.Fliter定义权限拦截（提交
在 Spring Boot 项目中连接 IBM AS/400 数据库——详细案例教程箬敏伊儿数据库 AS/400 spring boot 数据库后端 database java
文章目录1.添加`jt400`依赖2.下载`jt400`驱动包依赖下载手动下载下载地址：手动下载JAR的步骤：3.配置application.properties或application.yml（1）`application.properties`（2）`application.yml`4.数据源配置类（可选）5.创建`JDBC`访问层6.测试连接7.启动项目总结在SpringBoot项目中连接I
被批一顿略有所感浮生清逸
2021.4.7—阴周叁今天下午开了项目总结会，被批的体无完肤。当初为了独特点加入了特效，结果成了被批的点，所以小聪明不要有。一开始对此不怎么重视，导致被领导批审美不行什么的。当时真的无比尴尬，在几十人的会议上，没有给我留丝毫面子。以后的项目总结，就仿照其他同事了。在换页的时候慢一点，讲得更久一点，做好充足的准备。不会再犯第二次这种错误，既然指出了，我就去改正没什么大不了的。待自己变得足够优秀再潇
sap 项目总结 weixin_34405332 测试
SAP项目实施总结(转)项目还没结束，但很多经验已经可以开始总结了。对于这个项目，不完善的地方有很多，有我们自己的问题，也有用户的问题。从顾问自己的角度去看――我们可以做的更好。我们的SAP的项目包括以下的部分：项目前期调研SAP产品入门培训企业需求确定（蓝图）系统配置顾问内部测试用户操作培训用户单元测试用户集成测试项目最终培训系统交付与支持从我参与的情况来看，有几个部分是需要所有SAP实施顾问尤
不费力不费脑，几个提升执行力的小技巧我家的牛
文／我家的牛这些场景，你应该不陌生：1、早上计划了一堆待办事项，当晚没一件完成。2、领导很早就催你交项目总结报告，却总是等到前一天才开始动手。3、开始做事了，却管不住手脚，点开微信，刷刷微博，看看抖音……。没关系，你并不孤独，大家都一样。于是很多人感概，你干脆也不要做啥计划了？反正你也完不成，何必添堵呢？想一想，你每天真正用在执行上面的时间有多少，70%，50%？对于很多人来说，这个数字也许还会更
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】王小王-123 hadoop 大数据分布式电商系统分析分布式计算
文章目录==有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍2.3Pyecharts介绍2.4Flask框架3分布式集群搭建及数据准备3.1Hadoop全套组件搭建3.2数据集介绍3.3数据预处理4分布式计
vue.js学习步骤一雨方知深秋 vue.js
文章目录前言一、vue.js是什么？二、学习步骤1.基础知识2.进阶学习实战项目总结前言Vue.js从一个简单的实验性项目成长为一个功能强大、社区活跃的前端框架，其发展历程展示了它对前端开发的持续创新和改进。通过引入先进的功能和不断扩展的生态系统，Vue.js为开发者提供了一个高效、灵活的工具，满足了不同规模和复杂度应用的需求。一、vue.js是什么？Vue.js是一个灵活且高效的前端框架，旨在简
当前主流的 ChatGPT 工具有哪些？圣逸人工智能专栏 chatgpt
目录1.OpenAIChatGPT概述特色应用场景优缺点2.MicrosoftAzureOpenAIService概述特色应用场景优缺点3.GoogleBard概述特色应用场景优缺点4.ChatGPTbyAnthropic概述特色应用场景优缺点5.其他值得关注的工具5.1.HuggingFace5.2.FacebookAIResearch(FAIR)5.3.自然语言处理科研界的其他项目总结随着人工
vue项目总结纯纯小白打码人记录前端 vue elementui
学习前端知识大概是三个月了吧，都是跟着b站的视频学的，学了基本三件套，然后学了vue框架，由于自己没有关于前端的项目经验，所以就在b站找了个项目跟着做，花了大概一个月时间做完了，也成功部署上线了。码云地址：https://gitee.com/chen-mu-pmf/test2022.git部署上线访问地址：电商后台管理系统其实做完之后有点陷入迷茫，没有收获的感觉，没有学习的踏实感，很多东西都只是走
使用vue-cli自定义搭建项目步骤解析（Windows） Leiccy vue vue-cli3
使用vue-cli自定义搭建项目步骤解析（Windows）前言一、下载安装Node.js二、创建vue项目总结前言提示：在正式搭建vue脚手架（vue-cli）之前，必须要确保电脑已经安装好了Node.jsNode.js官网提示：以下内容为本篇文章正文，所演示案例仅供参考一、下载安装Node.js1、去Node.js官网下载安装包。2、安装步骤是在原有默认的选项下一直点击next即可，安装完成后去
微服务学习 | Springboot整合Dubbo+Nacos实现RPC调用牵着猫散步的鼠鼠 Java全栈微服务 spring boot dubbo 学习后端
️个人主页：鼠鼠我捏，要死了捏的主页️系列专栏：Golang全栈-专栏️个人学习笔记，若有缺误，欢迎评论区指正前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站AI学习网站。目录前言快速上手创建示例项目导入依赖编写配置添加启动类注解编写服务接口与服务实现类引入common项目新建common项目总结前言随着互联网技术的飞速发展，越来越多的企业和开发者开
项目总结：毕业论文竣工感想 Cindy_Sze
一、趁早开始写毕业论文，因为你永远不知道答辩准备期还有多少别的屁事。二、别指望一气呵成。因为没有发个十篇八篇文，根本不具备一气呵成的思路连贯性。三、毕业论文其实就是公文写作，可以参考相关技巧。四、如果不是用得很熟练，《金字塔原理》帮不上什么忙。五、格式调整群需要的时间起码是连续工作两周的工作量。相信我，这个东西永无止境，不可能一劳永逸。六、参考文献最后存一个备用文件，储存对应的作者，年份，编号和观
怎么在网上赚钱？这8种赚钱方法总有一种适合你。优惠券高省
互联网创业者，每天分享互联网经验！最近有很多的网友留言，如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。一、高省APP(优惠劵导购平台)高省APP隶属杭州长孚科技有限公司，高省位于阿里投资的梦想小镇，高省创始团队来自前阿里、网易等高管，高省是一款可领取各大网购平台的隐藏优
一场项目总结复盘会议纪实 2020.7.30 慧海无涯引力波
时光如水，引力波领导力提升特训营项目第二季度结束了，这期有来自七家公司21位学员参加，今天项目总结复盘会的议题有三项：1,学员分享：总结盘点领导力平衡轮成果及个人领导力发展计划阶段性成果呈现，收获和感悟，对于本项目的改进建议有哪些？2,人力资源部主管反馈：反馈学员行为改变情况，反馈项目进展评估，针对下一季度项目改进建议。3,项目总结：系统梳理本项目，总结复盘做得好的，可以做得更好的有哪些？本文重点
【项目日记(九)】项目整体测试,优化以及缺陷分析杭电码农-NEO 项目日记--高并发内存池项目日记 c++内存池
博主CSDN主页:杭电码农-NEO ⏩专栏分类:项目日记-高并发内存池⏪ 代码仓库:NEO的学习日记关注我带你做项目开发环境:VisualStudio2022项目日记1.前言2.整体项目测试3.项目的效率上限分析4.效率上限问题的解决方法5.项目的缺陷分析6.项目总结1.前言整个项目的代码和框架就已经介绍完毕了,项目的所有代码在下面的链接:gitee代码仓库项目源代码本章重点:本篇文章着重讲解
线上赚米的方法有哪些？这7个方法是目前最稳的！高省APP大九
最近有很多的网友网友留言我，如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。1、社交电商现在有很多购物app，你只要分享链接，然后有人购买，你就可以得到佣金，就像分销一样，做好的还不错。小编使用高省app快3年的时间，不光省的多，每个月还能带来小几万的收入，这几年下来获得
如何在网上赚钱，网络上做什么可以赚钱？优惠券高省
相信大家都在思考如何去赚钱？如何在网上赚钱？网上赚钱的方式有哪些？又有哪些正规可靠的兼职可以去做呢？为了让大家尽量少走弯路，少跳坑，今天我就把一些常见的赚钱项目总结一下，教大家如何在网上赚钱。大家好，我是高省运营古楼导师。在开始本文的交流之前，我想向大家介绍一款网购省钱利器——高省APP，同时也是一项难得的零投入零成本的创业项目【高省】（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百
今天工作效率挺高情商晚期
今天周五，早上花20分钟阅读项目管理书籍大概10页，这已是第二遍阅读，好好利用我当前拥有充足时间期间去学习。自7月份以来，项目管理SOP任务我已重新完成更新，并初步给两位重要负责人查看，得到认可，我需要深入项目管理，为团队提升项目整体效率。今天工作上有一堆项目总结文档要编写，之前每周这一天得忙到加班才能完成，今天我提前准备好了相关文档模板，文档内容也从每天的记录中复制并快速整理，并按时提交给领导及
跟着cherno手搓游戏引擎【24】开启2D引擎前的项目总结（包括前置知识汇总） larito 游戏引擎
前置技术：vs属性解释：MSBuild的入门完整教程（包学包会）-CSDN博客配置界面：c++动态链接和静态链接：隐藏的细节：编译与链接_哔哩哔哩_bilibili【底层】动态链接库(dll)是如何工作的？_哔哩哔哩_bilibilicmake：软件构建:CMake快速入门_哔哩哔哩_bilibiliCMake保姆级教程【C/C++】_哔哩哔哩_bilibilipreake5：premake5实例
如何完成一份优秀的工作汇报影子喵喵喵
在日常工作中，需要汇报的场景有很多，有些同事不擅长编写文档，有些同事不擅长总结归纳，有些同事汇报工作抓不到重点、逻辑不清晰。工作汇报的本质是信息传递。Part1：日常常见的工作汇报场景1.个人工作总结2.项目总结3.个人日报/周报/月报4.项目提案5.项目立项申请/资源申请6.项目跟踪7.项目周报/月报8.项目例会9.会议纪要及跟踪10.突发情况通报Part2：一份有效的工作汇报包括哪些要素1.主
2018-2021我的开源项目总结 wayn1
corwd-admin本人18年6月份毕业在武汉找了第一份java开发工作4500（面试时被hr压了500，武汉当时行情第一年5000），做的oa、库存管理相关系统，公司内系统架构主要是ssh，页面模板使用jsp，干了差不多大半年觉得提升有限，在19年3月份辞职，想着在家写一套自己的后台管理系统，于是就写出了crowd-adnin的第一个版本。当时写这个项目真的是废寝忘食，参考了网上很多的管理项目
黑马头条项目总结之文章发布 Lil G. java java 开发语言
文章发布功能/***新增文章**@paramdto参数*@return响应信息*/@OverridepublicResponseResultsubmitNews(WmNewsDtodto){//0.参数检验if(dto==null||dto.getContent()==null){returnResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVA
[Hadoop]万字长文Hadoop相关优化和问题排查总结王一1995 hadoop jvm java
目录写文章的背景namenode频繁切换的原因namenodeHA如何实现，关键技术难题是什么？namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜集群重启任务自动重启hadoop宕机
python实训听风347 python 开发语言数据分析数据库
一、项目目的与意义二、项目的内容与操作环境三、项目实施过程四、项目总结及收获一、项目目的与意义数据采集课程设计是计算机科学与技术专业的一门专业课程，涉及python编程、数据库技术等课程。课程设计的目的是使学生掌握数据采集以及预处理的技术，理解数据采集的原理以及实现，培养学生综合运用所学知识的能力。通过数据采集项目解决实际问题，培养学生严谨的学习态度和良好的学习习惯。数据采集课程是一门旨在教授如何
搭建hadoop单机环境 .Passion hadoop hadoop hdfs 大数据
hadoop笔记sbin:一些启动脚本【服务端的serverbin】logs:存放hadoop相关日志bin:客户端的脚本etc:hadoop相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P''-f~/.ssh/id_rsacat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys#启动namenode#sbin/hadoop-daemon
项目前后端项目总结夏野qwq JavaWeb
一、前后端项目部署由于自己对前端部分来说并不是特别熟悉，前端的功能实现全部是跟着拉勾老师的步骤做，在做完整个项目后，在自己的云服务器上部署了前后端的项目并运行。通过整个流程下来，自己对于前后端的协同工作和数据处理等方面的认识，可以说是比之前那种模棱两可的状态清晰了很多，虽说自己从事前端工作的可能性不大，但实话实话，收获无疑是巨大的，以及开发的思路的锻炼。之前讲Linux服务器可能以后开发中会有多个
BiliBili评论案例 -_-你好-_- typescript react.js 前端
文章目录前言一、准备工作1.环境准备2.数据准备3.定义接口二、功能实现1.获取数据2.渲染评论数据（点赞，删除）3.用户发表评论（自动排序）4.最新最热列表渲染切换5.启动项目总结前言本次案例是基于react和typescript的项目实现，项目的实现步骤本文中有详细的讲解，在本文最后附有项目完整代码的github连接可供参考项目所实现的核心功能：1.渲染评论数据2.根据评论时间排序3.根据点赞
linux平台 LED情报板网关项目总结 QMCY_jason linux 运维服务器
LED情报板目前已经基本稳定主要存在两个版本LED1.5和LED2两个版本的主要差别是：1.1.5的配置文件存在本地2.0的存在平台需要通过接口从平台获取2.1.5的下发消息的时候需要同步返回2.0的是异步返回，所以1.5的要尽可能完成不然会导致发布平台卡在那里3.1.5上报状态是一个一个上报的，2.0上报是所有板子一起上报4.1.5有注册接口注册的时候需要把每个情报板支持的字体大小上报给平台2.
Algorithm 香水浓 java Algorithm
冒泡排序 public static void sort(Integer[] param) { for (int i = param.length - 1; i > 0; i--) { for (int j = 0; j < i; j++) { int current = param[j]; int next = param[j + 1];
mongoDB 复杂查询表达式开窍的石头 mongodb
1:count Pg: db.user.find().count(); 统计多少条数据 2:不等于$ne Pg: db.user.find({_id:{$ne:3}},{name:1,sex:1,_id:0}); 查询id不等于3的数据。 3：大于$gt $gte(大于等于) &n
Jboss Java heap space异常解决方法, jboss OutOfMemoryError : PermGen space 0624chenhong jvm jboss
转自 http://blog.csdn.net/zou274/article/details/5552630 解决办法： window->preferences->java->installed jres->edit jre 把default vm arguments 的参数设为-Xms64m -Xmx512m ----------------
文件上传下载解析相对路径不懂事的小屁孩文件上传
有点坑吧，弄这么一个简单的东西弄了一天多，身边还有大神指导着，网上各种百度着。下面总结一下遇到的问题：文件上传，在页面上传的时候，不要想着去操作绝对路径，浏览器会对客户端的信息进行保护，避免用户信息收到攻击。在上传图片，或者文件时，使用form表单来操作。前台通过form表单传输一个流到后台，而不是ajax传递参数到后台，代码如下: <form action=&
怎么实现qq空间批量点赞换个号韩国红果果 qq
纯粹为了好玩！！逻辑很简单 1 打开浏览器console；输入以下代码。先上添加赞的代码 var tools={}; //添加所有赞 function init(){ document.body.scrollTop=10000; setTimeout(function(){document.body.scrollTop=0;},2000);//加
判断是否为中文灵静志远中文
方法一： public class Zhidao { public static void main(String args[]) { String s = "sdf灭礌 kjl d{';\fdsjlk是"; int n=0; for(int i=0; i<s.length(); i++) { n = (int)s.charAt(i); if((
一个电话面试后总结 a-john 面试
今天，接了一个电话面试，对于还是初学者的我来说，紧张了半天。面试的问题分了层次，对于一类问题，由简到难。自己觉得回答不好的地方作了一下总结：在谈到集合类的时候，举几个常用的集合类，想都没想，直接说了list,map。然后对list和map分别举几个类型： list方面：ArrayList,LinkedList。在谈到他们的区别时，愣住了
MSSQL中Escape转义的使用 aijuans MSSQL
IF OBJECT_ID('tempdb..#ABC') is not null drop table tempdb..#ABC create table #ABC ( PATHNAME NVARCHAR(50) ) insert into #ABC SELECT N'/ABCDEFGHI' UNION ALL SELECT N'/ABCDGAFGASASSDFA' UNION ALL
一个简单的存储过程 asialee mysql 存储过程构造数据批量插入
今天要批量的生成一批测试数据，其中中间有部分数据是变化的，本来想写个程序来生成的，后来想到存储过程就可以搞定，所以随手写了一个，记录在此： DELIMITER $$ DROP PROCEDURE IF EXISTS inse
annot convert from HomeFragment_1 to Fragment 百合不是茶 android 导包错误
创建了几个类继承Fragment, 需要将创建的类存储在ArrayList<Fragment>中; 出现不能将new 出来的对象放到队列中,原因很简单; 创建类时引入包是:import android.app.Fragment; 创建队列和对象时使用的包是:import android.support.v4.ap
Weblogic10两种修改端口的方法 bijian1013 weblogic 端口号配置管理 config.xml
一.进入控制台进行修改 1.进入控制台: http://127.0.0.1:7001/console 2.展开左边树菜单域结构->环境->服务器-->点击AdminServer(管理) &
mysql 操作指令征客丶 mysql
一、连接mysql 进入 mysql 的安装目录； $ bin/mysql -p [host IP 如果是登录本地的mysql 可以不写 -p 直接 -u] -u [userName] -p 输入密码，回车，接连；二、权限操作［如果你很了解mysql数据库后，你可以直接去修改系统表，然后用 mysql> flush privileges; 指令让权限生效］ 1、赋权 mys
【Hive一】Hive入门 bit1129 hive
Hive安装与配置 Hive的运行需要依赖于Hadoop，因此需要首先安装Hadoop2.5.2，并且Hive的启动前需要首先启动Hadoop。 Hive安装和配置的步骤 1. 从如下地址下载Hive0.14.0 http://mirror.bit.edu.cn/apache/hive/ 2.解压hive，在系统变
ajax 三种提交请求的方法 BlueSkator Ajax jqery
1、ajax 提交请求 $.ajax({ type:"post", url : "${ctx}/front/Hotel/getAllHotelByAjax.do", dataType : "json", success : function(result) { try { for(v
mongodb开发环境下的搭建入门 braveCS 运维
linux下安装mongodb 1）官网下载mongodb-linux-x86_64-rhel62-3.0.4.gz 2）linux 解压 gzip -d mongodb-linux-x86_64-rhel62-3.0.4.gz; mv mongodb-linux-x86_64-rhel62-3.0.4 mongodb-linux-x86_64-rhel62-
编程之美-最短摘要的生成 bylijinnan java 数据结构算法编程之美
import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; public class ShortestAbstract { /** * 编程之美最短摘要的生成 * 扫描过程始终保持一个[pBegin,pEnd]的range,初始化确保[pBegin,pEnd]的ran
json数据解析及typeof chengxuyuancsdn js typeof json解析
// json格式 var people='{"authors": [{"firstName": "AAA","lastName": "BBB"},' +' {"firstName": "CCC&
流程系统设计的层次和目标 comsci 设计模式数据结构 sql 框架脚本
流程系统设计的层次和目标
RMAN List和report 命令 daizj oracle list report rman
LIST 命令使用RMAN LIST 命令显示有关资料档案库中记录的备份集、代理副本和映像副本的信息。使用此命令可列出： • RMAN 资料档案库中状态不是AVAILABLE 的备份和副本 • 可用的且可以用于还原操作的数据文件备份和副本 • 备份集和副本，其中包含指定数据文件列表或指定表空间的备份 • 包含指定名称或范围的所有归档日志备份的备份集和副本 • 由标记、完成时间、可
二叉树:红黑树 dieslrae 二叉树
红黑树是一种自平衡的二叉树,它的查找,插入,删除操作时间复杂度皆为O(logN),不会出现普通二叉搜索树在最差情况时时间复杂度会变为O(N)的问题. 红黑树必须遵循红黑规则,规则如下 1、每个节点不是红就是黑。 2、根总是黑的 &
C语言homework3，7个小题目的代码 dcj3sjt126com c
1、打印100以内的所有奇数。 # include <stdio.h> int main(void) { int i; for (i=1; i<=100; i++) { if (i%2 != 0) printf("%d ", i); } return 0; } 2、从键盘上输入10个整数，
自定义按钮, 图片在上, 文字在下, 居中显示 dcj3sjt126com 自定义
#import <UIKit/UIKit.h> @interface MyButton : UIButton -(void)setFrame:(CGRect)frame ImageName:(NSString*)imageName Target:(id)target Action:(SEL)action Title:(NSString*)title Font:(CGFloa
MySQL查询语句练习题，测试足够用了 flyvszhb sql mysql
http://blog.sina.com.cn/s/blog_767d65530101861c.html 1.创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR
转：MyBatis Generator 详解 happyqing mybatis
MyBatis Generator 详解 http://blog.csdn.net/isea533/article/details/42102297 MyBatis Generator详解 http://git.oschina.net/free/Mybatis_Utils/blob/master/MybatisGeneator/MybatisGeneator.
让程序员少走弯路的14个忠告 jingjing0907 工作计划学习
无论是谁，在刚进入某个领域之时，有再大的雄心壮志也敌不过眼前的迷茫：不知道应该怎么做，不知道应该做什么。下面是一名软件开发人员所学到的经验，希望能对大家有所帮助 1.不要害怕在工作中学习。只要有电脑，就可以通过电子阅读器阅读报纸和大多数书籍。如果你只是做好自己的本职工作以及分配的任务，那是学不到很多东西的。如果你盲目地要求更多的工作，也是不可能提升自己的。放
nginx和NetScaler区别流浪鱼 nginx
NetScaler是一个完整的包含操作系统和应用交付功能的产品，Nginx并不包含操作系统，在处理连接方面，需要依赖于操作系统，所以在并发连接数方面和防DoS攻击方面，Nginx不具备优势。 2.易用性方面差别也比较大。Nginx对管理员的水平要求比较高，参数比较多，不确定性给运营带来隐患。在NetScaler常见的配置如健康检查，HA等，在Nginx上的配置的实现相对复杂。 3.策略灵活度方
第11章动画效果（下） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
FAQ - SAP BW BO roadmap blueoxygen BO BW
http://www.sdn.sap.com/irj/boc/business-objects-for-sap-faq Besides, I care that how to integrate tightly. By the way, for BW consultants, please just focus on Query Designer which i
关于java堆内存溢出的几种情况 tomcat_oracle java jvm jdk thread
【情况一】：　　 java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环；　　如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决：　　<jvm-arg>-Xms3062m</jvm-arg> 　　<jvm-arg>-Xmx
Manifest.permission_group权限组阿尔萨斯 Permission
结构继承关系 public static final class Manifest.permission_group extends Object java.lang.Object android. Manifest.permission_group 常量 ACCOUNTS 直接通过统计管理器访问管理的统计 COST_MONEY可以用来让用户花钱但不需要通过与他们直接牵涉的权限 D

03 电商数仓(用户行为数据仓库 ODS/DWD层)

电商数仓(用户行为数据仓库 ODS/DWD层)

文章目录

1. 数仓分层概念

1.1 为什么要分层？

1.2 数仓分层

1.2.1 分层结构图

1.2.2 各层介绍

1.3 数据集市与数据仓库

2. 数仓搭建环境准备

2.1 Hive & MySQL安装

3. 数仓搭建之 ODS 层

3.1 创建数据库 gmall

3.2 ODS 原始数据层

3.2.1 创建启动日志表

3.2.2 创建事件日志表

3.2.3 Shell 中单引号和双引号区别

3.2.4 ODS 层加载数据脚本

4. 数仓搭建之 DWD 层

4.1 DWD 层启动表数据解析

4.1.1 创建启动表

4.1.2 向启动表中导入数据

4.1.3 查看是否导入成功

4.1.4 DWD 层启动表加载数据脚本

4.2 DWD 层事件表数据解析

4.2.1 创建基础明细表

4.2.2 自定义 UDF 函数（解析公共字段 cm）

4.2.3 自定义 UDTF 函数（解析具体事件字段）

4.2.4 解析事件日志基础明细表

4.2.5 DWD 层数据解析脚本

4.3 DWD 层事件表获取

4.3.1 商品点击表

4.3.2 商品详情页表

4.3.3 商品列表页表

4.3.4 广告表

4.3.5 消息通知表

4.3.6 用户前台活跃表

4.3.7 用户后台活跃表

4.3.8 评论表

4.3.9 收藏表

4.3.10 点赞表

4.3.11 错误日志表

4.3.12 DWD 层事件表加载数据脚本

你可能感兴趣的:(Hadoop相关项目总结)

3.1 创建数据库 `gmall`