李昊哲小课

直播电商数据仓库

一. 数仓及其维度

什么是数仓

数据仓库，简称数仓,（ Data Warehouse ）。

从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，

只不过从数据量来说，数据仓库要比数据库更庞大。

数仓主要是为企业制定决策，提供数据支持的。

当业务简单，可以用数据库来存储，分析，制表。

但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。

几乎所有的数仓软件本身都不存储数据

数仓的特点

集成性

数仓中存储的数据来源于多个数据源，原始数据在不同数据源中的存储方式各不相同。

要整合成为最终的数据集合，需要从数据源经过一系列抽取、清洗、转换的过程。

稳定性

数仓中保存的数据是历史记录，不允许被修改。用户只能通过分析工具进行查询和分析。

动态性

数仓的数据会随时间变化而定期更新，这里的定期更新不是指修改数据，

一般是将业务系统发生变化的数据定期同步到数仓，和稳定性不冲突。

不可更新是针对应用而言，即用户分析处理时不更新数据

主题性

传统数据库对应的业务不同，数仓需要根据需求，将不同数据源的数据进行整合，

即数据一般都围绕某一业务主题进行建模。例如“贷款”主题、“存款”主题等。

扩展性

之所以大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，

这样的话，未来不用花太大的精力去重建数据仓库系统，就能很稳定运行。

主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，

使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

数仓的数据来源

业务数据

就是各行业在处理事务过程中产生的数据。

比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，

产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。

用户行为数据

用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。

第三方数据

合作方提供数据接口或数据源

爬虫数据

通常通过技术手段获取其他公司网站的数据。不建议这样去做。

什么是数仓的维度，为何要分层

一个好的维度，决定着数仓的生死。数仓分层有利于：

1. 减少重复开发，在数据开发的过程中可以产生中间层，将公共逻辑下沉，减少重复计算；

2. 清晰数据结构，每个分层分工明确，方便开发人员理解；

3. 方便定位问题，通过分层了解数据血缘关系，在出问题的时候通过回溯定位问题；

4. 简单化复杂问题，和分治法思想类似，分而治之，将复杂的问题简单化，还能解耦

数仓的维度建模和关系型建模的区别

数仓的关系型建模

严格遵守三范式理论
- 第一范式：属性不可分割，
- 第二范式：不能有部分函数型依赖，
- 第三范式：不能有传递性函数依赖，
数据冗余度低，但在大数据的场景下，查询效率低。

数仓的维度型建模

维度模型相对清晰、简洁。

以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。

维度模型面向业务，将业务用事实表和维度表呈现出来，表结构简单，故查询简单，查询效率较高。

二. 典型维度建模

分层

不同的企业不同的业务类型服务不同的用户，没有定论说分3、4层还是5层，只有最合适的分层。

一般的数仓包含：离线数仓、准实时、实时数仓；我们这里是采用T+1离线数仓，分为五层架构。

典型分层

ODS(Operation Data Store)

原始数据，此层保存最原始数据，并且备份，备份时可以压缩。

DWD(Data Warehouse Detail)

数据清洗，脱敏，维度退化。

DWS(Data Warehouse Summary)

DWS层就是关于各个主题的加工和使用，是宽表聚合值。

DWT(Data Warehouse Topic)

和DWS同，不过DWS层单位是日，而DWT是对截止到当日、或者近7日、近30日的汇总。

ADS(Application Data Store)

ADS层是面向业务定制的应用数据层。

三. 每层具体介绍

ODS

任务

保持数据原貌不做任何修改，保留历史数据，储存起到备份数据作用；
数据一般采用lzo、Snappy、parquet等压缩格式；
创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。

数据来源：

前端埋点日志信息

由Kafka和flume采集到HDFS上；前端埋点日志以JSON格式形式存在，

又分为两部分：启动日志和事件日志。

业务系统数据

由mysql数据库数据通过sqoop这种数据同步工具，采集到HDFS上；

DWD

DWD层是对事实表的处理，代表的是业务的最小粒度层。任何数据的记录都可以从这一层获取，为后续的DWS和DWT层做准备。还有对日志行为进行解析，以及对业务数据采用维度模型的方式重新建模（维度退化）。

DWD主要完成：

数据清洗
（1）空值去除
（2）过滤核心字段无意义的数据，比如订单表中订单 id 为 null，支付表中支付 id 为空
（3）将用户行为宽表和业务表进行数据一致性处理

清洗的手段包括sql、mr、rdd、kettle、python等等。

清洗掉数据不能太多也不能很少。合理范围：1 万条数据清洗掉 1 条。

脱敏
对手机号、身份证号等敏感数据脱敏
维度退化
对业务数据传过来的表进行维度退化和降维。（商品一级二级三级、省市县、年月日）
压缩

LZO，列式存储 parquet

DWS

DWS层就是关于各个主题的加工和使用，这层是宽表聚合值，是各个事实表的聚合值。这里做轻度的汇总会让以后的计算更加的高效，如：统计各个主题对象计算7天、30天、90天的行为，应对特殊需求（例如，购买行为，统计商品复购率）会快很多不必走ODS层反复拿数据做加工。

这层会把每个用户单日的行为聚合起来组成一张多列宽表，以便之后关联用户维度信息后进行，不同角度的统计分析。

涉及的主题包括：访客主题、用户主题、商品主题、优惠券主题、活动主题、地区主题等，更详细可参考【6】.

DWT

这层涉及的主题和DWS层一样包括：访客主题、用户主题、商品主题、优惠券主题、活动主题、地区主题等。只不过DWS层的粒度是对当日用户汇总信息，而DWT层是对截止到当日、或者近7日、近30日等的汇总信息。

以用户主题这个来举列：

*DWS层：用户主题层是记录某一个用户在某一天的汇总行为。

*DWT层：用户主题层是记录某一个用户截止在当日的汇总行为。

ADS层数据是专门给业务使用的数据层，这层是面向业务定制的应用数据层。

ADS主要完成：

（1）提供为数据产品使用的结果数据、指标等。

（2）提供给数据产品和数据分析使用的数据，一般会存放在 ES、MySQL等系统中供线上系统使用，也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。如报表数据，或者说那种大宽表。

直播电商用户行为分析

业务数据库

数据建模

drop database if exists livestreaming_commerce;
-- 创建数据库
create database livestreaming_commerce default character set utf8mb3 collate utf8mb3_bin;

-- 使用数据库
use livestreaming_commerce;

-- 地区表
create table region(
    region_code int         not null comment '地区代码' primary key,
    region_name varchar(10) null comment '地区名称',
    parent_code int         null comment '当前地区的上一级地区代码'
) comment '中国地区表' charset = utf8mb3;

create table region_district(
    region_code int         not null comment '地区代码' primary key,
    region_name varchar(10) null comment '地区名称',
    parent_code int         null comment '当前地区的上一级地区代码'
) comment '中国区县表' charset = utf8mb3;

insert into region_district (region_code,region_name,parent_code)
select region_code,region_name,parent_code from region where region_code > 100000;

-- 数据建模
-- 用户表（user）
CREATE TABLE user (
  user_id INT COMMENT '用户ID' AUTO_INCREMENT,
  username VARCHAR(50) COMMENT '用户名',
  gender VARCHAR(10) COMMENT '性别',
  age INT COMMENT '年龄',
  location VARCHAR(50) COMMENT '地点',
  register_time DATETIME COMMENT '注册时间',
  PRIMARY KEY (user_id)
);

-- 视频表（video）
CREATE TABLE video (
  video_id INT COMMENT '视频ID' AUTO_INCREMENT,
  user_id INT COMMENT '用户ID',
  title VARCHAR(100) COMMENT '标题',
  description TEXT COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time DATETIME COMMENT '上传时间',
  FOREIGN KEY (user_id) REFERENCES user(user_id),
  PRIMARY KEY (video_id)
);

-- 直播间表（live_room）
CREATE TABLE live_room (
  room_id INT COMMENT '直播间ID' AUTO_INCREMENT,
  user_id INT COMMENT '用户ID',
  title VARCHAR(100) COMMENT '标题',
  description TEXT COMMENT '描述',
  start_time DATETIME COMMENT '开始时间',
  end_time DATETIME COMMENT '结束时间',
  FOREIGN KEY (user_id) REFERENCES user(user_id),
  PRIMARY KEY (room_id)
);

-- 商品表（product）
CREATE TABLE product (
  product_id INT COMMENT '商品ID' AUTO_INCREMENT,
  seller_id INT COMMENT '卖家ID',
  name VARCHAR(100) COMMENT '名称',
  description TEXT COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time DATETIME COMMENT '创建时间',
  FOREIGN KEY (seller_id) REFERENCES user(user_id),
  PRIMARY KEY (product_id)
);

-- 商品订单表（product_order）
CREATE TABLE product_order (
  order_id INT COMMENT '订单ID' AUTO_INCREMENT,
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time DATETIME COMMENT '下单时间',
  FOREIGN KEY (buyer_id) REFERENCES user(user_id),
  FOREIGN KEY (seller_id) REFERENCES user(user_id),
  FOREIGN KEY (product_id) REFERENCES product(product_id),
  PRIMARY KEY (order_id)
);

-- 直播间订单表（live_order）
CREATE TABLE live_order (
  order_id INT COMMENT '订单ID' AUTO_INCREMENT,
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time DATETIME COMMENT '下单时间',
  FOREIGN KEY (buyer_id) REFERENCES user(user_id),
  FOREIGN KEY (seller_id) REFERENCES user(user_id),
  FOREIGN KEY (room_id) REFERENCES live_room(room_id),
  FOREIGN KEY (product_id) REFERENCES product(product_id),
  PRIMARY KEY (order_id)
);

-- 评论表（comment）
CREATE TABLE `comment` (
  comment_id INT COMMENT '评论ID' AUTO_INCREMENT,
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content TEXT COMMENT '内容',
  comment_time DATETIME COMMENT '评论时间',
  FOREIGN KEY (user_id) REFERENCES user(user_id),
  FOREIGN KEY (video_id) REFERENCES video(video_id),
  FOREIGN KEY (live_room_id) REFERENCES live_room(room_id),
  PRIMARY KEY (comment_id)
);

-- 退货表（return_order）
CREATE TABLE return_order (
  return_id INT COMMENT '退货ID' AUTO_INCREMENT,
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason TEXT COMMENT '原因',
  return_time DATETIME COMMENT '退货时间',
  FOREIGN KEY (buyer_id) REFERENCES user(user_id),
  FOREIGN KEY (seller_id) REFERENCES user(user_id),
  FOREIGN KEY (product_id) REFERENCES product(product_id),
  FOREIGN KEY (order_id) REFERENCES product_order(order_id),
  PRIMARY KEY (return_id)
);

-- 举报表（report）
CREATE TABLE report (
  report_id INT COMMENT '举报ID' AUTO_INCREMENT,
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason TEXT COMMENT '原因',
  report_time DATETIME COMMENT '举报时间',
  FOREIGN KEY (user_id) REFERENCES user(user_id),
  FOREIGN KEY (live_room_id) REFERENCES live_room(room_id),
  PRIMARY KEY (report_id)
);

-- 纠纷表（dispute）
CREATE TABLE dispute (
  dispute_id INT COMMENT '纠纷ID' AUTO_INCREMENT,
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason TEXT COMMENT '原因',
  dispute_time DATETIME COMMENT '纠纷时间',
  FOREIGN KEY (buyer_id) REFERENCES user(user_id),
  FOREIGN KEY (seller_id) REFERENCES user(user_id),
  FOREIGN KEY (order_id) REFERENCES product_order(order_id),
  PRIMARY KEY (dispute_id)
);

业务数据

warehouse/data/mysql/livestreaming_commerce.sql

mysql livestreaming_commerce -h spark03 -uroot -p < warehouse/shell/sql/mysql/livestreaming_commerce_mysql.sql

数据仓库数据库

创建 create_db.sql 文件

执行 create_db.sql

create_db.sql 文件内容如下：

-- 删除数据库
drop database if exists ods_lc;
drop database if exists dwd_lc;
drop database if exists dwt_lc;
drop database if exists dws_lc;
drop database if exists ads_lc;
drop database if exists app_lc;
-- 创建数据库
create database if not exists ods_lc location '/data/ods/livestreaming_commerce';
create database if not exists dwd_lc location '/data/dwd/livestreaming_commerce';
create database if not exists dwt_lc location '/data/dwt/livestreaming_commerce';
create database if not exists dws_lc location '/data/dwt/livestreaming_commerce';
create database if not exists ads_lc location '/data/dws/livestreaming_commerce';
create database if not exists app_lc location '/data/ads/livestreaming_commerce';

执行 create_db.sql

hive -f warehouse/shell/hive/create_db.sql

ODS层

数据建模

创建 create_ods_table.sql 文件

执行 create_ods_table.sql 文件

创建 create_ods_table.sql 文件

-- ODS层
-- 公共数据地区表
-- 地区表
create external table ods_lc.region(
    region_code string        comment '地区代码',
    region_name string comment '地区名称',
    parent_code string         comment '当前地区的上一级地区代码'
) comment '中国地区表'
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/public/region';

create external table ods_lc.region_district(
    region_code string        comment '地区代码',
    region_name string comment '地区名称',
    parent_code string         comment '当前地区的上一级地区代码'
) comment '中国区县表'
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/public/region_district';

-- 抖音数据存放在 /ods/douyin 目录， 数据格式：867,3,汽车,用车知识,206,2022-01-01 23:18:38
-- 数据建模
-- 用户表（user）
CREATE external TABLE ods_lc.douyin_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/user';

-- 视频表（video）
CREATE external TABLE ods_lc.douyin_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/video';

-- 直播间表（live_room）
CREATE external TABLE ods_lc.douyin_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/live_room';

-- 商品表（product）
CREATE external TABLE ods_lc.douyin_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/product';

-- 商品订单表（product_order）
CREATE external TABLE ods_lc.douyin_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE ods_lc.douyin_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/live_order';

-- 评论表（comment）
CREATE external TABLE ods_lc.douyin_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/comment';

-- 退货表（return_order）
CREATE external TABLE ods_lc.douyin_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/return_order';

-- 投诉表（report）
CREATE external TABLE ods_lc.douyin_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/report';

-- 纠纷表（dispute）
CREATE external TABLE ods_lc.douyin_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/dispute';

-- 快手数据存放在 /ods/kuaishou 目录，数据格式：{"videoId":1,"userId":494,"title":"动物","description":"野生动物","duration":59,"uploadTime":"2022-01-13 05:25:12"}
-- 数据建模
-- 用户表（user）
CREATE external TABLE ods_lc.kuaishou_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/user';

-- WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" )
-- ALTER TABLE user SET SERDEPROPERTIES ( "ignore.malformed.json" = "true" );

-- 视频表（video）
CREATE external TABLE ods_lc.kuaishou_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/video';

-- 直播间表（live_room）
CREATE external TABLE ods_lc.kuaishou_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_room';

-- 商品表（product）
CREATE external TABLE ods_lc.kuaishou_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product';

-- 商品订单表（product_order）
CREATE external TABLE ods_lc.kuaishou_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE ods_lc.kuaishou_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_order';

-- 评论表（comment）
CREATE external TABLE ods_lc.kuaishou_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/comment';

-- 退货表（return_order）
CREATE external TABLE ods_lc.kuaishou_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/return_order';

-- 投诉表（report）
CREATE external TABLE ods_lc.kuaishou_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/report';

-- 纠纷表（dispute）
CREATE external TABLE ods_lc.kuaishou_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/dispute';
-- 小红书数据存放在 /ods/kuaishou 目录，数据格式：{"data:[{"videoId":1,"userId":494,"title":"动物","description":"野生动物","duration":59,"uploadTime":"2022-01-13 05:25:12"}]"}
create external table ods_lc.xiaohongshu_user(info string) comment '用户表' location '/ods/xiaohongshu/user';
create external table ods_lc.xiaohongshu_video(info string) comment '视频表' location '/ods/xiaohongshu/video';
create external table ods_lc.xiaohongshu_live_room(info string) comment '直播间' location '/ods/xiaohongshu/live_room';
create external table ods_lc.xiaohongshu_product(info string) comment '商品表' location '/ods/xiaohongshu/product';
create external table ods_lc.xiaohongshu_prouct_order(info string) comment '商品订单表' location '/ods/xiaohongshu/product_order';
create external table ods_lc.xiaohongshu_live_order(info string) comment '直播间订单表' location '/ods/xiaohongshu/live_order';
create external table ods_lc.xiaohongshu_comment(info string) comment '评论表' location '/ods/xiaohongshu/comment';
create external table ods_lc.xiaohongshu_return_order(info string) comment '退货表' location '/ods/xiaohongshu/return_order';
create external table ods_lc.xiaohongshu_report(info string) comment '投诉表' location '/ods/xiaohongshu/report';
create external table ods_lc.xiaohongshu_dispute(info string) comment '纠纷表' location '/ods/xiaohongshu/dispute';

执行 create_ods_table.sql 文件

hive -f /warehouse/shell/hive/create_ods_table.sql

抖音

导入数据

方法一：sqoop + shell

方法二：springboot + quarz + hdfs | hive

方法三：springboot + spark + quarz + hdfs | hive

编写sqoop基础脚本

vim warehouse/shell/sqoop/sqoop_collect_data_util.sh

if [$# != 2]
then
	echo "参数异常：sqoop_collect_data.util.sh  "
	exit 33
fi

# 第一个参数为sql语句
sql=$1
# 第二个参数为hdfs存储路径
hdfs_path=$2

sqoop import \
--username root \
--password 'Lihaozhe!!@@1122' \
--connect jdbc:mysql://spark03:3306/livestreaming_commerce?characterEncoding=UTF-8 \
--input-fields-terminated-by ',' \
--input-lines-terminated-by '\n' \
--num-mappers 1 \
--target-dir "${hdfs_path}" \
--delete-target-dir \
--query "${sql}"' and $CONDITIONS' \
--null-string '\\N' \
--null-non-string '\\N'

编写全量数据采集脚本

vim warehouse/shell/sqoop/collect_data_full.sh

#!/bin/bash
# 全量数据采集
# 当调用该脚本的时候没有传递参数 z=z 成立 则获取当前日期前一天赋值给变量dt
# 当调用该脚本的时候传递参数 z=z 不成立 则将第一个参数赋值给变量dt
if [ "z$1" = "z" ]
then
	dt=`date +%Y%m%d --date="1 day ago"`
else
	dt=$1
fi

# sql语句
region_sql="select region_code, region_name, parent_code from region where 1=1"
region_district_sql="select region_code, region_name, parent_code from region_district where 1=1"

# 路径前缀
path_prefix="/ods/public"

# HDFS存储路径
region_path="${path_prefix}/region/${dt}"
region_district_path="${path_prefix}/region_district/${dt}"

# 采集数据
echo "开始采集..."
echo "采集数据表 region 数据..."
bash sqoop_collect_data_util.sh "${region_sql}" "${region_path}"
echo "采集数据表 region_district 数据..."
bash sqoop_collect_data_util.sh "${region_district_sql}" "${region_district_path}"
echo "结束采集..."

bash warehouse/shell/sqoop/collect_data_full.sh

编写增量数据采集脚本

vim warehouse/shell/sqoop/collect_data_incrment.sh

#!/bin/bash
# 曾量数据采集 每天凌晨之后 一个固定时间段执行一次 采集前一天的数据
# 当调用该脚本的时候没有传递参数 z=z 成立 则获取当前日期前一天赋值给变量dt
# 当调用该脚本的时候传递参数 z=z 不成立 则将第一个参数赋值给变量dt
if [ "z$1" = "z" ]
then
	dt=`date +%Y%m%d --date="1 day ago"`
	pt1=`date +%Y --date="${dt}"`
	pt2=`date +%m --date="${dt}"`
	pt3=`date +%d --date="${dt}"`
else
	dt=$1
	pt1=`date +%Y --date="$1"`
	pt2=`date +%m --date="$1"`
	pt3=`date +%d --date="$1"`
fi

# 转换日期格式，20260101 改为 2026-01-01 sql查询日期区间
dt_new=`date +%Y-%m-%d --date="${dt}"`

# sql语句
user_sql="select user_id, username, gender, age, location, date_format(register_time,'%Y-%m-%d %H:%i:%s') from user where register_time between '${dt_new} 00:00:00' and '${dt_new} 23:59:59' and 1=1"
video_sql="select video_id, user_id, title, description, duration, date_format(upload_time,'%Y-%m-%d %H:%i:%s') from video where upload_time between '${dt_new} 00:00:00' and '${dt_new} 23:59:59' and 1=1"
live_room_sql="select room_id, user_id, title, description
     , date_format(start_time,'%Y-%m-%d %H:%i:%s')
     , date_format(end_time,'%Y-%m-%d %H:%i:%s') from live_room
    where end_time between '${dt_new} 00:00:00' and '${dt_new} 23:59:59' and 1=1"
product_sql="select product_id, seller_id, name, description, price, date_format(create_time,'%Y-%m-%d %H:%i:%s') from product where create_time between '${dt_new} 00:00:00' and '${dt_new} 23:59:59' and 1=1"
product_order_sql="select order_id, buyer_id, seller_id, product_id, quantity, price, date_format(order_time,'%Y-%m-%d %H:%i:%s') from product_order where order_time between '${dt_new} 00:00:00' and '${dt_new} 23:59:59' and 1=1"

# 路径前缀
path_prefix="/ods/douyin"

# HDFS存储路径
user_path="${path_prefix}/user/${pt1}/${pt2}/${pt3}"
video_path="${path_prefix}/video/${pt1}/${pt2}/${pt3}"
live_room_path="${path_prefix}/live_room/${pt1}/${pt2}/${pt3}"
product_path="${path_prefix}/product/${pt1}/${pt2}/${pt3}"
product_order_path="${path_prefix}/product_order/${pt1}/${pt2}/${pt3}"

# 采集数据
echo "开始采集..."
echo "采集数据表 user 数据..."
bash sqoop_collect_data_util.sh "${user_sql}" "${user_path}"
echo "采集数据表 video 数据..."
bash sqoop_collect_data_util.sh "${video_sql}" "${video_path}"
echo "采集数据表 live_room 数据..."
bash sqoop_collect_data_util.sh "${live_room_sql}" "${live_room_path}"
echo "采集数据表 product 数据..."
bash sqoop_collect_data_util.sh "${product_sql}" "${product_path}"
echo "采集数据表 product_order 数据..."
bash sqoop_collect_data_util.sh "${product_order_sql}" "${product_order_path}"
echo "结束采集..."

采集某天的数据

bash warehouse/shell/sqoop/collect_data_incrment.sh 20231122

采集前一天的数据

bash warehouse/shell/sqoop/collect_data_incrment.sh

编写全年增量数据采集脚本

vim warehouse/shell/sqoop/collect_data_year_incrment.sh

#!/bin/bash

# 如果没有输入参数，则获取当前年份
if [ $# -eq 0 ]; then
    current_year=$(date +'%Y')
    years=($current_year)
else
    years=("$@")
fi

for year in "${years[@]}"
do
    # 判断是否为闰年
    if [ $((year % 4)) -eq 0 ] && [ $((year % 100)) -ne 0 ] || [ $((year % 400)) -eq 0 ]; then
        days_in_feb=29
    else
        days_in_feb=28
    fi

    # 循环打印每一天
    for month in {1..12}
    do
        # 获取当前月份的天数
        case $month in
            1|3|5|7|8|10|12) days_in_month=31 ;;
            4|6|9|11) days_in_month=30 ;;
            2) days_in_month=$days_in_feb ;;
        esac

        for (( day=1; day<=$days_in_month; day++ ))
        do
            # 格式化日期
            date_string=$(date -d "$month/$day/$year" +'%Y%m%d')
            bash collect_data_incrment.sh  $date_string
        done
    done
done

采集某年全年数据

bash warehouse/shell/sqoop/collect_data_year_incrment.sh 2023

采集执行时间所在年份全年数据

warehouse/shell/sqoop/collect_data_year_incrment.sh

编写某年全年或某年全月增量数据采集脚本

vim warehouse/shell/sqoop/collect_data_year_month_incrment.sh

#!/bin/bash

# 如果没有输入参数，则获取当前年份
if [ $# -eq 0 ]; then
    current_year=$(date +'%Y')
    years=($current_year)
else
    years=()
    for arg in "$@"
    do
        if [[ $arg =~ ^[0-9]{4}$ ]]; then
            years+=($arg)
        elif [[ $arg =~ ^[0-9]{6}$ ]]; then
            years+=(${arg:0:4})
            months+=(${arg:4:2})
        fi
    done
fi

for year in "${years[@]}"
do
    # 判断是否为闰年
    if [ $((year % 4)) -eq 0 ] && [ $((year % 100)) -ne 0 ] || [ $((year % 400)) -eq 0 ]; then
        days_in_feb=29
    else
        days_in_feb=28
    fi

    # 如果参数是yyyyMM格式，则打印出该年月的每一天
    if [ ${#months[@]} -gt 0 ]; then
        for month in "${months[@]}"
        do
            # 获取当前月份的天数
            case $month in
                01|03|05|07|08|10|12) days_in_month=31 ;;
                04|06|09|11) days_in_month=30 ;;
                02) days_in_month=$days_in_feb ;;
            esac

            # 循环打印每一天
            for (( day=1; day<=$days_in_month; day++ ))
            do
                # 格式化日期
                date_string=$(date -d "$month/$day/$year" +'%Y%m%d')
		bash collect_data_incrment.sh  $date_string
            done
        done
    else
        # 打印当前参数所在年份的每一天
        for month in {01..12}
        do
            case $month in
                01|03|05|07|08|10|12) days_in_month=31 ;;
                04|06|09|11) days_in_month=30 ;;
                02) days_in_month=$days_in_feb ;;
            esac

            for (( day=1; day<=$days_in_month; day++ ))
            do
                date_string=$(date -d "$month/$day/$year" +'%Y%m%d')
		bash collect_data_incrment.sh  $date_string
            done
        done
    fi
done

采集某年全年数据

bash warehouse/shell/sqoop/collect_data_year_month_incrment.sh 2023

采集某年某月全月数据

warehouse/shell/sqoop/collect_data_year_month_incrment.sh 20231122

编写添加分区脚本

vim warehouse/shell/hive/add_partition.sh

#!/bin/bash
# 加外部分区表
# 接收三个参数
# 1、表名称
# 2、分区字段dt的值，格式：20260201
# 3、分区路径（相对或者绝对路径都可以）但个人习惯使用绝对路径
if [ $# != 3 ]
then
	echo "参数异常：add_partition.sh   "
	exit 100
fi

# 表名称
table_name=$1

# 分区字段的值，格式：20260201
date=$2
year=$(date -d "$date" +%Y)
month=$(date -d "$date" +%m)
day=$(date -d "$date" +%d)


# 分区路径
path=$3
echo "alter table "${table_name}" add if not exists partition ("y=${year},m=${month},d=${day}") location '"${path}"';"
hive -e "
alter table "${table_name}" add if not exists partition ("y=${year},m=${month},d=${day}") location '"${path}"';
"

使用举例：

bash warehouse/shell/hive/add_partition.sh 20231122 /ods/douyin/user/2022/01/01

编写添加全年或某年某月分区数据脚本

vim warehouse/shell/hive/warehouse/shell/hive/add_partition.sh

if [ $# -eq 0 ]; then
    current_year=$(date +'%Y')
    years=($current_year)
else
    years=()
    for arg in "$@"
    do
        if [[ $arg =~ ^[0-9]{4}$ ]]; then
            years+=($arg)
        elif [[ $arg =~ ^[0-9]{6}$ ]]; then
            years+=(${arg:0:4})
            months+=(${arg:4:2})
        fi
    done
fi

for year in "${years[@]}"
do
    # 判断是否为闰年
    if [ $((year % 4)) -eq 0 ] && [ $((year % 100)) -ne 0 ] || [ $((year % 400)) -eq 0 ]; then
        days_in_feb=29
    else
        days_in_feb=28
    fi

    # 如果参数是yyyyMM格式，则打印出该年月的每一天
    if [ ${#months[@]} -gt 0 ]; then
        for month in "${months[@]}"
        do
            # 获取当前月份的天数
            case $month in
                01|03|05|07|08|10|12) days_in_month=31 ;;
                04|06|09|11) days_in_month=30 ;;
                02) days_in_month=$days_in_feb ;;
            esac

            # 循环打印每一天
            for (( day=1; day<=$days_in_month; day++ ))
            do
                # 格式化日期
                date_string=$(date -d "$month/$day/$year" +'%Y%m%d')
                partation_string=$(date -d "$month/$day/$year" +'%Y/%m/%d')
		bash add_partation.sh ods_lc.douyin_user $date_string /ods/douyin/user/$partation_string
		bash add_partation.sh ods_lc.douyin_video $date_string /ods/douyin/video/$partation_string
		bash add_partation.sh ods_lc.douyin_live_room $date_string /ods/douyin/live_room/$partation_string
		bash add_partation.sh ods_lc.douyin_product $date_string /ods/douyin/product/$partation_string
		bash add_partation.sh ods_lc.douyin_product_order $date_string /ods/douyin/product_order/$partation_string
            done
        done
    else
        # 打印当前参数所在年份的每一天
        for month in {01..12}
        do
            case $month in
                01|03|05|07|08|10|12) days_in_month=31 ;;
                04|06|09|11) days_in_month=30 ;;
                02) days_in_month=$days_in_feb ;;
            esac

            for (( day=1; day<=$days_in_month; day++ ))
            do
                date_string=$(date -d "$month/$day/$year" +'%Y%m%d')
                partation_string=$(date -d "$month/$day/$year" +'%Y/%m/%d')
		bash add_partation.sh ods_lc.douyin_user $date_string /ods/douyin/user/$partation_string
		bash add_partation.sh ods_lc.douyin_video $date_string /ods/douyin/video/$partation_string
		bash add_partation.sh ods_lc.douyin_live_room $date_string /ods/douyin/live_room/$partation_string
		bash add_partation.sh ods_lc.douyin_product $date_string /ods/douyin/product/$partation_string
		bash add_partation.sh ods_lc.douyin_product_order $date_string /ods/douyin/product_order/$partation_string
            done
        done
    fi
done

使用举例：

为2023年11月每天所有目录添加分区

bash warehouse/shell/hive/add_partition.sh 202311

为2023年全年所有目录添加分区

bash warehouse/shell/hive/add_partition.sh 202311

快手

数据建模

-- 快手数据存放在 /ods/kuaishou 目录，数据格式：{"videoId":1,"userId":494,"title":"动物","description":"野生动物","duration":59,"uploadTime":"2022-01-13 05:25:12"}
-- 数据建模
-- 用户表（user）
CREATE external TABLE ods_lc.kuaishou_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time DATE COMMENT '注册时间'
) comment '用户表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/user';

-- 视频表（video）
CREATE external TABLE ods_lc.kuaishou_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/video';

-- 直播间表（live_room）
CREATE external TABLE ods_lc.kuaishou_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_room';

-- 商品表（product）
CREATE external TABLE ods_lc.kuaishou_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product';

-- 商品订单表（product_order）
CREATE external TABLE ods_lc.kuaishou_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE ods_lc.kuaishou_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_order';

-- 评论表（comment）
CREATE external TABLE ods_lc.kuaishou_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/comment';

-- 退货表（return_order）
CREATE external TABLE ods_lc.kuaishou_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/return_order';

-- 投诉表（report）
CREATE external TABLE ods_lc.kuaishou_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/report';

-- 纠纷表（dispute）
CREATE external TABLE ods_lc.kuaishou_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/dispute';

上传数据

hdfs dfs -put warehouse/data/kuaishou/user.log  /ods/kuaishou/user
hdfs dfs -put warehouse/data/kuaishou/video.log  /ods/kuaishou/video
hdfs dfs -put warehouse/data/kuaishou/live_room.log  /ods/kuaishou/live_room
hdfs dfs -put warehouse/data/kuaishou/product.log  /ods/kuaishou/product
hdfs dfs -put warehouse/data/kuaishou/product_order.log  /ods/kuaishou/product_order

小红书

数据建模

create external table ods_lc.xiaohongshu_user(info string) comment '用户表' location '/ods/xiaohongshu/user';
create external table ods_lc.xiaohongshu_video(info string) comment '视频表' location '/ods/xiaohongshu/video';
create external table ods_lc.xiaohongshu_live_room(info string) comment '直播间' location '/ods/xiaohongshu/live_room';
create external table ods_lc.xiaohongshu_product(info string) comment '商品表' location '/ods/xiaohongshu/product';
create external table ods_lc.xiaohongshu_prouct_order(info string) comment '商品订单表' location '/ods/xiaohongshu/product_order';
create external table ods_lc.xiaohongshu_live_order(info string) comment '直播间订单表' location '/ods/xiaohongshu/live_order';
create external table ods_lc.xiaohongshu_comment(info string) comment '评论表' location '/ods/xiaohongshu/comment';
create external table ods_lc.xiaohongshu_return_order(info string) comment '退货表' location '/ods/xiaohongshu/return_order';
create external table ods_lc.xiaohongshu_report(info string) comment '投诉表' location '/ods/xiaohongshu/report';
create external table ods_lc.xiaohongshu_dispute(info string) comment '纠纷表' location '/ods/xiaohongshu/dispute';

上传数据

hdfs dfs -put warehouse/data/xiaohongshu/user.json  /ods/xiaohongshu/user
hdfs dfs -put warehouse/data/xiaohongshu/video.json  /ods/xiaohongshu/video
hdfs dfs -put warehouse/data/xiaohongshu/live_room.json  /ods/xiaohongshu/live_room
hdfs dfs -put warehouse/data/xiaohongshu/product.json  /ods/xiaohongshu/product
hdfs dfs -put warehouse/data/xiaohongshu/product_order.json  /ods/xiaohongshu/product_order

DWD

小红书

数据建模

-- DWD
-- 数据建模
-- 用户表（user）
CREATE external TABLE dwd_lc.xiaohongshu_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 location '/dwd/xiaohongshu/user';

-- 视频表（video）
CREATE external TABLE dwd_lc.xiaohongshu_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 location '/dwd/xiaohongshu/video';

-- 直播间表（live_room）
CREATE external TABLE dwd_lc.xiaohongshu_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 location '/dwd/xiaohongshu/live_room';

-- 商品表（product）
CREATE external TABLE dwd_lc.xiaohongshu_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 location '/dwd/xiaohongshu/product';

-- 商品订单表（product_order）
CREATE external TABLE dwd_lc.xiaohongshu_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 location '/dwd/xiaohongshu/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE dwd_lc.xiaohongshu_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 location '/dwd/xiaohongshu/live_order';

-- 评论表（comment）
CREATE external TABLE dwd_lc.xiaohongshu_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 location '/dwd/xiaohongshu/comment';

-- 退货表（return_order）
CREATE external TABLE dwd_lc.xiaohongshu_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 location '/dwd/xiaohongshu/return_order';

-- 投诉表（report）
CREATE external TABLE dwd_lc.xiaohongshu_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 location '/dwd/xiaohongshu/report';

-- 纠纷表（dispute）
CREATE external TABLE dwd_lc.xiaohongshu_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 location '/dwd/xiaohongshu/dispute';

ETL

ETL是将业务系统的数据经过**抽取（Extract）、清洗转换（Transform）之后加载（Load）**到数据仓库的过程，

目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。

-- 小红书 ETL
-- 用户表（user）
insert overwrite table dwd_lc.xiaohongshu_user (
select json_tuple(people,'user_id','username','gender','age','location','register_time') as (user_id,username,gender,age,location,register_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_user) ods
    lateral view explode(people_list) t1 as people) t2);

-- 视频表（video）
insert overwrite table dwd_lc.xiaohongshu_video (
select json_tuple(people,'video_id','user_id','title','description','duration','upload_time') as (video_id,user_id,title,description,duration,upload_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_video) ods
    lateral view explode(people_list) t1 as people) t2);

-- 直播间表（live_room）
insert overwrite table dwd_lc.xiaohongshu_live_room (
select json_tuple(people,'room_id','user_id','title','description','start_time','end_time') as (room_id,user_id,title,description,start_time,end_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_live_room) ods
    lateral view explode(people_list) t1 as people) t2);

-- 商品表（product）
insert overwrite table dwd_lc.xiaohongshu_product (
select json_tuple(people,'product_id','seller_id','name','description','price','create_time') as (product_id,seller_id,name,description,price,create_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_product) ods
    lateral view explode(people_list) t1 as people) t2);


-- 商品订单表（product_order）
insert overwrite table dwd_lc.xiaohongshu_product_order (
select json_tuple(people,'order_id','buyer_id','seller_id','product_id','quantity','price','order_time') as (order_id,buyer_id,seller_id,product_id,quantity,price,order_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_prouct_order) ods
    lateral view explode(people_list) t1 as people) t2);

数据分析

-- 数据分析需求示例
-- 1. 求每个用户的视频数量
SELECT user_id, COUNT(*) AS video_count
FROM video
GROUP BY user_id
ORDER BY video_count DESC
LIMIT 30;

-- 2. 求每个视频的点赞数量
SELECT video_id, COUNT(*) AS like_count
FROM video_like
GROUP BY video_id
ORDER BY like_count DESC
LIMIT 30;

-- 3. 求每个商品的销量和销售额
SELECT product_id, SUM(quantity) AS total_sales, SUM(quantity * price) AS total_revenue
FROM product_order
GROUP BY product_id
ORDER BY total_sales DESC
LIMIT 30;

-- 4. 求每个直播间的观众数量
SELECT room_id, COUNT(*) AS viewer_count
FROM live_viewer
GROUP BY room_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 5. 求每个用户的评论数量
SELECT user_id, COUNT(*) AS comment_count
FROM user_comment
GROUP BY user_id
ORDER BY comment_count DESC
LIMIT 30;

-- 6. 求每个用户的评价数量
SELECT user_id, COUNT(*) AS review_count
FROM product_review
GROUP BY user_id
ORDER BY review_count DESC
LIMIT 30;

-- 7. 求每个用户的直播间评价数量
SELECT user_id, COUNT(*) AS review_count
FROM live_review
GROUP BY user_id
ORDER BY review_count DESC
LIMIT 30;

-- 8. 求每个用户的点赞数量
SELECT user_id, COUNT(*) AS like_count
FROM video_like
GROUP BY user_id
ORDER BY like_count DESC
LIMIT 30;

-- 9. 求每个用户的观众数量
SELECT user_id, COUNT(*) AS viewer_count
FROM live_viewer
GROUP BY user_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 10. 求每个用户的购买数量和消费金额
SELECT buyer_id, COUNT(*) AS purchase_count, SUM(quantity * price) AS total_spent
FROM product_order
GROUP BY buyer_id
ORDER BY purchase_count DESC
LIMIT 30;

-- 11. 求每个用户的卖出数量和收入金额
SELECT seller_id, COUNT(*) AS sales_count, SUM(quantity * price) AS total_income
FROM product_order
GROUP BY seller_id
ORDER BY sales_count DESC
LIMIT 30;

-- 12. 求每个用户的直播间订单数量和收入金额
SELECT seller_id, COUNT(*) AS sales_count, SUM(quantity * price) AS total_income
FROM live_order
GROUP BY seller_id
ORDER BY sales_count DESC
LIMIT 30;

-- 13. 求每个用户的直播间观众数量
SELECT user_id, COUNT(*) AS viewer_count
FROM live_viewer
GROUP BY user_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 14. 求每个用户的视频观看数量
SELECT user_id, COUNT(*) AS view_count
FROM video_view
GROUP BY user_id
ORDER BY view_count DESC
LIMIT 30;

-- 15. 求每个用户的视频观看时长
SELECT user_id, SUM(duration) AS total_duration
FROM video
GROUP BY user_id
ORDER BY total_duration DESC
LIMIT 30;

-- 16. 求每个直播间的观众数量和观看时长
SELECT room_id, COUNT(*) AS viewer_count, SUM(duration) AS total_duration
FROM live_viewer lv
JOIN video v ON lv.room_id = v.video_id
GROUP BY room_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 17. 求每个商品的评价数量
SELECT product_id, COUNT(*) AS review_count
FROM product_review
GROUP BY product_id
ORDER BY review_count DESC
LIMIT 30;

-- 18. 求每个直播间的评价数量
SELECT room_id, COUNT(*) AS review_count
FROM live_review
GROUP BY room_id
ORDER BY review_count DESC
LIMIT 30;

-- 19. 求每个视频的评论数量
SELECT video_id, COUNT(*) AS comment_count
FROM user_comment
WHERE target_id IS NOT NULL
GROUP BY video_id
ORDER BY comment_count DESC
LIMIT 30;

-- 20. 求每个直播间的评论数量
SELECT room_id, COUNT(*) AS comment_count
FROM user_comment
WHERE target_id IS NULL
GROUP BY room_id
ORDER BY comment_count DESC
LIMIT 30;

-- 21. 求每个用户的视频点赞数量
SELECT user_id, COUNT(*) AS like_count
FROM video_like vl
JOIN video v ON vl.video_id = v.video_id
GROUP BY user_id
ORDER BY like_count DESC
LIMIT 30;

-- 22. 求每个用户的直播间观众数量
SELECT user_id, COUNT(*) AS viewer_count
FROM live_viewer
GROUP BY user_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 23. 求每个用户

-- 23. 求每个用户的视频观看数量和观看时长
SELECT user_id, COUNT(*) AS view_count, SUM(duration) AS total_duration
FROM video_view vv
JOIN video v ON vv.video_id = v.video_id
GROUP BY user_id
ORDER BY view_count DESC
LIMIT 30;

-- 24. 求每个用户的直播间观众数量和观看时长
SELECT user_id, COUNT(*) AS viewer_count, SUM(duration) AS total_duration
FROM live_viewer lv
JOIN video v ON lv.room_id = v.video_id
GROUP BY user_id
ORDER BY viewer_count DESC
LIMIT 30;

-- 25. 求每个用户的购买数量和消费金额
SELECT buyer_id, COUNT(*) AS purchase_count, SUM(quantity * price) AS total_spent
FROM product_order
GROUP BY buyer_id
ORDER BY purchase_count DESC
LIMIT 30;

-- 26. 求每个用户的卖出数量和收入金额
SELECT seller_id, COUNT(*) AS sales_count, SUM(quantity * price) AS total_income
FROM product_order
GROUP BY seller_id
ORDER BY sales_count DESC
LIMIT 30;

-- 27. 求每个用户的直播间订单数量和收入金额
SELECT seller_id, COUNT(*) AS sales_count, SUM(quantity * price) AS total_income
FROM live_order
GROUP BY seller_id
ORDER BY sales_count DESC
LIMIT 30;

-- 28. 求每个用户的视频观看数量
SELECT user_id, COUNT(*) AS view_count
FROM video_view
GROUP BY user_id
ORDER BY view_count DESC
LIMIT 30;

-- 29. 求每个用户的视频观看时长
SELECT user_id, SUM(duration) AS total_duration
FROM video
GROUP BY user_id
ORDER BY total_duration DESC
LIMIT 30;

-- 30. 求每个用户的直播间观众数量和观看时长
SELECT user_id, COUNT(*) AS viewer_count, SUM(duration) AS total_duration
FROM live_viewer lv
JOIN video v ON lv.room_id = v.video_id
GROUP BY user_id
ORDER BY viewer_count DESC
LIMIT 30;

hive数仓etl

-- hive
-- 1. 初始化数据库
-- 删除数据库
drop database if exists ods_lc cascade;
drop database if exists dwd_lc cascade;
drop database if exists dwt_lc cascade;
drop database if exists dws_lc cascade;
drop database if exists ads_lc cascade;
drop database if exists app_lc cascade;
-- 创建数据库
create database if not exists ods_lc location '/data/ods/livestreaming_commerce';
create database if not exists dwd_lc location '/data/dwd/livestreaming_commerce';
create database if not exists dwt_lc location '/data/dwt/livestreaming_commerce';
create database if not exists dws_lc location '/data/dwt/livestreaming_commerce';
create database if not exists ads_lc location '/data/dws/livestreaming_commerce';
create database if not exists app_lc location '/data/ads/livestreaming_commerce';

-- 数据建模
-- ODS层
-- 公共数据地区表
-- 地区表
create external table ods_lc.region(
    region_code string        comment '地区代码',
    region_name string comment '地区名称',
    parent_code string         comment '当前地区的上一级地区代码'
) comment '中国地区表'
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/public/region';

create external table ods_lc.region_district(
    region_code string        comment '地区代码',
    region_name string comment '地区名称',
    parent_code string         comment '当前地区的上一级地区代码'
) comment '中国区县表'
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/public/region_district';

-- 抖音数据存放在 /ods/douyin 目录， 数据格式：867,3,汽车,用车知识,206,2022-01-01 23:18:38
-- 数据建模
-- 用户表（user）
CREATE external TABLE ods_lc.douyin_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/user';

-- 视频表（video）
CREATE external TABLE ods_lc.douyin_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/video';

-- 直播间表（live_room）
CREATE external TABLE ods_lc.douyin_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/live_room';

-- 商品表（product）
CREATE external TABLE ods_lc.douyin_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/product';

-- 商品订单表（product_order）
CREATE external TABLE ods_lc.douyin_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE ods_lc.douyin_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/live_order';

-- 评论表（comment）
CREATE external TABLE ods_lc.douyin_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/comment';

-- 退货表（return_order）
CREATE external TABLE ods_lc.douyin_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/return_order';

-- 投诉表（report）
CREATE external TABLE ods_lc.douyin_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/report';

-- 纠纷表（dispute）
CREATE external TABLE ods_lc.douyin_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 partitioned by (y string,m string,d string)
 row format delimited fields terminated by ','
 lines terminated by '\n'
 location '/ods/douyin/dispute';

-- 快手数据存放在 /ods/kuaishou 目录，数据格式：{"videoId":1,"userId":494,"title":"动物","description":"野生动物","duration":59,"uploadTime":"2022-01-13 05:25:12"}
-- 数据建模
-- 用户表（user）
CREATE external TABLE ods_lc.kuaishou_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/user';

-- WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" )
-- ALTER TABLE user SET SERDEPROPERTIES ( "ignore.malformed.json" = "true" );

-- 视频表（video）
CREATE external TABLE ods_lc.kuaishou_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/video';

-- 直播间表（live_room）
CREATE external TABLE ods_lc.kuaishou_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_room';

-- 商品表（product）
CREATE external TABLE ods_lc.kuaishou_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product';

-- 商品订单表（product_order）
CREATE external TABLE ods_lc.kuaishou_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE ods_lc.kuaishou_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/live_order';

-- 评论表（comment）
CREATE external TABLE ods_lc.kuaishou_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/comment';

-- 退货表（return_order）
CREATE external TABLE ods_lc.kuaishou_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/return_order';

-- 投诉表（report）
CREATE external TABLE ods_lc.kuaishou_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/report';

-- 纠纷表（dispute）
CREATE external TABLE ods_lc.kuaishou_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
 location '/ods/kuaishou/dispute';
-- 小红书数据存放在 /ods/kuaishou 目录，数据格式：{"data:[{"videoId":1,"userId":494,"title":"动物","description":"野生动物","duration":59,"uploadTime":"2022-01-13 05:25:12"}]"}
create external table ods_lc.xiaohongshu_user(info string) comment '用户表' location '/ods/xiaohongshu/user';
create external table ods_lc.xiaohongshu_video(info string) comment '视频表' location '/ods/xiaohongshu/video';
create external table ods_lc.xiaohongshu_live_room(info string) comment '直播间' location '/ods/xiaohongshu/live_room';
create external table ods_lc.xiaohongshu_product(info string) comment '商品表' location '/ods/xiaohongshu/product';
create external table ods_lc.xiaohongshu_prouct_order(info string) comment '商品订单表' location '/ods/xiaohongshu/product_order';
create external table ods_lc.xiaohongshu_live_order(info string) comment '直播间订单表' location '/ods/xiaohongshu/live_order';
create external table ods_lc.xiaohongshu_comment(info string) comment '评论表' location '/ods/xiaohongshu/comment';
create external table ods_lc.xiaohongshu_return_order(info string) comment '退货表' location '/ods/xiaohongshu/return_order';
create external table ods_lc.xiaohongshu_report(info string) comment '投诉表' location '/ods/xiaohongshu/report';
create external table ods_lc.xiaohongshu_dispute(info string) comment '纠纷表' location '/ods/xiaohongshu/dispute';

-- DWD
-- 数据建模
-- 小红书
-- 用户表（user）
CREATE external TABLE dwd_lc.xiaohongshu_user (
  user_id INT COMMENT '用户ID',
  username string COMMENT '用户名',
  gender string COMMENT '性别',
  age INT COMMENT '年龄',
  location string COMMENT '地点',
  register_time timestamp COMMENT '注册时间'
) comment '用户表'
 location '/dwd/xiaohongshu/user';

-- 视频表（video）
CREATE external TABLE dwd_lc.xiaohongshu_video (
  video_id INT COMMENT '视频ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  duration INT COMMENT '时长',
  upload_time timestamp COMMENT '上传时间'
) comment '视频表'
 location '/dwd/xiaohongshu/video';

-- 直播间表（live_room）
CREATE external TABLE dwd_lc.xiaohongshu_live_room (
  room_id INT COMMENT '直播间ID',
  user_id INT COMMENT '用户ID',
  title string COMMENT '标题',
  description string COMMENT '描述',
  start_time timestamp COMMENT '开始时间',
  end_time timestamp COMMENT '结束时间'
) comment '直播间'
 location '/dwd/xiaohongshu/live_room';

-- 商品表（product）
CREATE external TABLE dwd_lc.xiaohongshu_product (
  product_id INT COMMENT '商品ID',
  seller_id INT COMMENT '卖家ID',
  name string COMMENT '名称',
  description string COMMENT '描述',
  price DECIMAL(10, 2) COMMENT '价格',
  create_time timestamp COMMENT '创建时间'
) comment '商品表'
 location '/dwd/xiaohongshu/product';

-- 商品订单表（product_order）
CREATE external TABLE dwd_lc.xiaohongshu_product_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '商品订单表'
 location '/dwd/xiaohongshu/product_order';

-- 直播间订单表（live_order）
CREATE external TABLE dwd_lc.xiaohongshu_live_order (
  order_id INT COMMENT '订单ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  room_id INT COMMENT '直播间ID',
  product_id INT COMMENT '商品ID',
  quantity INT COMMENT '数量',
  price DECIMAL(10, 2) COMMENT '价格',
  order_time timestamp COMMENT '下单时间'
) comment '直播间订单表'
 location '/dwd/xiaohongshu/live_order';

-- 评论表（comment）
CREATE external TABLE dwd_lc.xiaohongshu_comment (
  comment_id INT COMMENT '评论ID',
  user_id INT COMMENT '用户ID',
  video_id INT COMMENT '视频ID',
  live_room_id INT COMMENT '直播间ID',
  content string COMMENT '内容',
  comment_time timestamp COMMENT '评论时间'
) comment '评论表'
 location '/dwd/xiaohongshu/comment';

-- 退货表（return_order）
CREATE external TABLE dwd_lc.xiaohongshu_return_order (
  return_id INT COMMENT '退货ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  product_id INT COMMENT '商品ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  return_time timestamp COMMENT '退货时间'
) comment '退货表'
 location '/dwd/xiaohongshu/return_order';

-- 投诉表（report）
CREATE external TABLE dwd_lc.xiaohongshu_report (
  report_id INT COMMENT '举报ID',
  user_id INT COMMENT '用户ID',
  live_room_id INT COMMENT '直播间ID',
  reason string COMMENT '原因',
  report_time timestamp COMMENT '举报时间'
) comment '投诉表'
 location '/dwd/xiaohongshu/report';

-- 纠纷表（dispute）
CREATE external TABLE dwd_lc.xiaohongshu_dispute (
  dispute_id INT COMMENT '纠纷ID',
  buyer_id INT COMMENT '买家ID',
  seller_id INT COMMENT '卖家ID',
  order_id INT COMMENT '订单ID',
  reason string COMMENT '原因',
  dispute_time timestamp COMMENT '纠纷时间'
) comment '纠纷表'
 location '/dwd/xiaohongshu/dispute';

-- 小红书 ETL
-- 用户表（user）
insert overwrite table dwd_lc.xiaohongshu_user (
select json_tuple(people,'user_id','username','gender','age','location','register_time') as (user_id,username,gender,age,location,register_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_user) ods
    lateral view explode(people_list) t1 as people) t2);

-- 视频表（video）
insert overwrite table dwd_lc.xiaohongshu_video (
select json_tuple(people,'video_id','user_id','title','description','duration','upload_time') as (video_id,user_id,title,description,duration,upload_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_video) ods
    lateral view explode(people_list) t1 as people) t2);

-- 直播间表（live_room）
insert overwrite table dwd_lc.xiaohongshu_live_room (
select json_tuple(people,'room_id','user_id','title','description','start_time','end_time') as (room_id,user_id,title,description,start_time,end_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_live_room) ods
    lateral view explode(people_list) t1 as people) t2);

-- 商品表（product）
insert overwrite table dwd_lc.xiaohongshu_product (
select json_tuple(people,'product_id','seller_id','name','description','price','create_time') as (product_id,seller_id,name,description,price,create_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_product) ods
    lateral view explode(people_list) t1 as people) t2);

-- 商品订单表（product_order）
insert overwrite table dwd_lc.xiaohongshu_product_order (
select json_tuple(people,'order_id','buyer_id','seller_id','product_id','quantity','price','order_time') as (order_id,buyer_id,seller_id,product_id,quantity,price,order_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_prouct_order) ods
    lateral view explode(people_list) t1 as people) t2);

-- 直播间订单表（live_order）
insert overwrite table dwd_lc.xiaohongshu_live_order (
select json_tuple(people,'order_id','buyer_id','seller_id','seller_id','room_id','product_id','quantity','price','order_time') as (order_id,buyer_id,seller_id,room_id,product_id,quantity,price,order_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_live_order) ods
    lateral view explode(people_list) t1 as people) t2);

-- 评论表（comment）
insert overwrite table dwd_lc.xiaohongshu_comment (
select json_tuple(people,'comment_id','user_id','video_id','live_room_id','content','upload_time') as (comment_id,user_id,video_id,live_room_id,content,comment_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_comment) ods
    lateral view explode(people_list) t1 as people) t2);

-- 退货表（return_order）
insert overwrite table dwd_lc.xiaohongshu_return_order (
select json_tuple(people,'return_id','buyer_id','seller_id','product_id','order_id','reason','return_time') as (return_id,buyer_id,seller_id,product_id,order_id,reason,return_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_return_order) ods
    lateral view explode(people_list) t1 as people) t2);

-- 投诉表（report）
insert overwrite table dwd_lc.xiaohongshu_report (
select json_tuple(people,'report_id','user_id','live_room_id','reason','report_time') as (report_id,user_id,live_room_id,reason,report_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_report) ods
    lateral view explode(people_list) t1 as people) t2);

-- 纠纷表（dispute）
insert overwrite table dwd_lc.xiaohongshu_dispute (
select json_tuple(people,'dispute_id','buyer_id','seller_id','order_id','reason','dispute_time') as (dispute_id,buyer_id,seller_id,order_id,reason,dispute_time) from (
    select people from (select split(regexp_replace(regexp_replace(get_json_object(info,'$.data'),'\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),";") people_list from ods_lc.xiaohongshu_dispute) ods
    lateral view explode(people_list) t1 as people) t2);

-- 快手
select name, description, price, total_quantity from product inner join
(select product_id,sum(quantity) total_quantity from product_order
group by product_id order by total_quantity) t
on t.product_id = product.product_id;
-- 商品销售数量统计 原谅我一不小心做成了内部表 该表的数据从ods_lc.product_order中抽取
create table dwd_lc.kuaishou_product_order_total_quantity
(product_id int,total_quantity int)
partitioned by (create_date date);
-- 从ods层导入输入到 dwd_lc.product_order_total_quantity
insert into table dwd_lc.kuaishou_product_order_total_quantity
select product_id,sum(quantity) total_quantity,current_date() create_date from ods_lc.kuaishou_product_order
group by product_id order by total_quantity;

-- DWS
-- 数据建模
-- 快手
-- 商品销售数量统计 原谅我一不小心做成了内部表 该表的数据从ods_lc.product_order和dwd_lc.product_order_total_quantity中抽取
create table dws_lc.kuaishou_product_order_total_quantity(
    product_id int,
    name string,
    description string,
    price decimal(10,2),
    total_quantity int
)
partitioned by (create_date date);
-- 从ods层和dwd层导入输入到 ws_lc.kuaishou_product_order_total_quantity
insert into table dwd_lc.kuaishou_product_order_total_quantity
select product_id,name,description,price from ods_lc.kuaishou_product_order ods
inner join
(select product_id,sum(quantity) total_quantity,current_date() create_date from ods_lc.kuaishou_product_order
group by product_id order by total_quantity) dwd
on dwd.product_id = ods.product_id;

mysql数仓etl

# use livestreaming_commerce;
# alter database livestreaming_commerce character set utf8mb3 collate utf8mb3_bin;
# alter table comment convert to character set utf8mb3 collate utf8mb3_bin;
# alter table dispute convert to character set utf8mb3 collate utf8mb3_bin;
# alter table live_order convert to character set utf8mb3 collate utf8mb3_bin;
# alter table live_room convert to character set utf8mb3 collate utf8mb3_bin;
# alter table product convert to character set utf8mb3 collate utf8mb3_bin;
# alter table product_order convert to character set utf8mb3 collate utf8mb3_bin;
# alter table region convert to character set utf8mb3 collate utf8mb3_bin;
# alter table region_district convert to character set utf8mb3 collate utf8mb3_bin;
# alter table report convert to character set utf8mb3 collate utf8mb3_bin;
# alter table return_order convert to character set utf8mb3 collate utf8mb3_unicode_ci;
# alter table user convert to character set utf8mb3 collate utf8mb3_bin;
# alter table video convert to character set utf8mb3 collate utf8mb3_bin;

create database dwd_lc;

create table dwd_lc.product_order_total_quantity (product_id int,total_quantity int,create_dated date);

insert into dwd_lc.product_order_total_quantity
select product_id,sum(quantity) total_quantity,curdate() from product_order
group by product_id;

create database dws_lc;
create table dwd_lc.product_order_total_quantity (
    product_id int,total_quantity int,create_dated date
);

create database dwt_lc;

create table dwt_lc.product_order_total_quantity (
    product_id int,
    name varchar(50),
    description varchar(50),
    price decimal(10,2),
    total_quantity int,
    create_dated date
);

insert into dwt_lc.product_order_total_quantity
select ods.product_id, name, description, price, total_quantity, create_dated create_date from livestreaming_commerce.product ods
inner join
(select product_id, total_quantity, create_dated from dwd_lc.product_order_total_quantity) dwd
on dwd.product_id = ods.product_id;

create database aps_lc;

create table aps_lc.product_order_total_quantity (
    product_id int,
    name varchar(50),
    description varchar(50),
    price decimal(10,2),
    total_quantity int,
    create_dated date
);

insert into aps_lc.product_order_total_quantity
select product_id, name, description, price, total_quantity, create_dated create_date
from dwt_lc.product_order_total_quantity order by total_quantity desc limit 10;

数据可视化 FineBi

openEuler Linux 部署 FineBi

部署环境

环境	版本
openEuler Linux	22.03
MySQL	8.0.35
JDK	1.8
Tomcat	9.0.83
FineBi	6.0

环境准备

升级系统内核和软件

yum -y update

reboot

安装常用工具软件

yum -y install vim tar net-tools

安装MySQL8

将 MySQL Yum 存储库添加到系统的存储库列表中

sudo yum -y install https://repo.mysql.com//mysql80-community-release-el8-9.noarch.rpm

通过运行以下命令并检查其输出来验证是否已启用和禁用正确的子存储库

sudo yum repolist enabled | grep mysql

通过以下命令安装 MySQL

sudo yum -y install mysql-community-server

启动 MySQL 服务器

使用以下命令启动 MySQL 服务器：

sudo systemctl start mysqld

您可以使用以下命令检查 MySQL 服务器的状态：

sudo systemctl status mysqld

使用以下命令开启自启动 MySQL 服务器：

sudo systemctl enable mysqld

在服务器初始启动时，假设服务器的数据目录为空，会发生以下情况：

服务器已初始化。
SSL 证书和密钥文件在数据目录中生成。
validate_password 已安装并启用。
创建了一个超级用户帐户'root'@'localhost。超级用户的密码已设置并存储在错误日志文件中。要显示它，请使用以下命令：
```
sudo grep 'temporary password' /var/log/mysqld.log
```

通过使用生成的临时密码登录并为超级用户帐户设置自定义密码，尽快更改 root 密码：

mysql -uroot -p

修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY 'Lihaozhe!!@@1122';
FLUSH PRIVILEGES;

不检查指定为散列值的密码，因为原始密码值不可用于检查：

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'Lihaozhe!!@@1122';
FLUSH PRIVILEGES;

update mysql.user set host = '%',plugin='mysql_native_password' where user='root';
FLUSH PRIVILEGES;

exit;

sudo systemctl restart mysqld

防火墙开放端口

–zone #作用域

–add-port=3306/tcp #添加端口，格式为：端口/通讯协议

–permanent #永久生效，没有此参数重启后失效

firewall-cmd --zone=public --add-port=3306/tcp --permanent

防火墙重载

firewall-cmd --reload

# 使用新密码连接
mysql -h 你自己的IP地址 -uroot -p

创建finebi外接数据库finedb

字符集应当为 utf8 ，排序规则为 utf8_bin。

create database finebi character set utf8 collate utf8_bin;

安装jdk和tomcat

下载jdk

jdk 官网下载页面：https://www.oracle.com/java/technologies/downloads/

下载tomcat

tomcat 官网下载页面：https://tomcat.apache.org/download-90.cgi

解压jdk和tomcat并修改目录名称

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /usr/local/
tar -zxvf apache-tomcat-9.0.83.tar.gz -C /usr/local/
mv /usr/local/jdk1.8.0_391/ /usr/local/jdk-8
mv /usr/local/apache-tomcat-9.0.83 /usr/local/tomcat-9

设置tomcat.pid文件生成

其中tomcat.pid文件本身不存在，设置之后，启动Tomcat会自动生成

vim /usr/local/tomcat-9/bin/catalina.sh

定位文件第152行找到 PRGDIR=dirname "$PRG" 并在该行下追加以下内容

CATALINA_PID="/usr/local/tomcat-9/bin/tomcat.pid"

配置环境变量

vim /etc/profile.d/my_env.sh

export JAVA_HOME=/usr/local/jdk-8

export CATALINA_BASE=/usr/local/tomcat-9
export CATALINA_HOME=/usr/local/tomcat-9

export PATH=$PATH:$JAVA_HOME/bin:$CATALINA_BASE/bin:$CATALINA_HOME/bin

source /etc/profile.d/my_env.sh

编写开机启动服务

cd /usr/lib/systemd/system
vim tomcat-9.service

[Unit]
Description=finereport-server
After=network.target
[Service]
Type=forking
Environment="JAVA_HOME=/usr/local/jdk-8"
PIDFile=/usr/local/tomcat-9/bin/tomcat.pid
ExecStart=/usr/local/tomcat-9/bin/startup.sh
ExecReload=/usr/local/tomcat-9/bin/shutdown.sh
ExecReload=/bin/kill -s HUP $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start tomcat-9.service 
systemctl enable tomcat-9.service

设置防火墙端口放行

firewall-cmd --zone=public --add-port=8080/tcp --permanent
firewall-cmd --reload

重启系统

reboot

浏览器访问测试

http://服务器IP地址:8080

安装finebi

官网下载

https://www.finebi.com/product/download

上传安装包

tomcat-linux-x64.tar.gz

解压安装包到指定目录

/usr/local

tar -zxvf tomcat-linux-x64.tar.gz -C /usr/local/

解压后的目录名为 tomcat-linux-64

删除 MySQL5 数据库驱动

### 上传 MySQL 数据库驱动

```bash
cd /usr/local/tomcat-linux-x64/webapps/webroot/WEB-INF/lib/

ls mysql*

删除MySQL5的驱动后上传MySQL8的驱动
mysql-connector-j-8.0.33.jar mysql驱动
protobuf-java-3.5.1.jar mysql驱动依赖

rm -f mysql-connector-java-5.1.49-bin.jar /usr/local/tomcat-9/webapps/finebi

复制 finebi web 工程到 tomcat 服务器发布

cp -r /usr/local/tomcat-linux-x64/webapps/webroot /usr/local/tomcat-9/webapps/finebi

创建 finebi 外接数据库

本案例使用 MySQL8 作为 finebi 外接数据库

关闭 BI 工程

删除工程webapps\webroot\WEB-INF\lib目录下的 mysql-connector-java-5.1.49-bin.jar

下载对应版本的 MySQL8 驱动，并上传至工程webapps\webroot\WEB-INF\lib目录下。

上传mysql8驱动 mysql-connector-j-8.0.33.jar

上传mysql8驱动依赖 protobuf-java-3.5.1.jar

重启 BI 工程。

字符集：

平台外接 MySQL 数据库时，需要设置字符集排序规则（大小写敏感）。

推荐使用 utf8 – UTF-8 Unicode 编码。

不支持 utf8mb4 编码

排序规则：
MySQL 中存在多种格式的 utf8 编码的排序规则，其中最常见的两种如下表所示：

utf8_bin（推荐）
定义：将字符串中的每一个字符用二进制数据存储，区分大小写
示例：Alex 和 alex 被认为是两个不同的值

utf8_general_ci
定义：ci 为 case insensitive 的缩写，即大小写不敏感，为 utf8 默认编码
示例：Alex 和 alex 被认为是相同的值

登录 mysql 创建 finebi 数据库

create database finebi default character set utf8 collate utf8_bin;

重启 tomcat

systemctl restart tomcat-9

浏览器访问测试

http://服务器IP地址:8080/finebi/decision

设置账号密码

账号密码设置成功

根据使用场景选择数据库

本案例使用外接数据库

外接数据库配置

修改外接数据库参数

数据库类型 mysql

驱动

MySQL5 com.mysql.jdbc.Driver

MySQL8 com.mysql.cj.jdbc.Driver

主机 MySQL服务器IP地址

端口号 3306

数据库名称 finebi

用户名 root

密码 ·MySQL数据库密码·

修改外接数据库参数后点击启用新数据库

登录 `finebi`

finebi 新手入门案例

连锁超市销售数据分析

步骤：

准备公共数据
新建分析主题
处理数据
在数据中分析
在图形中分析
数据大屏

准备公共数据

点击公共数据

点击新建文件夹

修改文件夹名称

上传数据

鼠标悬停在文件夹上，右侧出现 +

鼠标悬停在文件夹上，右侧出现 +，点击 + 选择 Excel数据集

保存数据

保存数据前可以调整数据集，例如：数据类型、列位置

更新数据

新建分析主题

点击我的分析

点击新建分析主题

选择数据

处理数据

调整数据列

两种方式：

鼠标选中数据标题，拖拽即可

点击字段设置

在数据中分析

组件

图形和表格的载体，在组件内可以制作图形和表格并对对其进行编辑

点底部组件

维度与指标

维度

维度：分析数据的角度，例如：时间维度、空间维度、类别维度

指标

指标：维度上量化的值

商品销售额top10

需求分析：

维度：商品名称

指标：销售额

图表类型

使用分组表

定义维度

定义维度上的指标

销售额排序

销售额降序

鼠标悬停在指标中的销售额上出现下拉列表

在指标销售额下拉列表中选中过滤

添加条件下拉列表中选择且条件

在第一个条件下拉列表中选择最大的N个

调整参数如下图

效果图

修改组件名称

鼠标悬停在组件名称，长右侧出现三个点

点击重命名

或者直接双击组件名称，组件变为编辑状态

编辑完成后回车确认或者鼠标点击其它空白区域即可

商品毛利额

原始数据并没有毛利额，毛利额需要我们自己计算产生

毛利额 = 销售额 - 成本额

点击数据

在数据窗口点击新增公式列

计算公式列

毛利额 = 销售额 - 成本额

注意：数据列只能从鞥左侧拖拽不能手写

制作组件

在图形中分析

类别销售额占比

维度：商品类别

指标：销售额

图表类型选择饼图

将商品类别拖入图形属性中标签中

将销售额拖入图形属性中标签中

调整销售额单位

单击标签中的销售额，在标签中销售额的下拉列表中选择数值格式

在数值格式中的数量单位下拉列表中选择万

销售额占比

销售额占比 = 类型销售额数量 / 销售总额

再次将销售额拖入图形属性的标签中

第二次拖入图形属性标签中的销售额下拉列表

快速计算

占比

毛利额环比增长率

同比增长率=(本期数-同期数)÷同期数×100%

环比增长率=(本期数-上期数)/上期数×100%。

维度：时间

指标：毛利额

时间维度

修改日期颗粒度

毛利额指标

快速计算环比增长率

修改指标名称

毛利额环比增长率自定义图表

复制毛利额环比增长率组件

图表类型

自定义图表

由于纵轴指标聚合，毛利额和毛利率数值相差巨大故而毛利率显示并不明显

解决方法：

将纵轴指标聚合修改为指标并列

设置值轴

修改毛利额为折线图

在图形属性中找到毛利额增长率，点开下拉列表

在下拉列表中选择线

毛利额标签

将数据中的毛利额拖入到图形属性中毛利额的标签属性中

修改图形属性中标签中毛利额的数值格式

方式一：纵轴为指标并列

方式二：设置值轴方向

注意：纵轴使用的是指标聚合

毛利额环比增长率标签

将数据中的毛利额拖入到图形属性中毛利额环比增长率的标签属性中

快速计算毛利额环比增长率

图形属性标签

设置颜色

如何找到合适的图表

确定表达的主题

确定表达的关系

选择图表形式

表达的主题

观察数据的角度

表达的关系

比较：不同对象之间的对比
占比：个体在整体中的比例
趋势：数据发展倾向
关联：数据间的关系
分布：数据在不同维度的范围

选择图表形式

毛利率环比增长率

毛利率 = （销售额 - 成本额） / 销售额 * 100%

毛利额 = 销售额 - 成本额

毛利率 = 毛利额 / 销售额 * 100%

添加计算字段

搜索右侧三个点点开

在计算字段中编写毛利率公式

毛利率 = （销售额 - 成本额） / 销售额 * 100%

毛利额 = 销售额 - 成本额

毛利率 = 毛利额 / 销售额 * 100%

由于毛利额已经计算过所此处直接引用

寻找毛利率下滑原因

创建钻取目录

加入到钻取目录

拖入方式加入钻取目录

拖入维度和指标

在指标中设置毛利率数值格式

指标排序

毛利率
毛利额
销售额

假设使用毛利率升序

目录钻取

通过指标排序发现湖南省毛利率最低，于是逐级钻取

仪表板

添加仪表板

添加组件到仪表板

从左侧列表拖拽组件到仪表板

仪表板样式

交互式组件

美化仪表板

直播电商数据分析

连接数据库

本案例使用MySQL数据库

更换驱动

FineBI内置了 MySQL5 版本的驱动，如使用 MySQL8 版本的数据库，需要手动更换驱动。

关闭 BI 工程
下载对应版本的 MySQL8.0 驱动，并上传至工程WEB-INF/lib目录下。
删除工程WEB-INF/lib目录下的mysql-connector-java-5.1.49-bin.jar。
重启 BI 工程。

连接MySQL

管理系统

数据连接
数据连接管理
新建数据连接
在常用中点击MySQL
MySQL数据连接

注意：如果连接连接MySQL8，将驱动修改为 com.mysql.cj.jdbc.Driver

若出现中文乱码或日期错乱的情况，可在「数据连接URL」后加后缀，格式为：jdbc:mysql://hostname:port/database?generateSimpleParameterMetadata=true&useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai

其中

serverTimezone=Asia/Shanghai – 设置以"上海时区"为准

characterEncoding=utf8 – 编码转化
测试数据连接
保存数据连接

公共数据中添加数据连接

公共数据

新建文件夹

添加DB数据表

选择对应的数据连接和该数据连接下的数据表

保存数据表

更新数据

创建分析主题

批量选择数据

保存选择数据

保存并更新数据

商品销量和销售额top10

在公共数据中导入SQL数据集

select name, description, price, total_quantity from product inner join
(select product_id,sum(quantity) total_quantity from product_order
group by product_id order by total_quantity desc limit 10) t
on t.product_id = product.product_id

你可能感兴趣的:(数据分析,大数据,数据库,数据仓库,大数据,数据分析,数据可视化,数据库,数据库开发,finebi)

Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Google earth studio 简介陟彼高冈yu 旅游
GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
关于提高复杂业务逻辑代码可读性的思考编程经验分享开发经验 java 数据库开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
MongoDB Oplog 窗口喝醉酒的小白 MongoDB 运维
在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
数据仓库——维度表一致性墨染丶eye 背诵数据仓库
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts 信息可视化数据分析
ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
【PG】常见数据库、表属性设置江无羡数据库
PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
Java爬虫框架（一）--架构设计狼图腾-狼之传说 java 框架 java 任务 html解析器存储电子商务
一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 error react mongodb 数据库
背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
入门MySQL——查询语法练习 K_un
前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
GenVisR 基因组数据可视化实战(三) 11的雾
3.genCov画每个突变位点附件的coverage，跟igv有点相似。这个操作起来很复杂，但是图还是挺有用的。可以考虑。由于我的referencegenomebuild是hg38BiocManager::install(c("TxDb.Hsapiens.UCSC.hg38.knownGene","BSgenome.Hsapiens.UCSC.hg38"))library(TxDb.Hsapien
深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发系统架构系统架构负载均衡 nginx
一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php 课程设计 vue.js
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
ViewController添加button按钮解析。（翻译）张亚雄 c
<div class="it610-blog-content-contain" style="font-size: 14px"></div>// ViewController.m // Reservation software // // Created by 张亚雄 on 15/6/2.
mongoDB 简单的增删改查开窍的石头 mongodb
在上一篇文章中我们已经讲了mongodb怎么安装和数据库/表的创建。在这里我们讲mongoDB的数据库操作在mongo中对于不存在的表当你用db.表名他会自动统计下边用到的user是表明，db代表的是数据库添加(insert):
log4j配置 0624chenhong log4j
1) 新建java项目 2) 导入jar包，项目右击，properties—java build path—libraries—Add External jar，加入log4j.jar包。 3) 新建一个类com.hand.Log4jTest package com.hand; import org.apache.log4j.Logger; public class
多点触摸(图片缩放为例) 不懂事的小屁孩多点触摸
多点触摸的事件跟单点是大同小异的，上个图片缩放的代码，供大家参考一下 import android.app.Activity; import android.os.Bundle; import android.view.MotionEvent; import android.view.View; import android.view.View.OnTouchListener
有关浏览器窗口宽度高度几个值的解析换个号韩国红果果 JavaScript html
1 元素的 offsetWidth 包括border padding content 整体的宽度。 clientWidth 只包括内容区 padding 不包括border。 clientLeft = offsetWidth -clientWidth 即这个元素border的值 offsetLeft 若无已定位的包裹元素
数据库产品巡礼：IBM DB2概览蓝儿唯美 db2
IBM DB2是一个支持了NoSQL功能的关系数据库管理系统，其包含了对XML，图像存储和Java脚本对象表示（JSON）的支持。DB2可被各种类型的企业使用，它提供了一个数据平台，同时支持事务和分析操作，通过提供持续的数据流来保持事务工作流和分析操作的高效性。 DB2支持的操作系统 DB2可应用于以下三个主要的平台: 工作站，DB2可在Linus、Unix、Windo
java笔记5 a-john java
控制执行流程： 1，true和false 利用条件表达式的真或假来决定执行路径。例：（a==b）。它利用条件操作符“==”来判断a值是否等于b值，返回true或false。java不允许我们将一个数字作为布尔值使用，虽然这在C和C++里是允许的。如果想在布尔测试中使用一个非布尔值，那么首先必须用一个条件表达式将其转化成布尔值，例如if(a!=0)。 2，if-els
Web开发常用手册汇总 aijuans PHP
一门技术，如果没有好的参考手册指导,很难普及大众。这其实就是为什么很多技术，非常好，却得不到普遍运用的原因。正如我们学习一门技术，过程大概是这个样子： ①我们日常工作中，遇到了问题，困难。寻找解决方案，即寻找新的技术； ②为什么要学习这门技术？这门技术是不是很好的解决了我们遇到的难题，困惑。这个问题，非常重要，我们不是为了学习技术而学习技术，而是为了更好的处理我们遇到的问题，才需要学习新的
今天帮助人解决的一个sql问题 asialee sql
今天有个人问了一个问题，如下： type AD value A
意图对象传递数据百合不是茶 android 意图Intent Bundle对象数据的传递
学习意图将数据传递给目标活动; 初学者需要好好研究的 1,将下面的代码添加到main.xml中 <?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http:/
oracle查询锁表解锁语句 bijian1013 oracle object session kill
一.查询锁定的表如下语句，都可以查询锁定的表语句一： select a.sid, a.serial#, p.spid, c.object_name, b.session_id, b.oracle_username, b.os_user_name from v$process p, v$s
mac osx 10.10 下安装 mysql 5.6 二进制文件［tar.gz］征客丶 mysql osx
场景：在 mac osx 10.10 下安装 mysql 5.6 的二进制文件。环境：mac osx 10.10、mysql 5.6 的二进制文件步骤：[所有目录请从根“/”目录开始取，以免层级弄错导致找不到目录] 1、下载 mysql 5.6 的二进制文件，下载目录下面称之为 mysql5.6SourceDir；下载地址：http://dev.mysql.com/downl
分布式系统与框架 bit1129 分布式
RPC框架 Dubbo 什么是Dubbo Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。其核心部分包含: 远程通讯: 提供对多种基于长连接的NIO框架抽象封装，包括多种线程模型，序列化，以及“请求-响应”模式的信息交换方式。集群容错: 提供基于接
那些令人蛋痛的专业术语白糖_ spring Web SSO IOC
spring 【控制反转(IOC)/依赖注入(DI)】：由容器控制程序之间的关系，而非传统实现中，由程序代码直接操控。这也就是所谓“控制反转”的概念所在：控制权由应用代码中转到了外部容器，控制权的转移，是所谓反转。简单的说：对象的创建又容器(比如spring容器)来执行，程序里不直接new对象。 Web 【单点登录(SSO)】：SSO的定义是在多个应用系统中，用户
《给大忙人看的java8》摘抄 braveCS java8
函数式接口：只包含一个抽象方法的接口 lambda表达式：是一段可以传递的代码你最好将一个lambda表达式想象成一个函数，而不是一个对象，并记住它可以被转换为一个函数式接口。事实上，函数式接口的转换是你在Java中使用lambda表达式能做的唯一一件事。方法引用：又是要传递给其他代码的操作已经有实现的方法了，这时可以使
编程之美-计算字符串的相似度 bylijinnan java 算法编程之美
public class StringDistance { /** * 编程之美计算字符串的相似度 * 我们定义一套操作方法来把两个不相同的字符串变得相同，具体的操作方法为： * 1.修改一个字符（如把“a”替换为“b”）; * 2.增加一个字符（如把“abdd”变为“aebdd”）; * 3.删除一个字符（如把“travelling”变为“trav
上传、下载压缩图片 chengxuyuancsdn 下载
/** * * @param uploadImage --本地路径(tomacat路径) * @param serverDir --服务器路径 * @param imageType --文件或图片类型 * 此方法可以上传文件或图片.txt,.jpg,.gif等 */ public void upload(String uploadImage,Str
bellman-ford(贝尔曼-福特)算法 comsci 算法 F#
Bellman-Ford算法(根据发明者 Richard Bellman 和 Lester Ford 命名)是求解单源最短路径问题的一种算法。单源点的最短路径问题是指：给定一个加权有向图G和源点s，对于图G中的任意一点v，求从s到v的最短路径。有时候这种算法也被称为 Moore-Bellman-Ford 算法，因为 Edward F. Moore zu 也为这个算法的发展做出了贡献。与迪科
oracle ASM中ASM_POWER_LIMIT参数 daizj ASM oracle ASM_POWER_LIMIT 磁盘平衡
ASM_POWER_LIMIT 该初始化参数用于指定ASM例程平衡磁盘所用的最大权值，其数值范围为0~11，默认值为1。该初始化参数是动态参数，可以使用ALTER SESSION或ALTER SYSTEM命令进行修改。示例如下： SQL>ALTER SESSION SET Asm_power_limit=2;
高级排序:快速排序 dieslrae 快速排序
public void quickSort(int[] array){ this.quickSort(array, 0, array.length - 1); } public void quickSort(int[] array,int left,int right){ if(right - left <= 0
C语言学习六指针_何谓变量的地址一个指针变量到底占几个字节 dcj3sjt126com C语言
# include <stdio.h> int main(void) { /* 1、一个变量的地址只用第一个字节表示 2、虽然他只使用了第一个字节表示，但是他本身指针变量类型就可以确定出他指向的指针变量占几个字节了 3、他都只存了第一个字节地址，为什么只需要存一个字节的地址，却占了4个字节，虽然只有一个字节，但是这些字节比较多，所以编号就比较大，
phpize使用方法 dcj3sjt126com PHP
phpize是用来扩展php扩展模块的，通过phpize可以建立php的外挂模块,下面介绍一个它的使用方法,需要的朋友可以参考下安装（fastcgi模式）的时候，常常有这样一句命令：代码如下: /usr/local/webserver/php/bin/phpize 一、phpize是干嘛的？ phpize是什么？ phpize是用来扩展php扩展模块的，通过phpi
Java虚拟机学习 - 对象引用强度 shuizhaosi888 JAVA虚拟机
本文原文链接：http://blog.csdn.net/java2000_wl/article/details/8090276 转载请注明出处！无论是通过计数算法判断对象的引用数量，还是通过根搜索算法判断对象引用链是否可达，判定对象是否存活都与“引用”相关。引用主要分为：强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Wea
.NET Framework 3.5 Service Pack 1（完整软件包）下载地址 happyqing .net 下载 framework
Microsoft .NET Framework 3.5 Service Pack 1（完整软件包） http://www.microsoft.com/zh-cn/download/details.aspx?id=25150 Microsoft .NET Framework 3.5 Service Pack 1 是一个累积更新，包含很多基于 .NET Framewo
JAVA定时器的使用 jingjing0907 java timer 线程定时器
1、在应用开发中，经常需要一些周期性的操作，比如每5分钟执行某一操作等。对于这样的操作最方便、高效的实现方式就是使用java.util.Timer工具类。 privatejava.util.Timer timer; timer = newTimer(true); timer.schedule( newjava.util.TimerTask() { public void run()
Webbench 流浪鱼 webbench
首页下载地址 http://home.tiscali.cz/~cz210552/webbench.html Webbench是知名的网站压力测试工具，它是由Lionbridge公司（http://www.lionbridge.com）开发。 Webbench能测试处在相同硬件上，不同服务的性能以及不同硬件上同一个服务的运行状况。webbench的标准测试可以向我们展示服务器的两项内容：每秒钟相
第11章动画效果（中） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
windows下制作bat启动脚本. sanyecao2314 java cmd 脚本 bat
java -classpath C:\dwjj\commons-dbcp.jar;C:\dwjj\commons-pool.jar;C:\dwjj\log4j-1.2.16.jar;C:\dwjj\poi-3.9-20121203.jar;C:\dwjj\sqljdbc4.jar;C:\dwjj\voucherimp.jar com.citsamex.core.startup.MainStart
Java进行RSA加解密的例子 tomcat_oracle java
加密是保证数据安全的手段之一。加密是将纯文本数据转换为难以理解的密文；解密是将密文转换回纯文本。　　数据的加解密属于密码学的范畴。通常，加密和解密都需要使用一些秘密信息，这些秘密信息叫做密钥，将纯文本转为密文或者转回的时候都要用到这些密钥。　　对称加密指的是发送者和接收者共用同一个密钥的加解密方法。　　非对称加密(又称公钥加密)指的是需要一个私有密钥一个公开密钥，两个不同的密钥的
Android_ViewStub 阿尔萨斯 ViewStub
public final class ViewStub extends View java.lang.Object android.view.View android.view.ViewStub 类摘要： ViewStub 是一个隐藏的，不占用内存空间的视图对象，它可以在运行时延迟加载布局资源文件。当 ViewSt