江湖人称涛哥
江湖人称涛哥

《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》，在CSDN学院有相关视频教程购买链接，大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程，课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER

本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块，力求原汁原味重现一个完备的企业级大型数据运营系统。

跟随项目课程，历经接近100+小时的时间，从需求分析开始，到数据埋点采集，到预处理程序代码编写，到数仓体系搭建…逐渐展开整个项目的宏大视图，构建起整个项目的摩天大厦。

一、项目整体背景

本项目所适用的行业或业务背景有： 主营业务在线上(app/网站)进行的公司！（外卖公司、各类app<比如：下厨房；头条；安居客；内涵段子；斗鱼；每日优鲜>、页游、唯品会、拼多多、当当、苏宁易购、国美在线、网易严选、携程、中华会计网校、多易教育、小象学院、慕课网、尚德教育、有钱花、上哪借 ……）

这类公司，都需要针对用户的线上访问行为、消费行为、业务操作行为进行统计分析，数据挖掘！以支撑公司的业务运营、精准画像营销、个性化推荐等，来提高业务转化率，改善公司运营效果！
这些需求，都需要通过构建一个综合数据处理系统来支撑！

1、数据仓库
  • 作为数据的管理和运算中心；
  • 数据存档；
  • 各种统计、运算任务的核心平台；
2、用户画像系统

含义：深入分析用户后给用户打上各种规范标签：年龄，性别，地域特征，偏好特征，价值指数，行为习惯，消费习惯…
作用：对用户进行精准营销，用于支撑精细化营运；

  • 比如，针对不同的人群发放不同的优惠券；
  • 比如，针对不同的人群定制不同的打折规则；
  • 比如，针对不同的人群推行不同的营销活动；
  • 比如，针对流失概率大的人群进行挽留；
3、推荐系统
  • 含义：对不同的人，在不同的场景中，推荐不同的物品的系统
  • 手段：可以根据用户画像及物品相似度，可以根据协同过滤算法等推荐算法
  • 作用：改善用户体验，增加销量

本数据处理系统可以使用离线计算方式实现，也可以使用实时计算方式实现；
更多的是离线和实时结合起来实现；
公司一般会根据不同的需求场景，灵活使用离线和实时技术：

  • 离线：系统化的，计算的数据时间跨度长的，运算量大的任务
  • 实时：对时效要求高的需求

二、项目整体架构

《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇_第1张图片

以下是系统中各层级各环节的要点概述

1、预处理

构建各类字典（维表），比如：

  • 地理位置字典
  • 页面信息字典
  • 商品信息字典
  • 用户信息字典
  • GUID字典（全局用户唯一标识）等

对用户行为事件埋点日志进行数据清洗、解析、通用维度集成、GUID标识等运算

2、数据仓库ODS层

ODS层主要是按源数据模型来映射各类源数据

各类埋点日志表：

  • PC端埋点日志表
  • H5端埋点日志表
  • 移动APP端埋点日志表

各类业务表

  • 订单相关表（订单主要信息表、订单商品详情表、订单物流信息表、订单支付信息表）
  • 购物车信息表
  • 活动信息表
  • 优惠券信息表
  • 商品信息表
  • 用户注册信息表
3、数据仓库DWD层

DWD层相对于ODS层的主要变化为，将ODS中的事实数据中某些字段进行进一步拆分，便于后续查询处理；将ODS中的事实数据集成常用的通用维度信息，比如事件维度类信息

比如，订单信息在业务系统的表模型中，是分散存储在很多张表中的，而做数据分析时，这种方式不方便，所以在dwd层，我们对这些表进行了关联得到宽表，例如：

  • 订单主要信息+订单商品详情+订单支付信息+订单物流信息==》订单详情明细表
  • 商品主要信息+商品详情描述+商品品类信息+商品品牌信息==》商品详情明细表
  • 用户注册信息+用户附加信息+用户等级信息 ==》 用户详情明细表
4、数据仓库DWS层

对DWD层的表进行轻聚合运算所得到的各类结果
举例：

  • pv统计中，DWS层会对DWD明细层进行如下聚合：
  • 按会话聚合：得到每一个会话的时长、pv页面访问总数
  • 按用户聚合：得到每个人的会话次数、访问总时长、访问总pv数
数据粒度的变化：DWD是一个pv事件一条记录，而DWS会话聚合表中是一个会话一条记录，而用户聚合表中，是一个用户一条记录

DWS层的表是根据最终分析需求创建出来的一些中间表，所以它的表的个数不像ODS/DWD那样明确，而且数量众多（流量会话聚合表、流量用户聚合表、用户访问历史记录表…

5、数据仓库ADS层

根据数据分析需求设计出来的各种最终结果表（数量众多，会跟随时间的推移不断增加）
举例：日新统计报表、日活统计报表、流量概况报表、用户留存分析报表、用户活跃分析表、用户访问间隔分析表、用户新鲜度报表、app升级统计报表、路径分析报表、转化率分析报表、GMV分析报表、热销商品分析报表、热销品类分析报表、热销品牌分析报表、用户订单画像报表、用户退换货统计分析报表
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇_第2张图片

三、应用系统之OLAP分析平台介绍

前端分析平台上有两个功能：
展示固化的报表数据（通过事先开发好的离线任务每天定时计算–hive）
交互式的联机数据分析OLAP（在分析平台上自定义报表需求，实时得到报表结果–presto）

1、固定报表可视化

《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇_第3张图片
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇_第4张图片

2、自由定制查询分析

《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇_第5张图片

四、技术选型

项目中所涉及到的技术：

1、采集
  • flume ： 分布式日志数据汇聚
  • sqoop ： 离线批量抽取数据库
  • cannal ： 实时数据库数据逐条监听、抽取
  • nginx插件：前端
2、存储
  • hdfs
  • mysql
  • redis
  • hbase/elastic search ：用户画像标签数据的存储查询服务
  • kafka ： 实时计算的缓冲
3、运算
  • hive / mapreduce
  • spark core/ sql**
  • flink / spark streaming
4、OLAP引擎
  • Presto
  • Kylin
5、数仓元数据管理(血缘管理)
  • Atlas
6、Job调度系统
  • Azkaban
7、算法
  • spark代码/sql代码实现的通用统计计算；
  • 图计算： SparkGraphx；
  • KNN k近邻
  • KMEANS k均值
  • Naive Bayes朴素贝叶斯
  • Logistic Regression 逻辑回归
  • 随机森林
  • 协同过滤算法
  • 各类相似度算法：欧几里得距离、余弦相似度、皮尔逊相关系数
  • NLP算法：
  • TF-IDF 关键词提取
  • 文本向量化算法
  • 文本相似度算法
  • 文本分类算法
  • 关联规则分析：FP-GROWTH算法/APRIORI算法

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》，在CSDN学院有相关视频教程购买链接，大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程，课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER

本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块，力求原汁原味重现一个完备的企业级大型数据运营系统。

跟随项目课程，历经接近100+小时的时间，从需求分析开始，到数据埋点采集，到预处理程序代码编写，到数仓体系搭建…逐渐展开整个项目的宏大视图，构建起整个项目的摩天大厦。

你可能感兴趣的:(大数据综合实战项目)

  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他