数仓（

电商数据仓库理论

电商数据仓库理论数据仓库分层为什么要分层数据集市与数据仓库概念数仓命名规范表命名脚本命名规范表字段类型数仓理论范式理论范式概念函数依赖三范式区分关系建模和维度建模关系建模维度建模维度表和事实表数据仓库建模数据仓库分层为什么要分层
Intelia·2020-07-01 10:29

日志系统---从 Spark Streaming 到 Apache Flink：bilibili 实时平台的架构与实践

而且还需要对实时数仓的实时数据进行清洗。此外，bilib
FeelTouch·2020-07-01 09:19

专治数仓疑难杂症！美团点评 Flink 实时数仓应用经验分享

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
木东居士·2020-07-01 07:13

专治数仓疑难杂症！美团点评 Flink 实时数仓应用经验分享

主要内容如下：实时数仓建设目的如何建立实时数仓仓库质量保证Tips：点击「阅读原文」链接可查看作者原版PPT及分享视频～实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
Ververica·2020-07-01 06:50

应用案例 | Blink 有何特别之处？菜鸟供应链场景最佳实践

本文授权转自阿里技术官方公众号（ali_tech）：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？
Ververica·2020-07-01 06:50

【华为云技术分享】上亿条数据，如何查询分析简单又高效？

数据孤岛：电商部门的数据存在数仓A、门店经营收入数据存在数仓B，如何便捷的进行多仓联合分析？PB级数据量：多电商平台+全国线下门店每天将产生TB级数据量，年数据量高达PB级！
华为云·2020-07-01 02:27

聊聊AWK命令的那些事

其实这个题不难，但是考察了几个常用的shell命令，awk、uniq、sort、head，我觉得对于做大数据开发、运维、数仓等来说都是应该必备的。
大数据技术实战·2020-07-01 00:21

数仓建模

目录1.什么是数据模型2.为什么需要数据仓库模型3.如何建设数据仓库模型3.1数据仓库数据模型架构3.2数据仓库建模阶段划分3.4数据仓库建模方法1.什么是数据模型数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体
大数据私房菜·2020-06-30 19:47

【实践案例分享】菜鸟实时数仓技术架构演进

分享嘉宾：贾元乔菜鸟高级数据技术专家编辑整理：夏飞飞内容来源：FlinkForwardASIA出品平台：DataFunTalk导读：在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣
木东居士·2020-06-30 14:37

数据百问系列：哪个时刻让你觉得数据分析真的非常有用

问题描述数分/数仓等各类数据岗位从业者常常称自己是sqlboy或sqlgirl、表哥表姐、调包调参侠、没有感情的提数机等等，让许多刚入行的新人感到价值感缺失和迷茫。
木东居士·2020-06-30 14:06

【实践案例分享】有赞数据仓库实践之路

作者：叶瑞典团队：数据中台一、大数据环境下的有赞数仓关于数据仓库，在维基百科中将它定义为用于报表和数据分析的系统，是商务智能BusinessIntelligence的核心部分。
木东居士·2020-06-30 14:05

Flink使用Hive Metastore管理元数据

Hive作为大数据离线数仓的事实标准，有完善的元数据中心HiveMetastore。
zhdan~·2020-06-30 13:43

微博数仓数据延时优化方案

前言本文以离线数据仓库为背景，重点介绍因传输链路数据延时的不确定性，可能导致部分延迟文件无法参与正常的调度计算或同步，导致数据缺失的问题成因、业务影响及相应的解决方案。关于这类问题的处理，有这么一种论调：我们认为正常情况下，脏或缺失数据的比例是很小的，可以大致认为数据是可用的的；或者我们可以推后一下计算的时间，让数据尽可能的传输完整；诸如此类…。如果认可这种论调，可以直接忽略本文的内容。我们是一个
·2020-06-30 12:00

新数仓系列：Hbase国内开发者生存现状（2）

概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。
大数据和云计算技术·2020-06-30 12:17

（从电商项目认识数仓体系二）数据格式

1埋点数据基本格式公共字段：基本所有手机都包含的字段业务字段：埋点上报字段，有具体的业务类型ps：一般使用json格式json格式示例：{"ap":"xxxxx",//产品字段appkey"cm":{//公共字段"mid":"",//(String)设备唯一标识"uid":"",//(String)用户标识"vc":"1",//(String)versionCode，程序版本号"vn":"1.0"
哒哒达·2020-06-30 12:30

数据仓库（二、美团设计实践）

OneData建设探索之路：SaaS收银运营数仓建设背景随着美团业务的发展，频繁迭代和跨部门的垂直业务单元变得越来越多。
yyoc97·2020-06-30 11:52

性能为MySQL 10倍！阿里云推出云原生数据仓库AnalyticDB基础版

体验10元3个月发布会PPT资料放送（点击可直接查看哦）ADB基础版：云原生MySQL敏捷数仓ADBforMySQL基础版技术解密基于ADBforMySQL基础版构建实时数据仓库实践日前，阿里云正式发布云原生数据仓库
阿里云云栖号·2020-06-30 10:56

金融特征计算平台

如何让数仓人员加工出来的特征可视化，分级管理？在成千上万的特征里，模型人员如何能找到高价值、预测性强的特征？找到了特征，如何方便的提取特征？以上就是我们当初
yueguanghaidao·2020-06-30 10:10

看完了这篇实时数仓建设，才发现以前的都白看了（内有美团案例）

看来大家还是对数据仓库和大数据平台比较感兴趣，今天就和大家再聊聊怎么做实时数仓吧。实时数仓可谓是决定性的东西，能决定什么？决定你的报表和BI到底能不能实时展现数据。
Leo.yuan·2020-06-30 10:02

MVC + EFCore 项目实战 - 数仓管理系统1

项目背景及需求说明这是一个数据管理"工具类"的系统，计划有三个核心功能：1、通过界面配置相关连接字符串，查询数据库的表数据。2、配置相关模板，生成数据库表。可以界面填报或通过Excel导入导出填报表数据。3、通过界面配置导出数据库表结构（数据字典）。通过以上功能，在数据分析、可视化项目中，更方便的进行数据管理。课程计划项目需要用到的基础知识之前已有文章做介绍，如下：（共20篇，其中1~10是基础知
我们的征途是星辰大海·2020-06-30 08:00

MVC + EFCore 项目实战 - 数仓管理系统1

项目背景及需求说明这是一个数据管理"工具类"的系统，计划有三个核心功能：1、通过界面配置相关连接字符串，查询数据库的表数据。2、配置相关模板，生成数据库表。可以界面填报或通过Excel导入导出填报表数据。3、通过界面配置导出数据库表结构（数据字典）。通过以上功能，在数据分析、可视化项目中，更方便的进行数据管理。课程计划项目需要用到的基础知识之前已有文章做介绍，如下：（共20篇，其中1~10是基础知
编程小纸条·2020-06-30 08:00

尚硅谷大数据项目之电商数仓（4即席查询数据仓库）

尚硅谷大数据项目之电商数仓（即席查询）(作者：尚硅谷大数据研发部)版本：V4.0第1章Presto1.1Presto简介1.1.1Presto概念1.1.2Presto架构1.1.3Presto优缺点1.1.4Presto
xiaowei0548·2020-06-30 01:21

数据仓库知识与实战——电信运营商数仓建模

作者：网舟科技——王超什么是数据仓库数据仓库是为企业提供聚合,存储,投递,以及提供决策支持能提,数据仓库包含广泛数据并按照主题进行存储并且是在数据仓库流程过程中的一个部分。Willianm(Bill)H.Inmon提出过一个概念:”一个面向主题的,集成的,时间序列变化的以及不易更改的数据的集合为管理者们的决策过程提供支持”。总体架构上,数据仓库设计人,过程和技术去实现提供一致性,集成化，标准化以及
wzlhkj·2020-06-29 22:02

电商数仓:用户行为数据仓库(二)数据生成模块数据样板

文章目录埋点数据基本格式事件日志数据1.商品列表页(loading)2.商品点击(display)3.商品详情页(newsdetail)4.广告(ad)**5.消息通知(notification)**6.用户前台活跃(active_foreground)7.用户后台活跃(active_background)8.评论（comment）9.收藏（favorites）10.点赞（praise）11.错误
_张不帅·2020-06-29 22:09

带读《Snowflake》数仓论文

点击蓝色“有关SQL”关注我哟加个“星标”，天天与6000人一起快乐成长《SnowflakeElasticDataWarehouse》被称为近些年最重要的分布式数据库论文，我也是最近才拿到。过去很多年了，现在拿出来读一读，还是对我们理解未来的数据仓库走向，有十分重要的意义。我在免费的知识星球《玩SQL的朋友们》开了这个帖子的长文分享，有兴趣的朋友可以来一看，或跟帖，或补充，都欢迎。下面是几段摘录：
dbLenis·2020-06-29 21:30

美团实时数仓建设

实时数仓和传统数仓的对比实时数仓和传统数仓的对比主要可以从四个方面考虑：●第一个是分层方式，离线数仓为了考虑到效率问题，一般会采取空间换时间的方式，层级划分会比较多；则实时数仓考虑到实时性问题，一般分层会比较少
肥猫64·2020-06-29 17:11

微博数仓数据延时优化方案

前言本文以离线数据仓库为背景，重点介绍因传输链路数据延时的不确定性，可能导致部分延迟文件无法参与正常的调度计算或同步，导致数据缺失的问题成因、业务影响及相应的解决方案。关于这类问题的处理，有这么一种论调：我们认为正常情况下，脏或缺失数据的比例是很小的，可以大致认为数据是可用的的；或者我们可以推后一下计算的时间，让数据尽可能的传输完整；诸如此类...。如果认可这种论调，可以直接忽略本文的内容。我们是
demigelemiao·2020-06-29 17:00

直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
weixin_45906054·2020-06-29 16:39

两万字关于数据中台的深度思考与总结

数据中台离线平台实时平台离线数仓与实时数仓数据中台解决方案本文将总结下数据中台的相关理论知识。Flink平台化需要改进的点等等。
肉眼品世界·2020-06-29 16:21

Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

如今的大数据批计算，随着Hive数仓的成熟，普遍的模式是Hivemetastore+计算引擎。
Ververica·2020-06-29 14:47

03 电商数仓(用户行为数据仓库 ODS/DWD层)

电商数仓(用户行为数据仓库ODS/DWD层)写在前面：本文是我学习电商数仓项目的过程中，对相关知识的记录与总结。文章目录电商数仓(用户行为数据仓库ODS/DWD层)1.数仓分层概念1.1为什么要分层？
朱古力...·2020-06-29 14:15

01 电商数仓(架构设计、用户行为数据生成脚本)

电商数仓(架构设计、用户行为数据生成脚本)写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录，总结。
朱古力...·2020-06-29 14:15

SQL经典面试题 - 连续3天登录用户，终于会了！

其实，不管是数仓/ETL/BI/数据分析/大数据等方向，都会经常被面试/笔试考察到。1.还原场景-建表select * from tmp.tmp_last_3_day;2.解决问题关键-分析3.
weixin_44747961·2020-06-29 14:10

电商数仓——数仓理论

文章目录一、数仓分层二、数仓理论2.1维度表2.2事实表三、数仓建模3.1ODS层（负责备份数据工作）3.2DWD层（负责准备数据工作）3.3DWS层（各个主题一天发生的行为数据）3.4DWT层（从用户或商品产生到当前时刻累积的数据
洛洛洛洛洛洛洛·2020-06-29 14:28

电商数仓项目报错及解决方法

1.hive使用tez引擎，按照教程设置后仍出现，FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.tez.TezTask解决办法:修改tez的配置文件，tez-default-template.xml中tez.client.asynchronous-stop为false；重启集群tez.client.async
洛洛洛洛洛洛洛·2020-06-29 14:56

电商数仓项目-用户行为采集注意事项

文章目录flume一、组成结构二、三个器三、优化及挂了的处理方法kafka（20件事）一、基础二、挂了三、丢失四、重复五、积压六、优化1.生成不同日期数据时，一定要先停止集群，再去修改时间，否则flume消费不到kafka的数据flume一、组成结构1、sourcetaildir：多目录、断点续传   挂了之后重启   如果数据重复，再次修改源码，修改成事务；下级去重（hive，spark去重） 
洛洛洛洛洛洛洛·2020-06-29 14:56

DataWorks概述

目录一、DataWorks概况1.1定义1.2功能1.3与MaxCompute的关系二、基于DataWorks与MaxCompute构建云数仓三、是否适用于本公司一、DataWorks概况1.1定义DataWorks
苡~·2020-06-29 13:39

2019云栖大会会议概要

2019云栖大会会议概要[数|智]1.云栖大会核心2.市场与技术发展趋势2.1市场趋势2.2技术趋势3.从阿里技术生态圈看行业方向3.1数字政府架构体系“1+2+2+N”3.2云原生3.3实时数仓3.4
search-lemon·2020-06-29 11:36

上亿条数据，如何查询分析简单又高效？

数据孤岛：电商部门的数据存在数仓A、门店经营收入数据存在数仓B，如何便捷的进行多仓联合分析？PB级数据量：多电商平台+全国线下门店每天将产生TB级数据量，年数据量高达PB级！
华为云开发者社区·2020-06-29 10:33

大数据离线数据数据仓库项目(一)

千亿级数仓项目总体介绍阶段一了解行业背景、了解项目背景，项目架构介绍、技术选型，项目环境（数据/硬件）介绍，项目ER图、项目需求介绍。
真情流露哦呦·2020-06-29 09:35

大数据数仓项目Kylin[介绍]

Kylin大数据OLAP引擎Kylin简介Kylin的诞生背景：Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目Hive的性能比较慢，支持SQL灵活查询，特别慢HBase的性能快，原生不支持SQL-phoenix:可以写sql语句来查询hbase!!Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高Kylin的应用
真情流露哦呦·2020-06-29 09:35

2020数仓面试题

问答题：1.了解到的从数据库抽取数据到数仓的软件都有那些，目前大数据平台大多不支持updata操作，针对每日增量数据与历史数据合并，常用的都有那些方法。
马斯特杨·2020-06-29 07:14

（7）数仓搭建之DWD层事件表7

[hadoop@hadoop102/opt/soft1]$ll/opt/module/hive/|grephivefunction-1.0-SNAPSHOT.jar-rw-r–r--.1hadoophadoop5528Feb1002:19hivefunction-1.0-SNAPSHOT.jarhive(gmall)>addjar/opt/module/hive/hivefunction-1.0-
佑熙·2020-06-29 06:46

浅谈一个新人的大数据之路

CCCCCold丶大数据之禅第一章，大数据之路浅谈数仓&数据集市&数据湖数据模型模型ETL频率：模型存储技术：模型数据分层：模型架构分层：模型主题域：模型创建类型：模型存储类型：模型压缩算法：队列：节点
Cold丶kl·2020-06-29 06:31

数据质量监控

000数据质量数据质量的保证，是数仓的重中之重。
吗达拉·2020-06-29 05:27

Canal+Camus快速采集MySQL Binlog到数据仓库

这种方法门槛低，容易操作，在数仓建设阶段能够快速启动。
weixin_40954107·2020-06-29 00:45

从数据标准到数据库设计：解决基础数据标准落地的最后一公里难题（下）

承接上篇文章：从数据标准到数据库设计：解决基础数据标准落地的最后一公里难题（上）4.落标整体方案无论是原系统数据还是数仓数据，都是不同的开发团队负责，遵循软件开发标准的流程包括设计，开发，测试，上线，维护等环节
datablau国产数据库建模工具·2020-06-28 23:53

什么是数据仓库？数据仓库的特点与架构演进

在没有数仓之前我们做数据分析到报表展示，依赖的都是从业务数据库中取数据来做分析。
程序猿丶HLK·2020-06-28 23:52

用户行为数据采集 第6节 数仓采集Kafka Manager安装脚本测试

上篇：用户行为数据采集第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写1、Kafka安装架构图Kafka集群安装详见：参照自己上次写的博客：Kafka集群部署集群规划：服务器hadoop1.x服务器hadoop2.x服务器hadoop2.xKafkaKafkaKafkaKafkaKafka集群启动停止脚本在/home/MrZhou/bin目录下创建脚本kf.sh[root@hadoop1b
江湖侠客·2020-06-28 22:08

用户行为数据仓库 第 3 节 数仓搭建之DWD层

上篇：用户行为数据仓库第2节数仓搭建环境及ODS层加载数据脚本对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）。
江湖侠客·2020-06-28 22:08
上一页 72 73 74 75 76 77 78 79 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他