E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
报表自动化: 数据仓库建模实践经验干货
阅读前请确保自己在一定程度上了解了
数仓
是什么,可以阅读我之前写过的文章。
coologic
·
2020-06-21 00:15
商业智能
如何成为一名合格的数据架构师?
精通数据仓库建模理论及数据开发技术,具备零售、政务、医药、制造等多个领域
数仓
和数据中台建设经验。
数据猿
·
2020-06-20 23:12
大牛书单 | 大数据存储方向好书分享
TEG书知道本期特邀腾讯云
数仓
数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎,腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐
腾讯技术工程
·
2020-06-20 23:39
飞行中换发动机——金融
数仓
架构转型的最佳实践
中国建设银行有着将近20年的数据仓库建设历史,其技术平台的转型和应用建设过程,既是引领国内各大银行数据仓库建设的标杆和榜样,同时也可以说是国内银行业
数仓
建设历程的一个缩影。
Kyligence
·
2020-06-20 22:40
Apache Doris在美团外卖
数仓
中的应用实践
本文将介绍Doris在美团外卖
数仓
的实践。序言本文侧重于以Doris引擎为“发动机”的
数仓
生产架构的改进与思考。
美团技术团队
·
2020-06-20 22:14
从零开始的大数据技术学习路线指南:带你轻松成为大数据开发工程师!
如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/
数仓
开发感兴趣,可以关注我的动态https://blog.csdn.net/BeiisBei,让我们一起挖掘
云 祁
·
2020-06-20 21:24
Personal
blogs
(๑•̀ㅂ•́)و✧
Kylin系列(一)—— 入门
总目录Kylin系列(一)——入门Kylin系列(二)——Cube构造算法总目录前言核心概念数据仓库传统
数仓
和大数据
数仓
的区别OLAP和OLTP维度和度量维度的基数事实表和维度表星型模型Kylin中维度表的设计
vernwangN
·
2020-06-20 21:21
Kylin
2020-06-18
内部表外部表2.开窗函数3.udf函数4.计算指标5.格式,压缩格式parquet好处4.hadoop1.secondaryNameNode作用5.mysql1.索引6.kafka1.命令查看2.topic7.
数仓
大数据修行
·
2020-06-18 15:53
面试题——
数仓
项目技术如何选型?
技术选型:要提供两套方案,红色的一套,黑色的一套,提供对比选择的依据:优先选择红色的那一套,因为比较通用,而且熟悉Flume解决日志的采集,Kafka解决消息的分发和消峰,Sqoop用于HDFS和关系型数据库进行数据的传递MySql主要用于查询,它用于存储与前端进程交互比较频繁的数据,因为查询要速度比较块,HDFS主要用于存储,用于存储计算和分析的数据量大的数据Hive是底层是基于MR,速度慢,T
G5Lorenzo
·
2020-06-16 18:39
数据仓库
维度数据实时关联的实践(w/ Flink、Vert.x & Guava Cache) - 简书
DataEnrichment在流式处理作业(特别是实时
数仓
ETL作业)中,我们的数据流可以视为无界事实表,其中往往缺乏一些维度信息。
·
2020-06-07 21:00
Flink 1.10 SQL、HiveCatalog 与事件时间整合示例
这两点将会为我们构建实时
数仓
提供很大的便利。添加依赖项示例采用Hive版本为1.1.0,Kaf
ApacheFlink
·
2020-06-04 01:34
flink
大数据
实时计算
流计算-storm
大数据处理
深度解读 Flink 1.11:流批一体 Hive
数仓
Flink1.11中流计算结合Hive批处理
数仓
,给离线
数仓
带来Flink流处理实时且Exactly-once的能力。
ApacheFlink
·
2020-06-04 01:33
flink
大数据
实时计算
大数据处理
流计算-storm
【Flink】(八)容错机制
如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/
数仓
开发感兴趣,可以关注我的动态https://blog.csdn.net/BeiisBei,让我们一起挖掘
云 祁
·
2020-05-31 13:35
#
----
Flink
数仓
--Azkaban3-mysql中元数据库
面试被问到Azkaban的job历史信息存在那张表中概述Azkaban3共15张表,分别用于存储任务调度,定时任务,触发器,项目Project,工作Flows,作业Jobs等。整体概述如下:总体概述各表详细说明1-active_executing_flowsactive_executing_flows.PNG字段:status=50(成功);status=70(失败failed)2-active_
李小李的路
·
2020-05-29 17:26
视频教程-大数据—电商
数仓
项目-大数据
大数据—电商
数仓
项目尚硅谷讲师,辽宁工程技术大学硕士,曾先后就职于交大思诺、文思海辉、宅急送等知名企业,任项目经理、架构师等职位。具有多年项目开发与管理经验。
weixin_32310825
·
2020-05-28 10:00
回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)
本次Meetup邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时
数仓
、1.10生产环境实践、Flink分布式同步工具以及Flink在AI流程中的应用。
ApacheFlink
·
2020-05-28 00:38
flink
实时计算
流计算-storm
大数据
大数据处理
实时
数仓
、1.10生产实践、AI 都来了,2020 首场 Flink 社区 Meetup,可!
好久不见,2020你们心心念念的Meetup重磅回归啦!从二月到现在小松鼠收到诸多关于Meetup的咨询和大家的一些心声,比如:“2020Meetup还有吗?什么时候办?”“有没有1.10的生产环境实践,我想下手又犹豫不决”“最近假期宅在家不能出门太无聊了,你们要不要搞点活动”“作为Flink发烧友,没T恤不专业!我什么时候能拿到?”▼满足大家的心愿,机会来了!▼5月16日,2020首场Meetu
ApacheFlink
·
2020-05-27 23:39
flink
大数据
大数据处理
实时计算
流计算-storm
Apache Parquet 技术干货分享
Parquet作为HDFS存储格式的事实标准,经常用在离线
数仓
、OLAP等场景。
大数据技术架构
·
2020-05-27 12:08
sqoop密码明文问题解决
sqoop密码明文问题解决今天优化
数仓
sqoop导入导出时的密码明文问题!
叁木-Neil
·
2020-05-26 21:08
大数据
作业帮基于 Apache Doris(Incubating) 的
数仓
实践
关于ApacheDoris(Incubating)ApacheDoris(Incubating)一款基于大规模并行处理技术的交互式SQL分析数据库,由百度于2018年贡献给Apache基金会,目前在Apache基金会孵化器中。Github:https://github.com/apache/incubator-doris,欢迎大家Star、提Issue、PullRequest。官方网站:http:
艾弗森哇
·
2020-05-20 17:50
Apache
Doris(Incuba
从数据整理到业务计算的最佳工具
在企业里数据通常是由IT人员负责,统一组织数据抽取、数据变换和加载
数仓
的流程,即ETL,之后再提供给业务人员或可视化系统,数据从RawStage到RefinedStage再到ProductionStage
raqsoft
·
2020-05-18 08:13
大数据
SPL
集算器
传统
数仓
不够怎么办?不妨看看这个银行的混合
数仓
实践,建议收藏
随着银行业务规模和交易数量的增长,为了实现全行统一的数据存储及分析,各商业银行普遍实施了以Teradata、GreenPlum等为代表的中高端数据仓库系统项目,通过汇总银行内部各交易系统的数据,并根据数据标准化要求,进行清洗、转换,最终统一存储用于行内数据统计与分析。但近几年,面对互联网金融的挑战,银行业务已经发生巨大变化,各种结构化、非结构化海量数据蜂拥而至,而基于海量数据下的精细化管理以及快速
帆软商业智能技术
·
2020-05-14 10:39
SQL的弱点(1):复杂SQL不易理解,以及软件工程如何来帮忙
对于日常处理数据的朋友们(BI顾问,数据开发,
数仓
建模,数据研发,ETL工程师,AI工程师等),SQL更是一项非常重要的基础技能。
观远数据BI
·
2020-05-13 14:41
SQL
架构
商业智能
Kafka Connect For MySQL 实现增量数据同步
前言最近公司需要搭建基于Flink框架的实时
数仓
,为了保证
数仓
的稳定性,决定引用消息中间件Kafka。Kafka的作用在于"削峰填谷",所谓的“削峰填谷”就是指缓冲上下游瞬时突发流量,使其更平滑。
aochong
·
2020-05-13 09:23
Canal + Kafka 实现 MySQL 的 binlog 近实时同步
因为笔者目前工作重心在于搭建一个小型的实时
数仓
。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另
aochong
·
2020-05-12 17:18
【python】自动生成excel并发送可视化邮件
从
数仓
取数加工处理后放在excel,进一步处理后分析数据,生成可视化图片,形成报告发送邮件等内容,以下的python脚本,自动化处理上面的整个流程。
MichalLiu
·
2020-04-27 14:32
sqlserver还原bak文件
因最近公司需要将离线数据导入
数仓
,要熟悉离线数据。
AmiWang
·
2020-04-26 16:52
数仓
初探
image.png’##
数仓
特征:面前主题:数据分析问题,一个主题对应一个分析领域,如:用户行为集成:面向企业级的数据,数据具有完整性,一致性,精准性变化:相对历史变化稳定:相对固定时间段数据稳定,无非幂等性操作相对业务数据库区别
你值得拥有更好的12138
·
2020-04-21 23:23
实战|使用Spark Structured Streaming写入Hudi
1.项目背景传统
数仓
的组织架构是针对离线数据的OLAP(联机事务分析)需求设计的,常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入
数仓
。
leesf
·
2020-04-18 22:00
实战|使用Spark Structured Streaming写入Hudi
1.项目背景传统
数仓
的组织架构是针对离线数据的OLAP(联机事务分析)需求设计的,常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入
数仓
。
leesf
·
2020-04-18 22:00
【Flink】(一)初识 Flink
如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/
数仓
开发感兴趣,可以关注我的动态https://blog.csdn.net/BeiisBei,让我们一起挖掘
云 祁
·
2020-04-16 23:25
#
----
Flink
flink
数据仓库常见建模方法与建模实例演示
大数据的
数仓
建模是通过建模的方法更好的组织、存储数据,以便在性能、成本、效率和数据质量之间找到最佳平衡点。
涤生手记
·
2020-04-14 15:09
Hive编程和数据仓库
数据仓库架构的演变
随着互联网时代来临,数据量暴增,开始使用大数据工具来替代经典
数仓
中的传统工具。此时仅仅是工具的取代,架构上并没有根本的区别,可以把这个架构叫做离线大数据架构。
惊不意外
·
2020-04-14 13:33
Apache Doris在美团外卖
数仓
中的应用实践
本文侧重于以Doris引擎为“发动机”的
数仓
生产架
美团技术团队
·
2020-04-12 23:31
开放源代码
美团
数据仓库
大数据笔记(学习归纳)
修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增
数仓
部分笔记大数据架构基础知识题大数据组件概念集群:多个人做同样的事分布式:多个人协作
宇宙中的Philip
·
2020-04-10 11:43
大数据
大数据
数据仓库
从BI到OLAP,数据仓库最终到底能干什么?
数据应用,是真正体现
数仓
价值的部分,包括且又不局限于数据可视化、BI、OLAP、即席查询,实时大屏,用户画像,推荐系统,数据分析,数据挖掘,人脸识别,风控反欺诈等等。
帆软商业智能技术
·
2020-04-10 11:17
老生长谈的数据仓库 3 种建模方法,附猫眼娱乐
数仓
架构演进!
猫眼技术团队https://juejin.im/post/5d5be159f265da03970bbc3a数据仓库存在的初期,甚至没有数据仓库的时候,猫眼的日常需求报表和数据接口提供方式如图一:数据散落在企业各数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通八达。在企业级数据应用上单一业务使用方便,且灵活多变;但涉及到跨
架构文摘
·
2020-04-10 09:12
内附PPT下载 | 性能为MySQL10倍!阿里云重磅推出云原生数据仓库AnalyticDB基础版
发布会PPT资料放送ADB基础版:云原生MySQL敏捷
数仓
ADBforMySQL基础版技术解密基于ADBforMySQL基础版构建实时数据仓库实践日前,阿里云正式发布云原生数据仓库AnalyticDB基础版
我是代码派
·
2020-04-09 15:34
数据库
数据仓库介绍与实时
数仓
案例
1.数据仓库简介数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合,用于支持管理决策。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。数据
阿里云云栖号
·
2020-04-08 19:25
干货来了!阿里发布近300页Flink实战电子书
《ApacheFlink电子书合辑》收录来自bilibili、美团点评、小米、OPPO、快手、Lyft、Netflix等一线大厂实时计算平台及实时
数仓
实践案例,更有来自阿里巴巴及ApacheFlink核心贡献者们一线实战经验总结
实时计算
·
2020-04-06 19:26
flink
大数据
OPPO基于Apache Flink的实时
数仓
实践
OPPO基于ApacheFlink构建实时
数仓
,在数据规模上单日总数据处理量超10万亿,峰值大概超过每秒3亿。
OPPO互联网技术
·
2020-04-06 18:15
flink
apache
数据仓库
大数据项目之电商
数仓
(用户行为
数仓
一)
大数据项目之电商
数仓
(用户行为
数仓
)一:
数仓
分层概念1、数据仓库分层:ODS:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不变DWD:明细数据层,结构和粒度与原始数据保持一致,对ODS
今天,我和你拼了
·
2020-04-06 15:14
电商数仓
数据仓库模型师面试问题
最近公司招聘
数仓
模型师,略难招。但是也不能因为环境差而降低要求。1、这是面试的第几家公司?
迷之老王
·
2020-04-01 21:14
数仓
工具Hive(一):起源
whatishive官方文档TheApacheHive™datawarehousesoftwarefacilitatesreading,writing,andmanaginglargedatasetsresidingindistributedstorageusingSQL.Structurecanbeprojectedontodataalreadyinstorage.Acommandlinetoo
HeyJude__
·
2020-04-01 15:56
Hive元数据升级工具源码剖析——HiveSchemaTool
1背景随着公司业务的井喷式发展,
数仓
元数据也日益庞大,尤其是存在很多设计不合理的大分区表,导致一些元数据表(如PARTITIONS,PARTITION_PARAMS等表)高达数亿记录,这不得不让我们考虑做
井地儿
·
2020-03-31 16:30
干货来了!阿里发布近300页Flink实战电子书
《ApacheFlink电子书合辑》收录来自bilibili、美团点评、小米、OPPO、快手、Lyft、Netflix等一线大厂实时计算平台及实时
数仓
实践案例,更有来自阿里巴巴及ApacheFlink核心贡献者们一线实战经验总结
独孤风
·
2020-03-31 10:00
Warframe辅助APP:“WF虚空境”-iOS、安卓篇(原WF国际服)
其初衷是制作一个比较方便的Warframe中文版工具,综合大多
数仓
鼠想要知道的信息、想要的
白翊sky
·
2020-03-28 23:50
华为联手永洪科技推出
数仓
+BI严选解决方案,助力政企云上数据价值分析
在助力企业云上数据分析,华为联合永洪科技推出
数仓
+BI严选解决方案,搭配永洪科技一站式大数据分析平台,打通企业整体数据流程,提升数据分析的能力和效率,提高上下游协同效率,让数据成为生产力,直触需求,让企业无忧上云
wx5def34b2afb79
·
2020-03-27 10:59
华为云
大数据项目之电商
数仓
(业务数据仓库)
第1章电商业务与数据结构简介1.1电商业务流程1.2电商表结构电商业务流程1.2.1电商常识(SKU、SPU)SKU=StockKeepingUnit(库存量单位)。即库存进出计量的基本单元,可以是以件,盒,托盘等为单位。SKU这是对于大型连锁超市DC(配送中心)物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。SPU(StandardProductUn
魔法 • 革
·
2020-03-26 21:52
hadoop
如果你也想做实时
数仓
…
本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时
数仓
与离线
数仓
的对比六个方面全面分享关于
数仓
的详细内容。
Flink中文社区
·
2020-03-26 05:26
上一页
75
76
77
78
79
80
81
82
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他