数仓（

数据仓库——阿里五层模型架构

目录1.ODS数据准备层2.DWD数据明细层3.DW(B/S)数据汇总层4.DM数据集市层5.ST数据应用层解码OneData，阿里的数仓之路1.ODS数据准备层功能：ODS层是数据仓库准备区，为DWD
csdn-延·2020-06-24 11:31

【数仓】数据仓库的指标库（五）

本文要来说说，数仓中的数据指标库数仓系列：【数仓】数据仓库的思考（一）：https://blog.csdn.net/lsr40/article/details/105576047【数仓】数据仓库的建设（
lsr40·2020-06-24 09:51

Flink rocksdb如何做checkpoint

最近在做实时数仓的过程中遇到了一些问题，于是有了这篇博客。
shengjk1·2020-06-23 23:29

数仓|Hive性能调优指北

在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。
jmx_bigdata·2020-06-23 23:39

数仓开发需要了解的BI数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。
jmx_bigdata·2020-06-23 23:39

如何建设数据中台？

OneData要求数仓所有数据只加工一次，对应到数仓的设计层面，要求有统一的维度，对于明细层数据，相同粒度的度量只加工一次，对于汇总层的数据，相同粒度的指标只存在一份。
jessicaiu·2020-06-23 21:11

艾编程视频教程：海量数据场景下的kafka实时数仓解决方案

【学完本节课你将掌握哪些点】1.实时数仓的架构设计(实时落地数据到HDFS的解决方案);2.Kafka在众多MQ的定位；3.生产级别Kafka集群搭建；4.在Kafka中严格控制消息顺序；5.在Kafka
icodingedu·2020-06-23 17:19

从数仓到数据中台，谈技术选型最优解

大家好，今天分享的议题主要包括几大内容：带大家回顾一下大数据在国内的发展，从传统数仓到当前数据中台的演进过程；我个人认为数据中台的核心组成，以及一些技术选型参考；数据研发是数据中台很重要的一环，会分享一些我们在数据研发方面的实践
不夜De星空·2020-06-23 17:49

数据仓库全流程

数仓建设的思路流程：1梳理业务流程2梳理数据流3数据类型、存储介质、样例数据4需求-功能性需求、非功能性需求(性能、时效性)-------------------------------------数据来源
不急吃口药·2020-06-23 15:21

美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
fuyipingwml1976124·2020-06-23 09:07

数仓建模方法论——ER建模方法

#范式：一个实体的某个属性保存多个值，将这样的多值属性分离为一个实体。#ER建模遇到的问题：（1）如果存在一个实体与其它实体之间存在两个或更多的一对多联系，很可能存在扇形陷阱问题。扇形陷阱问题可以通过改变实体间的联系次序，从而重新构建模型解决。（2）如果在实体联系的通路上存在一个或者多个参与性约束最小值为零的情况，很可能存在深坑陷阱问题，深坑陷阱问题可以通过重新添加被遗漏的联系解决。###1）扇形
flam_e·2020-06-23 08:53

数仓开发需要了解的BI数据分析方法

点击上方“蓝字”，关注我们.数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。
麒思妙想·2020-06-23 02:25

杠上Spark、Flink？Kafka为何转型流数据平台

它通常作为一个数据管道，链接了各种业务前台和数据后台（比如数仓等）。
世上我最好·2020-06-23 00:33

报表自动化: 没有压力的维度建模

前面《报表自动化:打开数据仓库的大门》提到了数仓分为了多个层次，其中DW层有多种建模方式，本文主要讲维度建模的方法，当然相关理论文章很多很多了，这篇文章主要是为了串一下流程，并不会详细的展开每一步的细节
coologic·2020-06-23 00:40

报表自动化: 薅出数字背后的价值

前面的文章我们讲了一种简易的数仓分层设计，然后聊了聊在数仓DW层可以使用的维度建模方法，现在我们有了一堆建模完成的数据，但实际上这些数据只是进行了从OBS层的“收集”走到了DW的“整理”，也就是我们大部分的数据还是业务系统已有的内容
coologic·2020-06-23 00:40

可视化搭建数据大屏系统的前端实现

DataV功能强大，带需要付费使用，且好用的组件还要额外收费，不支持本地化部署，还需要维护两套数仓。综上，如果此类大屏的需求较多，业务的重要性明显，就需要考虑是不是需要自己开发一套搭建大
【电17154833762】·2020-06-22 18:13

奈学教育《大数据开发工程师》课程大纲

数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目
zsfz_053·2020-06-22 17:43

用 Flink 取代 Spark Streaming，知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
360linker·2020-06-22 17:47

认识 Delta Lake

但是到19年整个局势开发生变化，向下走是存储层DeltaLake耀眼夺目，解决了原先数仓的诸多痛点，让数仓进化到数据湖。向上走是交互应用层
祝威廉·2020-06-22 13:41

Hive性能调优指南

点击蓝字关注我们在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。
无精疯·2020-06-22 11:14

从传统数仓到互联网大数据开发，不走弯路很重要

1.自我介绍二本学校毕业5年，在某已倒闭手机厂商做安卓开发3年，到银行外包写SQL1年，现在在某大厂做大数据开发工作即将一年，月处理数据量PB级别。2.为什么要转型转型有两个原因，一个是技术相关的，刚毕业心态没调整好，没有把心思放在技术上，然后做的工作技术要求也不高，就这么混了几年；一个是工资相关的，工资真尼玛低，都快混不下去了。3.转型的心态和行动16年公司内部培训的时候了解到大数据，那时候还没
无精疯·2020-06-22 11:14

大数据项目之电商数仓离线计算

本次项目是基于企业大数据的电商经典案例项目（大数据日志以及网站数据分析），业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。1.系统数据流程设计我这里主要分享下系统数据大致流通的过程。电商数据来源为两部分：第一部分是java以及前端等程序员在网站做的埋点，用户点击产生的日志数据，通过springboot以及nginx等将数据分发到日志服务器。这里我们直接写了一
慕容馨磊·2020-06-22 11:01

数据建模理论小结：Inmon和Kimball

看了这么多数仓模型的对比文章，我想把我总结的一些东西记录下来。说到数仓建模，那么肯定离不开两种方式：范式建模（Inmon）和维度建模（kimball）。
泽米·2020-06-22 11:47

canal介绍及HA集群模式搭建

对于离线任务可以通过sqoop将mysql业务库的数据导入hive数仓中计算，但是想要处理实时任务就要借助canal解析binlog日志来实现了。
XDSXHDYY·2020-06-22 08:37

【数据仓库】Inmon与Kimball数仓理论对比

Inmon和Kimball是数据仓库领域伟大的开拓者，他们均多年从事数据仓库的研究，Inmon还被称为“数据仓库之父”。Inmon的《数据仓库》和Kimball的《数据仓库工具箱》都是此领域的经典之作。后来人把这两人的数据仓库思想总结为“Inmon理论”和“Kimball理论”。他们的思想有共同点，也有不同点。下面按照我的想法总结一下，理解如有偏颇，还请多多指正。1.共同点（1）均极力推崇数据仓库
NextAction·2020-06-22 02:43

SQL的弱点（1）：复杂SQL不易理解，以及软件工程如何来帮忙

对于日常处理数据的朋友们（BI顾问，数据开发，数仓建模，数据研发，ETL工程师，AI工程师等），SQL更是一项非常重要的基础技能。
观远数据·2020-06-21 20:26

数据仓库架构以及多维数据模型的设计

作者|云祁°封图|CSDN下载于视觉中国一、前言作者最近看了《Hadoop构建数据仓库实践》这本书，收获很多，把一些关于数仓实践的心得整理出来，方便大家共同学习。
CSDN云计算·2020-06-21 20:17

千亿级数仓项目（一）

千亿级数仓项目（一）总体介绍阶段一千亿级数仓项目简介大数据离线数仓项目架构（需要修改）项目技术简介项目环境介绍项目ER图前言学了这么久大数据技术，也是时候搞个项目练练手了，现在就来看看我们接下来要肝的项目
Daivei_lai·2020-06-21 19:28

从数仓到数据中台，且看马蜂窝数仓研发总监谈技术选型最优解

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:06

JVM 从入门到精通（四）运行时数据区概述及JVM中的线程说明

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:05

JVM 从入门到精通（五）JVM运行时数据区——程序计数器（PC寄存器）

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:05

JVM 从入门到精通（三）类加载子系统

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:05

详解阿里云数据中台，一篇文章全面了解大数据“网红”

文章目录前言数据中台的定义数据中台顶层设计数据中台与传统数据仓库差异传统的数仓采用集数据中台与数据湖区别数据中台所面临的挑战前言数据中台的概念是最早由阿里巴巴首次提出，是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的
云 祁·2020-06-21 17:33

Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ，流式处理框架一网打尽！

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:33

师兄大厂面试遇到这条 SQL 数据分析题，差点含泪而归！

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:02

一个月面试近20家大中小厂，在互联网寒冬突破重围，成功上岸！

如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发感兴趣，可以关注我的动态https://blog.csdn.net/BeiisBei，让我们一起挖掘
云 祁·2020-06-21 17:02

互联网数仓之：Lambda架构 vs Kappa架构

一、Lambda架构Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop,Kafka,Spark，Storm等各类大数据组件。Lambda架构可分解为三层Layer，即BatchLayer,Real-Time(Speed)
BabyFish13·2020-06-21 17:29

数据中台研发实践

scm=1002.44003c.17c024f.PC_ARTICLE_REC作者：颜博，马蜂窝数仓研发总监1、数据处理架构下面是一个简单的数据处理架构演进过程：最早数据仓库的计算只支持批处理，通常是按天定时处理数据
BabyFish13·2020-06-21 17:29

同仁数仓分层模型架构分享(1)

数据仓库的作用整合公司的所有业务，建立统一的数据中心。分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果。作为各个业务的数据源，形成业务数据互相反馈的良性循环。提供数据报表，用于公司的决策支持等等。数据仓库的架构数据采集层：数据采集层的任务就是把数据从各种数据源中采集和存储到数据库上，期间有可能会做一些ETL（抽取extra，转化transfer，装载load）操作。数据源种类可以有多种：
BabyFish13·2020-06-21 17:29

从数仓到数据中台，谈技术选型最优解

感谢分享：https://www.toutiao.com/i6820209292554011149/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1×tamp=1588074123&app=news_article&utm_source=weixin&utm_medium=toutiao_android&req_id=20
forever_ai·2020-06-21 16:27

大数据数仓项目Kylin[安装]

Kylin安装资源下载:https://pan.baidu.com/s/1ot-vIOO64yiuGFG2GPSZEg提取码:8yau依赖环境：软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz2.2.0-bin-cdh5.14.0apache-kylin-2.6.3-bin-hbase1x.tar.gz
真情流露哦呦·2020-06-21 13:39

用户行为数据仓库 第 4 节 DWD层数据解析脚本

上篇：用户行为数据仓库第3节数仓搭建之DWD层1、脚本编写（1）在hadoop1的/home/MrZhou/bin目录下创建脚本[root@hadoop1bin]#vimdwd_base_log.sh/
江湖侠客·2020-06-21 12:58

使用sqlldr向oracle数据库导入数据的问题与总结

完整需求是数仓会在每日的固定时间生成多张表的数据，上游负责将数据推送到指定的应用服务器路径下，本次应用服务器地址为xxx.xxx.xxx.123，而数据库在xxx.xxx.xxx.125。
luffysk·2020-06-21 03:17

数仓系列 | 深入解读 Flink 资源管理机制

基本概念当前机制与策略未来发展方向Tips：点击「下方链接」可查看更多数仓系列视频～https://ververica.cn/develope...1.
ApacheFlink·2020-06-21 03:10

数仓大法好！跨境电商 Shopee 的实时数仓之路

作者：黄良辉本文讲述Flink在Shopee新加坡数据组（ShopeeSingaporeDataTeam）的应用实践，主要内容包括：实时数仓建设背景Flink在实时数据数仓建设中结合Druid、Hive
ApacheFlink·2020-06-21 03:05

数仓sql面试题-连续登录天数和连续未登录天数

我也写一个，其实主要解决思路就是要让连续的两条记录之间产生联系。CREATETABLElogin_log(user_idinteger,login_datedate);insertintologin_logvalues(1,'2020-01-01');insertintologin_logvalues(1,'2020-01-02');insertintologin_logvalues(1,'202
般特·2020-06-21 03:49

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-06-21 02:25

大数据教程丨基于AWS云平台实现云上数仓开发

别着急，今天就给大家分享一套教程，基于AWS云平台实现云上数仓开发！大数据进阶教程丨基于AWS云平台实现云上数仓开发http://yun.itheima.com/course/748.html?
传智播客官方博客·2020-06-21 02:54

大数据教程，大数据实战教程，基于AWS云平台大规模集群千亿数据调优方案

今天分享的视频是以一个实际的数仓指标为需求，在大规模集群环境下，进行千亿级别数据量的任务测试。全程实操，以真实企业中的开发流程进行任务测试。
传智播客官方博客·2020-06-21 02:54

阿里云自研数据仓库 AnalyticDB 再捧 TPC 全球冠军

目前业界普遍认为容器、物联网、数据库和数仓会是云计算未来四大增长技术。尤其是物联网将带来的30倍于目前互联网的流量，将会促
CSDN资讯·2020-06-21 00:42
上一页 74 75 76 77 78 79 80 81 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他