数仓（

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计
UCloud技术市场团队·2019-10-12 14:00

网站流量分析项目day03

1.模块开发之数据仓库设计a.维度建模的基本概念(如何来构建数仓中的表）维度建模是专门应用于分析型数据库，数据仓库，数据集市建模的方法。（不能用于关系型数据库）。
启迪只会写bug·2019-10-05 17:00

漫谈数仓第二篇NO.2 数据模型（维度建模）

原文链接：https://cloud.tencent.com/developer/article/1514014本文导航前言：model对于数仓是最核心的东西，数据模型是数据组织和存储方法，模型的好坏，
秉寒CHO·2019-09-29 15:21

Antl4 访问者模式返回对象

最近在实时数仓，基本的流程图如下：我们采用Antl4来进行Mysql的解析，从效率上来说，解析速度确实有点慢，但简单易于上手，MySqlLexer.g4和MySqlParser.g4都是开源的，所以就可以直接拿来用了
shengjk1·2019-09-27 16:21

我是学Java的，想尝试大数据和数据挖掘，该怎么规划学习？

2.数仓工程师：这个需要SQL基础好一些，其他环境配置基本上公司已经完成，主要是针对Hi
qq1494648730·2019-09-25 14:37

Flink学习4-流式SQL

Flink学习4-流式SQL摘要最近需要做流式数仓，所以调研就要Flink流式SQL。初期选定袋鼠云做的flinkStreamSQL。本文会记录一下重要的文章。
迷路剑客·2019-09-20 11:45

你需要的不是实时数仓 | 你需要的是一款合适且强大的OLAP数据库(上)

前言今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。但是对于实时数仓的狂热追求大可不必。
王知无·2019-09-15 10:00

你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)

在上一章节中，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。
王知无·2019-09-15 10:00

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
ApacheFlink·2019-09-12 00:00

系列 | 漫谈数仓第三篇NO.3 『数据魔法』ETL

点击上方蓝色字体，置顶/星标哦目前10000+人已关注加入我们本文目录CONTENTS☞ETL同步之道[Sqoop、DataX、Kettle、Canal、StreamSets]☞ETL之技术栈[重工具vs开发语言]☞ETL加载策略[Merge、Delta、拉链]ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transfor
仙子紫霞·2019-09-11 13:49

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
阿里云云栖社区·2019-09-10 09:57

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
阿里云云栖社区·2019-09-10 00:00

数仓-集群环境搭建

集群环境搭建1-数据仓库DW数据来源：爬虫日志采集系统业务数据财务系统数据去向：报表系统、用户画像、推荐系统、机器学习、风控系统项目需求分析①数据采集平台搭建②实现用户行为数据仓库的分层搭建③实现业务数据仓库的分层搭建④针对数据仓库中的数据进行，留存、转化率、GMV（每天交易额）、复购率、活跃等报表行为；项目框架技术选型采集：方式一：log日志—>flume—>kafka(API)—>hdfs；方
「已注销」·2019-09-07 20:14

学习总结——hive数仓

学习总结——hive数仓数据仓库概念：数据仓库是集成化的数据分析平台数据库：支持业务，支持事务（数据库读的压力大）数据仓库：支持分析，为企业决策提供支持注意：数据库和数据仓库不同，数据仓库主要是用来开展分析的特点不生产数据
古城的风cll·2019-09-07 10:52

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
ApacheFlink·2019-09-05 00:00

零售数据观（一）：如何花30分钟成为一个标签设计“达人”

作者简介：铁叫兽，10年+数据相关经验，曾在电信、阿里从事过DBA，数仓，解决方案，目前从事零售行业的解决方案。
数澜·2019-09-04 11:17

零售数据观（一）：如何花30分钟成为一个标签设计“达人”

作者简介：铁叫兽，10年+数据相关经验，曾在电信、阿里从事过DBA，数仓，解决方案，目前从事零售行业的解决方案。
数澜科技·2019-09-04 00:00

数仓理解

文章目录1.什么是数仓2.数仓和数据库的区别1.什么是数仓数据仓库（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
虎虎会跳舞·2019-09-02 17:52

数仓概念理解精华汇整(1)

数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所谓的大数据更多的是一种数据量级的增大和工具的上的更新。两者并无冲突，相反，而是一种更好的结合。ODS全称是OperationalDataStore，操作数据存储；这一层面的数据却不等同于原始数据。在源数据装入这一层时，要进行诸如去噪（例如去掉明显偏离正常水平的银行刷卡信息）、去重（例如银
BabyFish13·2019-08-30 18:54

系列 | 漫谈数仓第一篇NO.1 『基础架构』

本文不再多再介绍，之前文章已有深入介绍，如有兴趣可看这篇文章：02.逻辑分层数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四
仙子紫霞·2019-08-28 08:00

数仓表概念

事实表：事务事实表（Transactionfacttable）周期快照表（Periodicsnapshotfacttable）累积快照表（Accumulatingsnapshotfacttable）维度表（Dimensiontable）
王小雷-多面手·2019-08-27 08:37

数仓项目分层简介和Hive环境搭建（替换计算引擎为Tez）

文章目录一分层架构二hive安装(1.2.1)2.1集群规划2.2hive安装配置2.2.1上传hive安装包修改配置文件2.2.2修改元数据存储为mysql（安装mysql切换至root用户）2.2.2.1检查是否安装的有mysql，有则卸载掉自带的2.2.2.2安装mysql服务端2.2.2.3安装mysql客户端2.2.2.4修改mysql密码和授权用户访问2.2.2.5新增hive-sit
Master_slaves·2019-08-23 18:25

大数据入门没有头绪？这份总结的大数据学习路线希望你用得着

1.1，门槛它比Java高一点，因为除了对数据库的操作之外，要学习大数据生态的东西，需要会分布式、数仓、中间件等知识。
安靜@忧伤·2019-08-22 17:33

快速入门流处理框架Flink --实时报表场景的应用

随着业务的发展，数据量剧增，我们一些简单报表大盘类的任务，就不能简单的依赖于RDBMS了，而是依赖于数仓之类的大数据平台。
等你归去来·2019-08-18 10:00

如何设计实时数据平台（技术篇）

在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手，介绍RTDP
宜信技术·2019-08-16 17:00

AnalyticDB for MySQL：PB级云数仓核心技术和场景解析

原文链接：https://my.oschina.net/u/1464083/blog/30933982019阿里云峰会·上海开发者大会于7月24日盛大开幕，本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货，共同探讨前沿科技趋势。本文整理自数据库专场中阿里云智能高级技术专家南仙的精彩演讲，本文为分享了阿里云PB级云数据仓库AnalyticDBfor
chikuai9995·2019-08-16 11:00

AnalyticDB for MySQL：PB级云数仓核心技术和场景解析

2019阿里云峰会·上海开发者大会于7月24日盛大开幕，本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货，共同探讨前沿科技趋势。本文整理自数据库专场中阿里云智能高级技术专家南仙的精彩演讲，本文为分享了阿里云PB级云数据仓库AnalyticDBforMySQL的核心技术以及其应用场景。数据库专场PPT下载本文内容整理自演讲视频以及PPT。From“
阿里云云栖社区·2019-08-16 00:00

跟 Amazon 学入门级数据仓库架构

从舆论上吞噬整个数仓市场的还有一些小众产品，比如图数据技术，流式计算
dbLenis·2019-08-13 12:00

大数据——如何设计实时数据平台（设计篇）

在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。
大数据森林·2019-08-12 23:00

数仓模型构建流程

数据仓库的发展大致经历了这样的三个过程：1.简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。大部分表现形式为数据库和前端报表工具。3.数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现，能够提供对特定业务指导的数据，并且能够提供特定的领导决策
万象皆空·2019-08-10 19:19

数仓构建流程

首先理解以下基本概念：1.业务板块：比数据域更高维度的业务划分方法，适用于特别庞大的业务系统。2.维度：维度建模由RalphKimball提出。维度模型主张从分析决策的需求出发构建模型，为分析需求服务。维度是度量的环境，是我们观察业务的角度，用来反映业务的一类属性。属性的集合构成维度，也可以称为实体对象。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。3.属性（维度
万象皆空·2019-08-10 19:24

Spark2.4.0和Scala2.11集成Kudu1.8.0遇到的坑

最近做实时数仓用到了sparkstreaming和kudu两个组件，因为资料少得可怜，折腾了一番终于是搞定了，在这里记录下期间遇到的坑先通过Impala建张Kudu表createtablekudu_appbind_test
lzw2016·2019-08-08 16:43

Flink1.8实时数仓项目实战

《Flink1.8实时数仓项目实战》课程主要基于Flink最新稳定版本进行讲解，课程包含FlinkDataSet、容错、Connector、FlinkSQL以及实时数仓项目。
java_66666·2019-08-06 15:51

Flink1.8实时数仓项目实战

《Flink1.8实时数仓项目实战》课程主要基于Flink最新稳定版本进行讲解，课程包含FlinkDataSet、容错、Connector、FlinkSQL以及实时数仓项目。
小红牛·2019-08-06 14:14

Flink1.8实时数仓项目实战

《Flink1.8实时数仓项目实战》课程主要基于Flink最新稳定版本进行讲解，课程包含FlinkDataSet、容错、Connector、FlinkSQL以及实时数仓项目。
小红牛·2019-08-06 14:14

<数据仓库和数据挖掘> 第一章 绪论

1.数据仓库数据仓库是以关系数据库,并行处理和分布式技术为基础的信息新技术.数据仓库是一个面向主题的,集成的,时变的,非易失的数据集合,用于支持股那里决策.面向主题:数仓关注经常在的数据建模分析而不是组织机构的日常操作和数据处理
向暖而生·2019-08-04 23:07

数据仓库与数据挖掘 学习笔记 第一章 绪论

数据仓库的基本概念3.数据仓库的体系结构1.数据仓库数据仓库是以关系数据库,并行处理和分布式技术为基础的信息新技术.数据仓库是一个面向主题的,集成的,时变的,非易失的数据集合,用于支持股那里决策.面向主题:数仓关注经常在的数据建模分析而不是组织机构的日常操作和数据处理
堡垒-93·2019-08-04 22:08

年中总结之最后我们都成为了过往

—遇见做完了KingSight的交接工作，只身走向DW（数仓）。
buildupchao·2019-08-02 21:48

关系型数据库全表扫描分片详解

导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、
宜信技术·2019-08-02 11:00

关系型数据库全表扫描分片详解

导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、
宜信技术·2019-08-02 10:48

指标管理平台基于springboot、vue、element-ui、echarts

后来在做数仓或数据集市中的报表时会觉得所有的报表都是由指标组成的，但数据仓库数据与报表工具往往还需要一张报表一张报表的做，那可不可以用指标管理的方式来自动生成报表呢？
Primal·2019-08-02 10:37

关系型数据库全表扫描分片详解

导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、
宜信技术学院·2019-08-02 00:00

同仁数仓分层模型架构分享(3)

原作者：hxiao1317098原文：https://blog.csdn.net/hxiao1317098/article/details/73623690对于大数据来说，数仓的作用不言而喻，承载着整个公司全业务线的数据
BabyFish13·2019-08-01 08:57

Hive使用lateral view和explode处理嵌套json

最近有个需求，需要解析数仓中某张表的某个字段，该字段为Json，且为嵌套的多层Json，Json数据格式化之后如下：由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写样例
疯狂呼呼呼·2019-07-31 19:44

Hive使用lateral view和explode处理嵌套json

最近有个需求，需要解析数仓中某张表的某个字段，该字段为Json，且为嵌套的多层Json，Json数据格式化之后如下：由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写样例
疯狂呼呼呼·2019-07-31 19:44

如何设计实时数据平台（设计篇）

在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。
宜信技术·2019-07-31 16:00

HAWQ取代传统数仓实践（十四）——事实表技术之累积快照

https://blog.csdn.net/wzy0623/article/details/72867167一、累积快照简介累积快照事实表用于定义业务过程开始、结束以及期间的可区分的里程碑事件。通常在此类事实表中针对过程中的关键步骤都包含日期外键，并包含每个步骤的度量，这些度量的产生一般都会滞后于数据行的创建时间。累积快照事实表中的一行，对应某一具体业务的多个状态。例如，当订单产生时会插入一行。当
秉寒CHO·2019-07-30 16:04

大数据Hive

hive.apache.orghive是一个基于大数据技术的数据仓库技术DataWareHouse(数仓)数据库DataBase数据量级小，数据价值高数据仓库DataWareHouse数据体量大，数据价值低底层依附是
晓枫桥亭·2019-07-26 09:47

SQL经典面试题 - 连续3天登录用户，终于会了！

其实，不管是数仓/ETL/BI/数据分析/大数据等方向，都会经常被面试/笔试考察到。1.还原场景-建表select * from tmp.tmp_last_3_day;2.解决问题关键-分析3.
仙子紫霞·2019-07-25 20:03

Kimball维度建模

RalphKimall所倡导，他的《TheDataWarehouseToolkit-TheCompleteGuidetoDimensonaModeling，中文名《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典
惊不意外·2019-07-18 23:02
上一页 78 79 80 81 82 83 84 85 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他