数仓（

离线数仓从0到1

话聊建设数仓ETL工具面临的问题分层分层的出发点分层设计模型建设为什么要建设模型怎么建设模型理清工作思路实施步骤建模方法及实施规范建设临时表管理代码规范流程规范话聊技术升级快于我们的想象，今天的故事在明天来看就是一种常识
别停下思考·2022-02-05 18:12

说说数仓(7)-浅谈数据治理

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2022-02-05 18:32

【如何成为SQL高手】第五关：select语句基本用法

1.如果你是数据分析师，你需要熟练地把自己脑子里的数据和指标需求翻译成SQL逻辑去查询数据，进而完成自己的数据分析报告等，你的产出是分析报告，而不是SQL代码；2.如果你是数仓工程师
IT邦德·2022-02-05 17:36

数仓 用户认证 安全模式下启动Hadoop集群

文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs:hadoopdrwx------localdfs.datanode.data.dirhdfs:hadoopdrwx------
Alienware^·2022-02-05 12:54

说说数仓(3) - 数仓架构

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2022-02-05 03:48

说说数仓(8)-关于增量

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2022-02-03 16:06

2020年总结

工作今年开始从0到1搭建了公司的数仓，BI。团队也获得了公司优秀团队的荣誉。
你说我对钱一往情深·2022-02-03 09:21

说说数仓(2) - 传统数仓与互联网数仓

数仓总结目录：说说数仓(1)-什么是数仓说说数仓(2)-传统数仓与互联网数仓说说数仓(3)-数仓架构说说数仓(4)-指标字典说说数仓(5)-最重要的维度之日期维度说说数仓(6)-关于命名规范说说数仓(7
橘猫吃不胖·2022-02-03 05:10

作业帮基于 DeltaLake 的数据湖建设最佳实践

简介：作业帮是一家以科技为载体的在线教育公司，其大数据中台作为基础系统中台，主要负责建设公司级数仓，向各个产品线提供面向业务主题的数据信息。
·2022-01-27 17:23

作业帮基于 DeltaLake 的数据湖建设最佳实践

简介：作业帮是一家以科技为载体的在线教育公司，其大数据中台作为基础系统中台，主要负责建设公司级数仓，向各个产品线提供面向业务主题的数据信息。
阿里云云栖号·2022-01-27 09:00

年度报告｜Hologres重点功能年终大盘点

1月7日，由阿里云实时数仓Hologres和开发者社区共同举行了实时数仓年度发布会。
·2022-01-20 17:30

亿信华辰:怎样去断定一份数据的质量高低？数据质量如何评估？

但是如果你经常与数据打交道，以下场景应该不陌生：场景一：作为分析师，要统计近7天用户的购买情况，结果从数仓统计完后发现，很多数据发生了重复记录的情况；
·2022-01-18 20:03

从阿里核心场景看实时数仓的发展趋势

简介：随着2021年双11的完美落幕，实时数仓技术在阿里双11场景也经历了多年的实践和发展。
·2022-01-18 10:46

Hive小文件问题及处理

作者：张建第一章小文件过多带来的三个影响Hive是一个建立在ApacheHadoop之上建立的一个数仓系统，Hive使用Hadoop中的HDFS组件存储数据文件。
·2022-01-15 11:35

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
·2022-01-13 18:36

前端与数仓可以实现“无壁”沟通吗？

豆皮范儿的小伙伴们大家好，今天我们带来了与经常与数据打交道的数据仓库，作为技术不舍边界的字节同学，我们前端同学也会去理解和深入业务，可以很好的理解整个数据链路，才能更好的做好每一个数据产品。本文作者：小隐同学前言大数据时代对前端的赋能绝非仅为“从后端接口获取数据，然后以一定方式展示在页面中”而已，前端从事人员被给予越来越高的期待。尤其是当你正在一个数据平台类的公司或部门乘风破浪，那么对整个数据链的
·2022-01-13 11:20

从阿里核心场景看实时数仓的发展趋势

作者：果贝，阿里云资深技术专家，实时数仓Hologres负责人2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势
·2022-01-11 20:42

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

简介：本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级，并成功大规模落地双11。
·2022-01-10 17:09

Apache Flink 不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio、HDFS、ApacheCassandra和Elasticsearch等系统提供了数据源和接收器”，很快，这句话的前半句或许将不再适用。完整视频：https://developer.aliyun.
·2022-01-10 11:21

How old are you | 尚硅谷大数据之Canal视频教程发布

看看汪公子这一年都干了些什么：Flume新版视频教程Hadoop3.x高可用集群视频教程FlinkCDC视频教程Flink实时数仓视频教程Hive源码解析及优化视频教程Howoldareyou，怎么
·2021-12-30 14:36

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中
张家锋·2021-12-26 12:12

Flink Mysql CDC结合Doris flink connector实现数据实时入库

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星Apachedoris通过扩展支持通过Flink读写doris数仓中的数据表，目前doris支持Flink1.11
张家锋·2021-12-26 12:48

Flink Hudi 0.10.0 发布，多项重要更新，稳定性大幅提升

Flink中文学习网站https://flink-learning.org.cn前言随着云数仓技术的不断成熟，数据湖俨然已成为当下最热门的技术之一，而ApacheHudi是当下最具竞争力的数据湖格式之一
·2021-12-20 14:35

实时数仓Hologres首次走进阿里淘特双11

简介：这是淘特在阿里巴巴参与的第二个双11大促，大促期间累计超过上千万消费者在此买到心仪的商品，数百万家商家因为淘特而变得不同，未来，淘特也将会继续更好的服务于下沉市场，让惠民走近千万家。2021年11月11日23:59:59，阿里巴巴淘特（淘宝特价版）的第二个双11完美落下帷幕。在双11大促期间，淘特历经多个大促爆发高峰，丰富的权限玩法，各类高性价比货品，大促期间累计超上千万人在淘特买到质美价廉
·2021-12-20 12:59

尚硅谷数据仓库实战之3数仓搭建

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:10

尚硅谷数据仓库实战之2数仓分层+维度建模

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:30

数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS：https://blog.csdn.net/weixin_42526326/article/details/121633372
好奇新·2021-12-18 19:15

跨境支付平台 XTransfer 的实时数仓之路：深度参与开源才能不被淘汰

近两年新冠肺炎疫情对各行各业造成重大冲击，但对于跨境电商行业来说则是机大于危，跨境支付赛道也因此备受关注。其中，受疫情影响，大量B2B外贸交易转到线上，相比起B2C，B2B跨境交易支付场景更为复杂，因为其业务场景也往往更为复杂、周期长、贸易参与角色众多。另一方面，支付业务天然地对风险识别的及时性和准确性要求非常高，因此数据的采集、加工、计算就需要前置在每个业务节点、前瞻性地做好数据资产的维护工作。
XTransfer技术·2021-12-14 11:01

2021 re:Invent ，我们到底该关注哪些发布？

re:Invent都会有数十项新产品、新功能发布，其中一部分，可能代表了日后云计算及整个IT界基础设施的发展方向，比如曾经的AmazonRedShift、AmazonLambda，前者引导了业内云原生数仓的发展
·2021-12-09 10:25

2021 re:Invent ，我们到底该关注哪些发布？

re:Invent都会有数十项新产品、新功能发布，其中一部分，可能代表了日后云计算及整个IT界基础设施的发展方向，比如曾经的AmazonRedShift、AmazonLambda，前者引导了业内云原生数仓的发展
·2021-12-08 19:17

2021 re:Invent ，我们到底该关注哪些发布？

re:Invent都会有数十项新产品、新功能发布，其中一部分，可能代表了日后云计算及整个IT界基础设施的发展方向，比如曾经的AmazonRedShift、AmazonLambda，前者引导了业内云原生数仓的发展
·2021-12-08 18:45

尚硅谷数据仓库实战之2数仓分层+维度建模

@目录第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型第2章数仓理论2.1范式理论2.1.1范式概念2.1.2函数依赖
好奇新·2021-12-04 09:00

Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。
·2021-12-03 11:03

Hive 基于hadoop来构建数仓的工具(二) 概念及原理介绍

内部表与外部表概念：内部表：也叫管理表，数据文件处于表目录下外部表：数据文件可以不处于表目录下，通过location指定区别：内部表数据文件处于表目录下，删除是将数据文件也删除了外部表不处于目录下，也不会删除数据文件，只会删除元数据分区表与分桶表概括：分区表与分桶表都是优化表区别：分区表可以在表目录下建一个分区，分区字段是逻辑字段，实际不存在，查询时最后显示，分区表是目录级别分桶表是将数据文件经过
章云邰·2021-12-03 11:07

搭建企业级实时数据融合平台难吗？Tapdata + ES + MongoDB 就能搞定

在大数据时代，几乎每家企业都有上一套数据平台的冲动，目前也有很多的离线解决方案，包括Hadoop体系的CDH、TDH，还有一些传统的数仓。但是有两大因素让企业无从下手：一是“实时”，二是“融合”。
·2021-12-02 15:33

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
大数据技术派·2021-12-02 12:00

尚硅谷数仓实战之3数仓搭建

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:03

尚硅谷数仓实战之1项目需求及架构设计

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:02

尚硅谷数仓实战之2数仓分层+维度建模

@TOC数仓笔记数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS尚硅谷数仓实战之1项目需求及架构设计尚硅谷数仓实战之2数仓分层+维度建模尚硅谷数仓实战之3数仓搭建尚硅谷数据仓库4.0
·2021-12-01 17:02

尚硅谷数仓实战之3数仓搭建

尚硅谷数仓实战之3数仓搭建第4章数仓搭建-ODS层4.2ODS层（业务数据）4.2.1活动信息表第5章数仓搭建-DIM层5.1商品维度表（全量）5.6用户维度表（拉链表）5.6.1拉链表概述5.6.2制作拉链表第
好奇新·2021-12-01 16:34

尚硅谷数仓实战之2数仓分层+维度建模

尚硅谷数仓实战之2数仓分层+维度建模第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型第2章数仓理论2.1范式理论2.1.1
好奇新·2021-12-01 16:41

尚硅谷数仓实战之1项目需求及架构设计

尚硅谷数仓实战之1项目需求及架构设计第2章项目需求及架构设计需求分析项目框架技术选型数据流程设计框架版本选型服务器选型集群规模集群资源规划设计第3章数据生成模块目标数据页面事件曝光启动错误数据埋点主流埋点方式
好奇新·2021-12-01 16:26

基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

简介：Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案
·2021-12-01 14:11

基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现

简介：阿里云EMROLAP与Flink团队深度合作，支持了Flink到ClickHouse的Exactly-Once写入来保证整个实时数仓数据的准确性。
·2021-12-01 11:54

数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

@TOC数据流向应用示例何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
·2021-11-30 18:39

StarRocks新版本特性介绍（2021年3-4月）

引用下面我们来介绍一下2021年3-4月，StarRocks-1.12~1.14最新版本的主要功能：FlinkConnector|Flink数据高速导入，可保证不丢不重通过Flink+StarRocks的方式构建实时数仓是当前业界主流方案
·2021-11-30 16:22

58集团 x StarRocks：全面升级数据分析能力，满足多场景业务分析需求

随着业务的高速发展，越来越多的分析需求涌现，例如：安全分析、商业智能分析、数仓报表等。这些场景的数据体量都较大，对数据分析平台提出了很高的要求。
·2021-11-30 15:15

数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS

数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS数据流向何为数仓DW主要特点与数据库的对比为何要分层数据分层数据运营层ODS数据仓库层数据细节层DWD数据中间层DWM数据服务层DWS
好奇新·2021-11-30 15:11

好未来 x StarRocks：全新实时数仓实践，深入释放实时数据价值

好未来（NYSE：TAL）是一家以智慧教育和开放平台为主体，以素质教育和课外辅导为载体，在全球范围内服务公办教育，助力民办教育，探索未来教育新模式的科技教育公司。截至2020年11月底，好未来在102个城市建立起990个教学点，业务范围覆盖全国331个地级市以及海外20多个国家和地区。随着业务的发展，实时数据的分析需求日益增多，尤其在营销推荐、归因分析、业务辅助决策等场景下，实时数据分析所带来的效
·2021-11-30 11:22

微信ClickHouse实时数仓的最佳实践

下文将由浅入深，为大家揭晓微信在ClickHouse实时数仓实践中积累的经验及方法。本文作者：微信WeOLAP团队&腾讯
·2021-11-25 17:09
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他