数仓命名规范

阿里云实时数仓AnalyticDB PG版新一代计算引擎Odyssey技术解析

本文作者：吕政、长别、知数等目的随着数字经济时代的到来，越来越多的应用依赖数据分析来挖掘数据的价值。作为大数据存储、在线分析的重要基础系统，分析型数据库（OLAP）为数据价值的在线化提供重要的技术平台。阿里巴巴OLAP团队经过调研发现，现有的OLAP数据库执行引擎往往是在已有的OLTP执行引擎的基础之上，进行二次开发而来，存在性能损耗大、历史包袱重、未充分利用最新优化技术、未充分发挥新硬件优势等问
阿里云数据库·2023-07-14 14:43

SQL server + Dinky + doris 数据导入demo

1、SQLserver+Dinky+doris+flinkcdc导入plugins的jar包离线数仓部分希望可以1、一次性导入整张表(全量历史数据)2、实时增量导入通过flinkcdc方式要开启MySQLbinglog
wangqiaowq·2023-07-14 07:23

WEB学习笔记3

在这推荐一种用json格式方式书写js函数的方法变量：变量命名规范：let和var的区别：const常量：字符串类型：布尔类型：1.noshade,用来表示有无阴影，多用于在标签当中2.ckecked,
北川Cc丶·2023-07-14 05:10

[数仓]事实表：周期快照 | 累计快照 | 无事实的事实表 | 迟到的事实表 | 累积度量

一、事实表概述除数字类型的度量值外，事实表总是包含所引用维度表的外键，也可能包含可选的退化维度键或时间戳。数据分析的实质就是基于事实表开展计算和聚合操作。二、周期快照事实表周期快照事实表中的每行汇总了发生在某一标准周期，如一天、一周或一月的多个度量。其粒度是周期性的时间段。周期快照是在一个给定的时间对事实表进行一段时期的总计。订单事实表的数据量很大，如果每当需要月销售统计数据时，都从最细粒度的事实
胖胖学编程·2023-07-14 04:30

Clickhouse入门(一)

一般做实时数仓https://clickhouse.com/docs/zh/第二章Clickhouse的特点2.1列式存储以下面的表为例：采用行式存储时，数
molecule_jp·2023-07-14 03:00

Python语言

计算机组成原理和Python基础1.1计算机组成原理1.2编程语言和Python1.3注释1.4PEP8规范1.5变量以及类型1.5.1变量定义1.5.2变量类型1.6标识符和关键字1.6.1命名规则1.6.2命名规范
IT_Carter·2023-07-14 01:33

3.SparkSQL

结构化数据处理学习SparkSQL主要有2点：1.SparkSQL本身十分优秀，支持SQL语言、性能强、可以自动优化、API简单、兼容HIVE等2.企业大面积使用SparkSQL处理业务数据：离线开发、数仓搭建
hutc_Alan·2023-07-14 00:06

初识Golang，集简洁与性能与一体的语言

Go语言介绍二、Go语言特性三、Go语言用途四、开发环境搭建五、建立工作区并创建Go程序六、入口文件基本代码介绍七、go命令介绍7.1基本命令7.2build与run命令7.3install命令介绍八、命名规范
Simple子夜·2023-07-13 23:46

【PostgreSQL 数据库技术峰会（成都站）】云原生虚拟数仓 PieCloudDB Database 的架构和关键模块实现

2023年6月17日，中国开源软件推进联盟PostgreSQL分会在成都举办了数据库技术峰会。此次峰会以“新机遇、新态势、新发展”为主题，结合当下信创热潮、人工智能等产业变革背景，探讨PostgreSQL数据库在这些新机遇下的发展前景。峰会邀请众多行业大咖、学术精英、技术专家、技术爱好者等参加本次盛会，分享PostgreSQL数据库未来的发展机遇、新技术和新方向，推动PostgreSQL在中国的发
·2023-07-13 15:54

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决哪些痛点
·2023-07-13 15:24

整理 Vue 项目 从 0 到 1 搭建

4、ElmentUI安装与配置5、网络请求6、富文本编辑器7、Vue中的@符提示文件配置8、自动化导入路由配置文件:9、自动化导入Vuex模块化配置文件:10、项目目录层级11、项目环境配置12、项目命名规范
雨季mo浅忆·2023-06-24 06:11

Databend 开源周报 第 98 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-24 05:54

广告数仓：全流程调度

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建广告数仓：数仓搭建(二)广告数仓：全流程调度文章目录系列文章目录前言一、ClickHouse安装1.修改环境2.安装依赖3.单机安装4.修改配置文件5
超哥--·2023-06-24 02:59

数据仓库分层设计——分层定义

数据分层设计数仓分层设计可以按照以下层次来划分：数据源层（SourceLayer）：该层是数仓的数据来源，包含一些原始系统、外部数据源，这些数据需要进行ETL处理后才能被加载到数仓中。
卢延吉·2023-06-23 18:15

API 接口设计规范

路由命名规范动作前缀备注获取getget{XXX}获取getget{XXX}List新增addadd{XXX}修改updateupdate{XXX}保存savesave{XXX}删除deletedelete
APItesterCris·2023-06-23 15:09

vant Weapp中 Cell单元格修改样式

解决问题：Step1：看官方文档的外部样式类，这是规定了该种组件类名的命名规范，而不能直接用class命名。所以要
孤独的马铃薯·2023-06-23 14:00

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
SelectDB技术团队·2023-06-23 11:06

构建离线数仓：实现数据驱动决策的关键步骤和挑战

摘要：本文将介绍构建离线数仓的关键步骤、技术选择和面临的挑战。我们将讨论数据采集、数据清洗、数据存储和数据分析等方面的内容，帮助您构建一个可靠、可扩展和高效的离线数仓。
张家老院子·2023-06-23 08:01

大数据就业路线

数仓：主要以SQL语言为主离线数仓（目前基本状态）和实时数仓（趋势）SQL语法包括mysql中的sql、hive中的hivesql（重点），spark中的sparksql，flink中的flinksql
烟雨孤舟·2023-06-23 06:25

datayi(数易)离线数仓

文章目录技术选型数仓分层行为域odsdwddimdwsads业务域数据抽取ods拉链表dwddwsads任务调度数据治理数据服务项目亮点围绕项目的面试准备项目介绍怎么做？
想很赚比的小星在摩拳擦掌·2023-06-23 06:18

数据治理(数据模型,数据规范,数据安全,数据成本,元数据,数据质量等)

数据治理无论是在数仓建设过程中还是数仓建设完成之后都是及其重要的，是数据部门基础建设的必经之路，是降本提效，形成企业数据资产的关键一环一数据质量管理1.1数据质量基本概念●数据质量管理（DataQualityManagement
大数据私房菜·2023-06-23 01:23

数据血缘分析

引入做过大数据或者接触过数仓的同学，相信都有听到过数据治理、血缘分析的专业术语。不知道大家有没有思考过以下几个问题：1、什么是血缘分析？主要分析什么东西？
大数据私房菜·2023-06-23 01:48

25种代码坏味道总结

好的代码应该命名规范、可读性强、扩展性强、健壮性......而不好的代码又有哪些典型特征呢？
如来神掌十八式·2023-06-22 23:50

火山引擎DataLeap：如何构建一套完整、易用的数据标准体系

一方面，统一的数据标准可以在复杂的业务场景下，帮助团队对齐数据口径，提升数据在分析、诊断等场景的质量与效率；另一方面，数仓团队与分析师团队也需要沉淀一套敏捷、可控的数据标准指标管理流程，以便后续在指标口径的增加
字节数据平台·2023-06-22 22:34

火山引擎Dataleap治理实践：如何降低数仓建设成本

背景存储与计算资源是数仓建设的基础，也是数仓建设中的重要成本支出。而随着数仓建设规模逐渐扩大、时间跨度逐渐拉长，将不可避免的出现数据表、任务、字段的冗余。
BigDataDigest·2023-06-22 15:57

Java标识符规范

凡是自己可以起名字的地方都叫标识符定义合法标识符规则：由26个英文字母大小写，0-9，_或$组成数字不可以开头不可以使用关键字和保留字，但能包含关键字和保留字java中严格区分大小写，长度无限制标识符不能包含空格java中的名称命名规范
念犯困·2023-06-22 13:08

Flink系列 - 实时数仓之FlinkCDC实现动态分流实战（十）

  自从Flink出了FlinkCDC之后，我们对数据库日志的采集就变得方便了许多了，除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置，目前实现CDC有两种方式：HQL实现和DataStreamAPI实现(推荐)。  想更深入的了解CDC可以通过此链接进行学习：  1.文档->https://ververica.github.io/flink-cdc-connectors/mast
小飞牛_666·2023-06-22 13:08

python语言在命名上是什么敏感的_一文轻松掌握python语言命名规范规则

一文轻松掌握python语言命名规范规则,下划线,变量,开头,方法,多个一文轻松掌握python语言命名规范规则易采站长站，站长之家为您整理了一文轻松掌握python语言命名规范规则的相关内容。
weixin_39820185·2023-06-22 12:20

数仓|Hive性能调优（二）

7、优化SQL处理join数据倾斜(1)空值或无意义值这种情况很常见，比如当事实表是日志类数据时，往往会有一些项没有记录到，我们视情况会将它置为null，或者空字符串、-1等。如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。因此，若不需要空值数据，就提前写where语句过滤掉。需要保留的话，将空值key用随机方式打散，例如将用户ID为null的记录随机改为负值：selecta.ui
Distantfbc·2023-06-22 08:48

Jenkins持续集成构建平台使用指南

目录目录...21、系统参数...32、授权策略...53、构建管理...63.1构建命名规范...63.1.1任务视图命名...63.1.2任务命名...63.2参数化构建...73.2.1构建参数列表
进击的雷神·2023-06-22 08:45

hadoop shell操作HDFS文件

一.常用的hadoopshell文件路径需要自己有才行，示例中的文件路径是本人自己的文件路径，不是公共文件路径，如何建立自己的数仓，查看本人大数据单机学习环境搭建相关文章1.1查看创建删除#列出当前hdfs
赫加青空·2023-06-22 08:08

[建议收藏] Mysql+ETLCloud CDC+Doris实时数仓同步实战

一、业务需求及其痛点随着数字化转型，企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。二、ApacheDoris介绍ApacheDoris是一个现代化
苛子·2023-06-22 06:26

Hive中数据库和表的操作(HSQL)

数仓管理工具Hive可以将HDFS文件中的结构化数据映射成表，利用HSQL对表进行分析，HSQL的底层运行机制，默认是MapReduce计算，也可以替换成Spark、Tez、Flink计算结果存储在HDFS
时下握今·2023-06-22 05:19

大牛书单 | 大数据存储方向好书分享

TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐
dbLenis·2023-06-22 03:41

【Hive实战】Hive治理方向探讨（请留意见）

路径实际不存在表级路径应是分区路径的前缀内部表使用非内部表路径外部表使用内部表路径表的属性个数异常按时间维度规整表附录分析语句识别分区数识别分区层级存储相关编解码信息存储路径表属性分区属性附录hive元数据数仓表
顧棟·2023-06-22 03:10

mq主题与分组命名规范

1.TopicTopic是消息发送和订阅的基本单位，一个Topic包含若干条相同主题的消息。Topic命名的规范可以考虑以下几点：Topic命名应该简洁明了，能够表达出该主题的业务含义。Topic命名应该避免使用特殊字符和中文等不易处理的字符，可以使用英文字母、数字和下划线等符号。Topic命名时可以考虑加入一些业务相关的信息，例如:tc_operate_transactionaltc_opera
Forevermark993·2023-06-21 18:36

结构化css

它强调使用一致的命名规范、模块化的代码结构和层次化的样式规则。以下是一些常见的结构化CSS方法和技术：1.命名约定：使用有意义、一致的类名和ID命名约定，以便更好地理解和维护代码。
扁豆肉丝·2023-06-21 17:50

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
·2023-06-21 14:18

Flink 在 讯飞 AI 营销业务的实时数据分析实践

本篇内容主要分为四个部分：业务简介数仓演进场景实践未来展望点击查看直播回放&演讲PDF一、业务简介构建实时数据分析平台是为了更好的解决业务对更高数据时效性的需求，先简单介绍一下业务流程。
·2023-06-21 14:14

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:37

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:37

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
·2023-06-21 14:06

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入
·2023-06-21 12:48

数据仓库(11)什么是大数据治理，数据治理的范围是哪些

主数据管理即数据本身的管理，对于数据本身，基于数据仓库，我们做了数据的分层、数据域的划分、基于维度建模的架构、命名规范、
·2023-06-21 12:46

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表，就是一个事实的集合。事实来自业务过程的度量，基本上以数量值表示。事实表行对应一个事实，一个事实对应一个物理可以观察的事件，例如，再零售事件中，销售数量与总额是数据事实，与销售事件不相关的度量不可以放在同一个事实表里面，如员工的工资。事实表是实际发生的度量，
·2023-06-21 12:14

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。这里用商品价格的变化作为例子，具体的开发过程要按实际的来，不能照搬代码，编程重要的是了解背后的思路和原理，而不是ctrl+c和
·2023-06-21 12:14

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。
·2023-06-21 12:12

数据仓库(01)什么是数据仓库，数仓有什么特点

  这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。  数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。  我简单的做一个比喻，数据仓库就是可以理解就是一个使用仓
·2023-06-21 12:40

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-06-21 12:00

14:面向对象，基础

定义：1、代码中可以通过class关键字，自定义一个数据类型2、基本语法：class类型名称:类型中的代码3、类型名称命名规范：见名知意、驼峰命名法【一个或多个单词组成，每个单词首字母大写】2、对
寻水的_鱼·2023-06-21 10:39
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他