数仓命名规范

离线数仓的概述

1、数仓的概述数仓主要是用于数据的存储、管理和分析数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。
m0_37759590·2023-09-25 20:05

离线数仓 (十四) --------- DWS 层搭建

目录一、系统函数1.nvl函数2.日期处理函数3.复杂数据类型定义二、DWS层1.访客主题2.用户主题3.商品主题4.优惠券主题5.活动主题6.地区主题7.DWS层首日数据装载脚本8.DWS层每日数据装载脚本一、系统函数1.nvl函数A、基本语法NVL(表达式1，表达式2)如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值(null)转换成一个实际的值。
在森林中麋了鹿·2023-09-25 20:05

黑马Hive+Spark离线数仓工业项目--数仓维度层DWS层构建（2）

日期时间维度设计目标：掌握日期时间维度的需求与设计路径-step1：需求-step2：设计实施需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等设计-数据来源：提前通过程序生成构建，不是从数据中抽取-执行周期：每一年生成下一年的每一天的维度信息，**增量**同步到维度表的分区中日期时间维度构建目标：实现日期时间维
骨灰级收藏家·2023-09-25 20:34

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【
哥们要飞·2023-09-25 20:34

一百八十六、大数据离线数仓完整流程——步骤五、在Hive的DWS层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 20:01

天软特色因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:45

A股风格因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:12

数仓命名规范

传统上，企业中数据仓库作为全企业数据汇聚的场所，不能直接保留原系统名称，需要进行规范命名，其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考！
后季暖·2023-09-25 16:15

【Go 基础篇】Go语言标识符解析：命名的艺术与最佳实践

在Go语言（Golang）中，标识符的命名规范和最佳实践对于编写高质量的代码至关重要。
繁依Fanyi·2023-09-25 16:00

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
·2023-09-25 15:09

【C#】.Net基础语法一

程序的两次编译过程三、.Net中命名空间和类【3.1】引入命名空间【3.2】修改默认的命名空间【3.3】命名空间的总结四、.Net中数据类型【4.1】数值型【4.2】非数值型五、.Net中变量【5.1】变量命名规范
傻响·2023-09-25 12:15

ELT in ByteHouse 实践与展望

传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型
字节数据平台·2023-09-25 11:15

Go高质量编程

Go高质量编程简介——编程原则编码规范——如何编写高质量的Go代码代码格式注释解释代码作用解释代码如何做的解释代码实现的原因解释代码什么情况会出错公共符号始终要注释命名规范变量variable函数function
capucino_bubble·2023-09-25 07:55

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。
hyunbar·2023-09-25 06:22

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM

DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据，并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈·2023-09-25 04:49

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
HashData酷克数据·2023-09-24 21:05

5W字讲解最新大数据面试题

本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架
无精疯·2023-09-24 20:59

「Python」基础语法学习全过程笔记（含代码示例及运行结果）

一、Python命名规范二、Python变量变量的作用定义变量变量引用交换变量的值三、Python数据类型字符串根据下标获取字符串中某个字符字符串的运算查找find查找index统计count()判断isalnum
测试划水老师傅·2023-09-24 16:37

云数据库的无服务化

当前，云上服务的无服务化是一个大趋势，在应用程序方面有Lambda，在一些数据分析工具和服务上，AWS也都推出了无服务版本，例如ETL服务Glue，数仓服务Redshift，Hadoop服务EMR，本篇文章针对无服务化的云数据库
ladofwind·2023-09-24 16:37

Flink 对线面试官：6 个面试高频实战问题

:star:架构设计的能力：在实时数仓的分层设计中，具体的分层设计方案是怎样的？和离线数仓又有什么区别？你设计的实时
十一技术斩·2023-09-24 16:52

大数据-数仓分层之DWD

一、DWD层描述脚本：1）对用户行为数据解析。2）对核心数据进行判空过滤。3）对业务数据采用维度模型重新建模。1.1日志分析1.1.1用户行为日志解析（1）页面埋点日志（2）启动日志1.1.2get_json_object函数使用1）数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2）取出第一个js
爱搞技术的吴同学·2023-09-24 14:44

大数据-数仓分层之ADS

ADS层描述ads层主要就是最后需要分析的数据，可以从各种纬度，这就需要根据业务来判断最后选择哪一些纬度来进行分析，比如经典的就是，根据地区来展示地图，看每个地区的人每天的下单数量，或者一段时间内的下单数量到这一层直接启动脚本就可以了：[root@hadoop102bin]$dwt_to_ads.sh2020-06-18
爱搞技术的吴同学·2023-09-24 14:44

Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？
一杯咖啡半杯糖·2023-09-24 13:47

数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

应用实践|数仓体系效率全面提升！同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

订单正逆向流程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档订单的正逆向流程前言针对零售行业数仓中订单业务相关的一些业务流程节点介绍正文总结前言提示：这里可以添加本文要记录的大概内容：针对零售行业数仓中订单业务相关的一些业务流程节点介绍提示
February13·2023-09-24 08:55

ETLCloud助力富勒TMS实现物流数仓同步

富勒TMS提供了多种运输管理业务的解决方案，极大的方便了企业对物流的管理和人力输出，同时提供了大量的API接口，供用户做数据集成和数仓同步。
ETLCloud数据集成社区·2023-09-24 06:50

数据仓库整理

数仓olapvsoltpOLTP主要用于支持日常的业务操作，如银行交易、电子商务等，强调数据的准确性、实时性和并发性。
haobu枳·2023-09-24 04:17

LLVM整理

>LLVMIR->优化->生成汇编代码->Link->目标文件基于LLVM,我们可以做什么a.做语法树分析,实现语言转换,入如OC转Swift,JS或其他语言b.编写ClangPlugin,用于代码的命名规范
一笔春秋·2023-09-24 01:00

Docker基本操作

镜像命名规范镜像名称一般分两部分组成:[repository]:[tag]，如：mysql:8.1。在没有指定tag时，默认是latest，代表最新版本的镜像。
io无心·2023-09-23 23:56

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Flink中文社区·2023-09-23 21:48

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

01-C#基础

C#基础l变量命名规范：image.pngl数据类型：image.pngimage.pngimage.png@使字符串失去转义字符的作用image.pngimage.pngl类型转换：image.png
杨勐奇_三月·2023-09-23 14:57

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4
yiluohan0307·2023-09-23 13:29

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！大数据技术普惠创新，释放千
数据湖洞见·2023-09-23 10:37

Java 数组

数组的定义格式格式一：数据类型[]数组名=new数据类型[长度]；定义格式详解：数据类型：数组中存储元素的数据类型，可以是基本数据类型也可以是引用数据类型[]：表示数组数组名：数组的变量名，遵循标识符命名规范
ttlidx·2023-09-23 09:16

同一份数据全域共享，HashData UnionStore实时性背后的故事

时至今日，数据已经被越来越多的企业视为发展的战略资源，而云数仓则是数据发挥重要价值的关键媒介。
HashData酷克数据·2023-09-23 09:59

java基础-final

对于这样的常量，我们的命名规范是约定俗成的大写字母加下划线，如下：privatestaticfinalintTEST_FINAL=1;
努力做一个好人·2023-09-23 07:44

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍ꔷHologres推出计算组实例ꔷHologres支持JSON数据ꔷHologres向量计算+大模型能力
云布道师·2023-09-23 06:25

一百八十二、大数据离线数仓——离线数仓从Kafka采集、最终把结果数据同步到ClickHouse的完整数仓流程（待续）

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-23 05:38

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27

【活动回顾】Serverless 数仓技术与挑战（内含 PPT 下载）

下午，DatabendLabs联合创始人张雁飞作为「Serverless数仓技术与挑战」专题的演讲嘉宾进行了分享。
Databend·2023-09-23 03:56

代码命名规范（C++）

文件名：1.小写字母+下划线。类：1.类名每个单词首字母大写，不使用下划线。2.类内成员小写字母+下划线，此外结尾加下划线。结构体：1.结构体定义每个单词首字母大写，不使用下划线。2.结构体内部成员按照普通变量命名，小写字母+下划线。枚举：1.枚举定义每个单词首字母大写，不使用下划线。2.枚举内部成员采用大写字母+下划线的形式。宏：1.大写字母+下划线。全局变量、静态变量、常量：1.以`k`开头，
爱躺平的咸鱼·2023-09-23 01:00

Docker安装与镜像的使用

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料102篇原创内容公众号1、docker简介=============1.1什么是dockerdocker官网地址
hyunbar·2023-09-22 22:08

关于包，类名，方法名的命名规范

保持与数据库同名的一个命名规范的规则方法名采用驼峰命名法，保持与数据库同名的一个命名规范的规则类名采用首字母大写，驼峰命名法，保持与数据库同名的一个命名规范的规则包名全部使用小写，保持与数据库同名的一个命名规范的规则记录一下昨天遇到的错误
m0_67513847·2023-09-22 19:26

同一份数据全域共享，HashData UnionStore实时性背后的故事

时至今日，数据已经被越来越多的企业视为发展的战略资源，而云数仓则是数据发挥重要价值的关键媒介。
·2023-09-22 16:27

ByConity 技术详解之 ELT

传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的ETL系统，因而维护成本较高。ByConity作为云原
·2023-09-22 16:27

实时数仓混沌演练实践

一、背景介绍目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别是提供给下游规则引擎的相关数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失
·2023-09-22 16:55
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他