数仓命名规范第37页

数仓架构模型设计参考

1、数据技术架构1.1、技术架构1.2、数据分层将数据仓库分为三层，自下而上为：数据引入层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。数据仓库的分层和各层级用途如下图所示。●数据引入层ODS（OperationDataStore）：存放未经过处理的原始数据至数据仓库系统，

docsz·2023-08-11 14:14

Flink实时数仓

黑冰vip·2023-08-11 12:53

离线数仓08—— 配置Hive on Spark

文章目录6.1数据仓库运行环境6.1.1Hive环境搭建6.1.2Yarn环境配置上一篇：离线数仓07——数据仓库设计下一篇：离线数仓09——模拟数据准备6.1数据仓库运行环境6.1.1Hive环境搭建

就是这个范~·2023-08-11 00:17

离线数仓15—— 报表数据导出到MySQL

文章目录第12章报表数据导出12.1MySQL建库建表12.1.1创建数据库12.1.2创建表12.2数据导出12.2.1编写DataX配置文件12.2.2DataX配置文件生成脚本12.2.3测试生成的DataX配置文件12.2.4编写每日导出脚本第12章报表数据导出为方便报表应用使用数据，需将ads各指标的统计结果导出到MySQL数据库中。12.1MySQL建库建表12.1.1创建数据库CRE

就是这个范~·2023-08-11 00:17

从0到1搭建数据仓库流程

从0到1搭建数仓，可以概括为6个步骤：业务探查、技术选型、规范制定、主题域划分、数仓分层、模型建设。一、业务探查梳理公司业务系统，业务关心的指标，开发过的需求。

夜希辰·2023-08-11 00:17

离线数仓02——用户行为日志和采集

文章目录第3章用户行为日志3.1用户行为日志概述3.2用户行为日志内容3.2.1页面浏览记录3.2.2动作记录3.2.3曝光记录3.2.4启动记录3.2.5错误记录3.3用户行为日志格式3.3.1页面日志3.3.2启动日志3.4服务器和JDK准备3.4.1服务器准备3.4.2SSH无密登录配置和JDK准备3.4.3环境变量配置说明3.5模拟数据3.5.1使用说明3.5.2集群日志生成脚本第4章用户

就是这个范~·2023-08-11 00:16

离线数仓-03-数仓系统搭建(ODS,DIM,DWD,DWS,ADS)

文章目录数仓分层为什么要分层数据运营层：ODS（OperationalDataStore）数据仓库层：DW（DataWarehouse）维表层：DIM（Dimension）数据明细层：DWD（DataWarehouseDetail

迷雾总会解·2023-08-11 00:45

大数据离线数仓开发项目详细教程

目录一、数据准备/opt/eventdata二、环境准备三、创建Kafka的topic主题四、使用Flume将文件采集到Kafka(一)在/opt/soft/flume190/conf/目录下创建events文件夹，并创建5个conf文件(二)events.conf(三)ea.conf1.ea.conf脚本内容：2开启flume3.复制文件到指定目录4.查看event_attendees_raw主

雷神乐乐·2023-08-11 00:44

数仓项目——在线教育平台离线数据仓库效果展示

ECS云服务器搭建了在线教育平台的离线数据仓库，本文仅用于记录最终的效果，从0到1的实现过程后续进行补充，由于抢占式实例的云服务器按量进行每小时计费，为了避免持续的收费，所以我急于展示结果，也就有了此文（数仓已经搭建完成

Vigoroushui·2023-08-11 00:44

离线数据仓库项目搭建——准备篇

什么是数据仓库（二）数据仓库基础知识（三）数据仓库建模方式（1）星行模型（2）雪花模型（3）星型模型VS雪花模型（四）数据仓库分层（1）为什么要分层（2）数据仓库分层设计（3）DWD数据清洗原则（4）数据仓库命名规范

小崔的技术博客·2023-08-11 00:44

【从0开始离线数仓项目】——数据仓库的环境搭建（1）

目录一、服务器环境准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4JDK准备1.5环境变量配置说明二、集群所有进程查看脚本三、Zookeeper安装3.1分布式安装部署3.2ZK集群启动停止脚本3.3客户端命令行操作一、服务器环境准备CentOS7怎么从命令行模式切换到图形界面模式切换至root权限：sudosu-准备三台虚拟机，虚拟机配置要求如下：（1）单台虚拟机：内存4G，硬

Lingxw_w·2023-08-11 00:13

Flink—读Hive表数据写入Kafka

引言场景数仓Hive中的数据需要读取后写入Kafka中进行数据服务输出。选型选用Flink进行读Hive写Kafka，因为其拥有丰富的connector可选择。

Hughman·2023-08-10 22:26

不会Elasticsearch标准查询语句，如何分析数仓数据？

1Elasticsearch的查询语句ES中提供了一种强大的检索数据方式,这种检索方式称之为QueryDSL,QueryDSL是利用RestAPI传递JSON格式的请求体(RequestBody)数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。1.1查询预发#GET/索引名/_doc/_search{json格式请求体数据}#GET/索引名/_search{json格式请求

贝小贝貝·2023-08-10 21:32

iOS-开发规范

1.2图片命名规范图片命名以“模块功能特征”命名为英文名称。例通用的返回按钮可命名为“common_back_left”，存放于“通用”文件夹。

发飙的青蛙·2023-08-10 15:45

idea创建SpringBoot项目

项目命名规范项目名全部小写。包名全部小写。

你才是臭弟弟·2023-08-10 14:06

Mysql表通过存储过程删除生产表数据

在建设实时数仓的过程中，用到了Mysql存放增量的结果数据，所以需要定时清理历史数据，为了避免影响的线上的实时数据写入，采用了按照最后更改时间，分段删除的方法。

风筝flying·2023-08-10 14:54

mysql优化笔记(1)----数据库设计规范

1数据库命名规范1数据库对象名称必须使用小写字母并用下划线分割大小写敏感2所有数据库对象名称禁止使用mysql保留字段'selectid,username,from,agefromtb_user',此处两个

回眸淡然笑·2023-08-10 12:25

大数据开发：Hive列式存储ORC、Parquet的优点

众所周知，作为Hive列式存储提供了高性能的存储方式，面对大规模的数据存储任务，也能高效快速地完成，这也是Hive作为数仓工具受到肯定的一大优点。

成都加米谷大数据·2023-08-10 10:12

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入

Apache Flink·2023-08-10 10:28

5 小时玩转阿里云 Flink 实时湖仓，速速报名！

小时玩转阿里云Flink实时湖仓，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的FlinkCDC，Paimon，StarRocks等核心技术，收获完整实时数仓与流式数据湖构建经验

Apache Flink·2023-08-10 07:31

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL

Apache Flink·2023-08-10 07:26

数据血缘落地实践

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping

大数据技术派·2023-08-10 06:58

大屏实时计算深度剖析(Flink 入门技术体系剖析实战数据处理设计方案核心技术点)

大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink

Ybb_studyRecord·2023-08-10 05:25

Flink sql 创建视图-view

1.场景是通过flinksql对表的操作，通过添加多个算子对结果的操作如图：例子不是很恰当主要是我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中，在通过一个一个函数将结果放入到下一个视图中，然后在通过视图

wudl·2023-08-10 00:41

【零基础??天速成 Java】Day2 - 初识面向对象

目录前言1.可变参数的使用2.构造器3.包1、包的创建2、包的使用3、包的命名规范4、常用的包5.访问修饰符6.继承7.super关键字8.方法重写Override写在最后：前言我的java基础学习，跟的是韩顺平的

戊子仲秋·2023-08-09 21:19

代码书写规范

简洁明了，低重构率一、命名规范小驼峰（第一个词的首字母小写，第二个开始首字母大写其余小写，例：fundHome）1.项目名称全小写，1-3个词组，15个字符以内，用横线分割，multimodal-image-processing2

浪里摸鱼·2023-08-09 21:59

js汉字转拼音

之前因为命名规范的问题老是与同事起争执，索性找了个js汉字转拼音的插件，让自己去命名，谁也不怨谁。

元仙僧·2023-08-09 19:26

2019-07-20

3、静态变量static，从属于类变量常量命名规范：所有变量、方法、类名：见名知意类成员变量：首字母小写和驼峰原则:monthSalary局部变量：首字母小写和驼峰原则常量：大写字母和下划线：MAX_VALUE

suon123·2023-08-09 18:46

Databend 开源周报第 105 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2023-08-09 07:49

搭建企业级BI系统有多快？奥威BI表现惊人

主要有搭建环境、建设数仓和分析模型、设计数据可视化报表。

qq_43696218·2023-08-09 07:11

两个用字符串表示的大数字的和

文章目录题目详情Java实现分析Java怎么获取到字符串中的对应位置的数字值Java完整代码测试验证python实现python怎么获取到字符串中的对应位置的数字值python完整代码总结这是遇到的一道快手数仓岗位的面试题目

富有一文·2023-08-09 07:04

Nebula Exchange 工具 Hive 数据导入的踩坑之旅

www-cdn.nebula-graph.com.cn/nebula-blog/nebula-exchange-hive-import-best-practice.png)]摘要：本文由社区用户xrfinbj贡献，主要介绍Exchange工具从Hive数仓导

图数据库NebulaGraph·2023-08-09 06:01

基于 Flink x TiDB，智慧芽打造实时分析新方案

摘要：本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021实时数仓专场的分享。

Flink中文社区·2023-08-09 02:20

03变量的定义及命名规范

print("变量的定义:")print("变量是临时存储的数据")print("变量定义语法：变量名 = 变量值 \n")print("变量的命名:")print( "变量命名规范：\n"

Purifyevil安全·2023-08-08 20:42

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。

产品经理自我修养·2023-08-08 19:09

离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0.写在前面1.Kerberos基本使用0.启动Kerberos相关服务1.安全模式下启动Hadoop集群

WHYBIGDATA·2023-08-08 13:54

数据仓库系列篇之管理规范

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言Hive存储规划数据模型设计命名规范表命名字段命名词根库任务调度组织规范前言通过收集资料

小学僧来啦·2023-08-08 13:22

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据

大数据技术派·2023-08-08 12:26

mongoDB - database， collection， view

等价于关系型数据库中的database//选中数据库use数据库名如果数据库不存在，MongoDB会在首次为该数据库存储数据时自动创建该数据库1.1命名规范数据库名称区分大小写：数据库名称在MongoDB

husky_1·2023-08-08 07:06

怎么快速搭建BI？奥威BI系统做出了表率

搭建BI系统有两大关键，分别是环境搭建和数仓建设。这两点不管是哪一个都相当地费时费力，那要怎么才能快速搭建BI平台，顺利实现全企业数字化运营决策？奥威BI系统+方案，你值得拥有！

qq_43696218·2023-08-08 07:32

一篇搞定Java命名规范

好的代码本身就是注释，减少不必要的注释驼峰命名规则大驼峰命名类名全部使用大驼峰ServiceDiscovery、ServiceInstance、LruCacheFactory小驼峰命名方法名，参数名，成员变量，局部变量getUserInfo()、createCustomThreadPool()、setNameFormat(StringnameFormat)UserviceuserService;蛇

Trade丿Life·2023-08-07 08:44

javaweb学习总结(二十)——JavaBean总结

私有化的属性必须通过public类型的方法暴露给其它程序，并且方法的命名也必须遵守一定的命名规范。javaBean范例：packagegacl.javabean.study;/

氨基钠·2023-08-07 02:00

京东实时数据产品应用实践

.流批一体化产品体系4.产品运营：实时数据链路三道防线01京东实时产品概况1.实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系，包括零售、物流、健康等都有实时数据的应用场景，例如实时数仓

学而知之@·2023-08-07 02:30

唯品会亿级数据服务平台落地实践

作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的DB来访问，提供统一的API接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。

qianshanding0708·2023-08-07 02:59

大数据常见应用场景及架构改进

它和传统的数仓不太一样。因为传统数仓它只能解决中小规模的数据存储与分析问题。大数据这一块要能承接海量的数据。我们来看一下它们的基本架

桥路丶·2023-08-07 02:29

熬夜肝了一篇数据库规范，你应该用得上

数据库命名规范采用小写字母、数字（通常不需要）和下划线组成。禁止使用’-’，命名简洁、含义明确。表命名根据业务类型不同，采用不同的前缀，小写字母、下划线组成长度控制在30个字符以内推荐的命名

码上入坟·2023-08-07 02:51

python基础知识

解释器python解释器功能第一个python程序多行代码一次执行python程序的开发方式python解释器内执行代码python解释程序执行代码文件python注释注释分类标识符标识符的命名规则变量的命名规范

小白菜00·2023-08-06 22:27

浅谈iOS编程代码规范

一、命名规范1、统一要求含义清楚，尽量做到不需要注释也能了解其作用，若做不到，就加注释，使用全称，不使用缩写。

单线程Jack·2023-08-06 19:58

JavaScript语法基础

一.JS注释//1.单行注释/*2.多行注释2.多行注释*/二.JS输入输出语句三.变量所有JavaScript变量都是由var声明var变量名=值;声明特殊情况:变量的命名规范四.数据类型JS的变量数据类型是只有在程序运行的过程中

溪_·2023-08-06 15:14

XML基础知识讲解

文章目录1.xml简介2.xml快速入门3.xml的元素(标签)定义4.xml标签的命名规范5.xml的属性定义和注释6.转义字符7.CDATA区8.xml的处理指令9.xml的约束1.xml简介XML

云泽野·2023-08-06 12:07

推荐频道

数仓命名规范