数仓命名规范

Python零基础入门（一）——Python简介与基础语法

文章目录系列文章目录导语Python简介Python的优点Python的缺点基础语法编码代码缩进多行语句注释标识符与保留字编码规范命名规范结语导语Python是一门适合初学者入门的编程语言，本文
一名机电研究生·2023-06-16 00:43

广告数仓：数仓搭建(二)

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建广告数仓：数仓搭建(二)文章目录系列文章目录前言DWD层创建1.建表广告事件事实表2.数据装载初步解析日志解析IP和UA标注无效流量编写脚本总结前言这次我们完成数仓剩下的内容
超哥--·2023-06-15 22:31

广告数仓：采集通道创建

系列文章目录广告数仓：采集通道创建文章目录系列文章目录前言一、环境和模拟数据准备1.hadoop集群2.mysql安装3.生成曝光测试数据二、广告管理平台数据采集1.安装DataX2.上传脚本生成器3.
超哥--·2023-06-15 22:30

广告数仓：数仓搭建

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建文章目录系列文章目录前言一、环境搭建1.hive安装2.编写配置文件3.拷贝jar包4.初始化源数据库5.修改字符集6.更换Spark引擎1.上传并解压
超哥--·2023-06-15 22:56

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
阿里云大数据AI技术·2023-06-15 19:41

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
·2023-06-15 15:43

拓数派发布新一代云原生虚拟数仓PieCloudDB

3月14日，2023拓数派「InfinitePossibilities」战略暨新产品发布会在上海圆满落幕，拓数派创始人兼CEO冯雷（RayVon）重磅发布基于新一代云原生数仓虚拟化打造的全新PieCloudDB
·2023-06-15 15:40

数据仓库(07)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理论基础构建总线矩阵，划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间周期、派生指标。所谓的规范的定义，简单理解，如果把数据当作货物，那就是货物的分类，以及对应相关的属性，比如生产日期，某个原料的含量等，我们可以把相近或者相同货物，按照一定的规律，放在一起，
·2023-06-15 15:36

数据仓库(06)数仓分层设计

  目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。  下面是架构图：  数据分层的目的是：减少重复计算，避免烟囱式开发，节省计算资源，靠上层次，越对应用友好，也对用户友好，希望大部分（80%以上）的需求，都用DWS，DW的表来支持就行，所以ODS层数据不能被DM层任务引用，需要
·2023-06-15 15:35

数据仓库(05)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。Kimball的DW/BI架构，可以参考这篇文章数据仓库(4)基于维度建模的KimBall架构。独立数据集市架构，采用这种架构的数据仓库，数据以部门为基础来部署，不考虑企业级别的信息共享和集成。也就是各个部门各
·2023-06-15 15:04

PieCloudDB Database：云原生分布式虚拟数仓的诞生之旅

杭州拓数派科技发展有限公司（OpenPie）的旗舰产品PieCloudDBDatabase是一款云原生分布式虚拟数仓。PieCloudDB通过多种创新性技术将物理数仓整合到云原生数据计算平台。
·2023-06-15 15:23

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
·2023-06-15 15:50

docker-compose部署hive数仓服务 —— 筑梦之路

1.docker创建网络#创建，注意不能使用hadoop-networkdockernetworkcreatehadoop_network#查看dockernetworkls2.mysql部署#拉取镜像dockerpullmysql:5.7#生成配置mkdir-pconf/data/db/cat>conf/my.cnfhive.metastore.warehouse.dir/user/hive_r
筑梦之路·2023-06-15 13:02

商业智能之“道、法、器”——企业级BI能力构建指南

01商业智能不等于报表商业智能BI一般指在构建好数仓后，为业务人员提供数据查询、分析报表的功能，对数据进行可视化并从数据中获取有效的信息，从而支持业务分析，管理风险、支撑高层面的
辰哥爱学习·2023-06-15 12:27

微信ClickHouse实时数仓的最佳实践

下文将由浅入深，为大家揭晓微信在ClickHouse实时数仓实践中积累的经验及方法。本文作者：微信WeOLAP团队&腾讯
·2023-06-15 11:47

构建实时数仓 - 当 TiDB 偶遇 Pravega

早期数仓多为离线模式，主要处理的是T+1的
·2023-06-15 11:14

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
·2023-06-15 11:13

信也科技发布Plink实时计算平台，助力构建企业级实时数仓新篇章

近日，信也科技推出新一代实时数据开发一站式平台Plink（下称“Plink平台”）。该平台基于ApacheFlink项目自主研发，经过近年来的技术演进，现已具备高可用、高吞吐、灵活扩展等特点。Plink平台整合了Kafka、Hadoop和传统MPP数据库，以行业内多个业务的技术痛点为出发点，深度赋能业务系统，在实时风控、实时营销、实时分析等场景上广泛应用，场景覆盖率超过80%，处理效率提高近100
·2023-06-15 11:08

携手共赢 HashData亮相华为合作伙伴大会

在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。
HashData酷克数据·2023-06-15 04:19

Python如何import不同文件夹下的文件(module)

编程所在文件夹要导入的module所在文件夹结果如下，报错啦添加下面代码importsyssys.path.append('D:\程序函数仓')结果如下，不报错啦
故障诊断与python学习·2023-06-15 02:57

【Python爬虫开发基础④】爬虫原理

近期还会不断更新~往期推荐：【Python爬虫开发基础①】Python基础（变量及其命名规范）【Python爬虫开发基础②】Python基础（正则表达式）【Python爬虫开发基础③】Python基础（
为梦而生~·2023-06-14 21:35

【Python爬虫开发基础⑤】HTML概述与基本标签详解

近期还会不断更新~往期推荐：【Python爬虫开发基础①】Python基础（变量及其命名规范）【Python爬虫开发基础②】Python基础（正则表达式）【Python爬虫开发基础③】Python基础（
为梦而生~·2023-06-14 21:55

大数据学习归纳

修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作
猫腻余腥·2023-06-14 18:52

数据仓库(分层和建模方法梳理)

摘要：数仓的作用、整体架构、建模方法、分层原理。从整体上梳理数仓、理解数仓架构。目的数据仓库的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
五块兰州拉面·2023-06-14 17:51

详解事实表

01事实表基础事实表特征事实表作为数仓维度建模的核心，紧紧围绕着业务过程来
产品经理自我修养·2023-06-14 17:20

STM32&ARM体系结构（嵌入式学习）

STM32&ARM体系结构1.STM321.1简介1.2STM32的优势1.3命名规范2.ARM体系结构2.1ARM体系结构面试题：谈谈你对ARM的认识？
JiaYu学长·2023-06-14 13:35

火山引擎 DataLeap：如何构建一套完整、易用的数据标准体系

一方面，统一的数据标准可以在复杂的业务场景下，帮助团队对齐数据口径，提升数据在分析、诊断等场景的质量与效率；另一方面，数仓团队与分析师团队也需要沉淀一套敏捷、可控的数据标准指标管理流程，以便后续在指标口径的增加
·2023-06-14 12:10

火山引擎 DataLeap 数据调度实例的 DAG 优化方案

在数仓研发中，不同的表之间会存在依赖关系，而产生表数据的任务实例，也会因此存在依赖关系。只有在上游实例运行成功、下游实例到达设定的运行时间且资源充
·2023-06-14 12:08

【Vue】教程:二、命名规范

一、views文件夹1.文件夹命名方式1.1.一级目录代表模块的名字尽量由名词组成单词只有一个文件夹名字以小写字母开头,.vue文件名字以大写字母开头只有一个文件时不出现文件夹，直接放在views下面,为***.vue文件如main|login|common,Main.vue|Login.vue|Common.vue1.2.二级目录代表着一级目录中某一大模块的名字尽量由名词组成名字至少两个单词文件
smartdream·2023-06-14 12:25

Doris数仓的4大特点

01-极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apache的ORCFile存储格式、ApacheImpala查询引擎和MySQL交互协议，是一个拥有先进技术和先进架构的领先设计产品，如图1所示。▲图1Doris技术分解图在架构方面，Doris只有两类进程：一类是FE，可以理解为Doris的管理节点，主要负责用户请求的接入、查询计划的解析、元数据的存储和集群管理相关
000X000·2023-06-14 11:35

华为云之数据仓库集群GaussDB(DWS)的基本使用【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库集群GaussDB（DWS）的基本使用【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景
江湖有缘·2023-06-14 11:53

华为云之数据仓库GaussDB(DWS)的使用体验【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库GaussDB（DWS）的使用体验【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景
江湖有缘·2023-06-14 11:52

css--笔记

编码转换微软雅黑\5FAE\8F6F\96C5\9ED1或MicrosoftYaHei黑体\9ED1\4F53新宋体\65b0\5b8b\4f53宋体\5b8b\4f53关于CSSHack的说明：css命名规范
超能力后裔·2023-06-14 11:20

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB
只是甲·2023-06-14 10:17

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop+Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战数仓的总体设计数据仓库概念
悟空打码·2023-06-14 10:44

数仓架构--之数据拉链表实操

数仓架构--之数据拉链表不登高山不知天之高也，不临深溪不知地之厚也序拉链表定义拉链表特征拉链表加工重跑机制逻辑加工全量拉链和增量拉链全增量问题全量拉链的全增量问题增量拉链的全增量问题结尾不登高山不知天之高也
3文丰·2023-06-14 10:42

详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
jane9872·2023-06-14 10:07

详解大厂实时数仓建设

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
jane9872·2023-06-14 10:07

redis key 命名规范的设计

Rediskey命名需具有可读性以及可管理性，不该使用含义不清的key以及特别长的key名；一、实现目标简洁，高效，可维护二、键值设计规约1、Rediskey命名风格【推荐】Rediskey命名需具有可读性以及可管理性，不该使用含义不清的key以及特别长的key名；【强制】以英文字母开头，命名中只能出现小写字母、数字、英文点号(.)和英文半角冒号(:)；【强制】不要包含特殊字符，如下划线、空格、换
liwen2015·2023-06-14 09:55

Hive 和 Oracle 中 Decode 函数的用法差异

前言在数仓构建过程中，需要从业务那边进行数据的迁移！数仓大多数公司都是使用Hive，而业务那边使用的是Oracle数据库居多。
笑看风云路·2023-06-14 08:42

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
产品经理自我修养·2023-06-14 07:43

Swift API设计规范

原文链接1.首先是Swift命名规范，这是很重要的。
Oceanj·2023-06-14 00:21

利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓

钉钉数据同步需求钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段python或是java代码才可以实现，这样做对技术要求高，普通用户掌握不了，那么下面介绍一款无需要写代码的ETL工具
苛子·2023-06-13 21:48

基于 ByteHouse 构建实时数仓实践

实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间的流逝会迅速降低，因此在数据产生后必须尽快对其进行计算和处理，从而最大效率实现数据价值转化，对实时数仓的建设需求自然而
·2023-06-13 19:53

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销
·2023-06-13 19:48

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-06-13 19:11

数仓GaussDB(DWS)全量备份总结

摘要：本文将梳理Roach全量恢复的整体流程，描述Roach集群全量备份场景的运转机制。数据备份恢复是保护数据安全的重要手段之一。Roach工具支持多种备份恢复类型，例如集群级的物理备份，表级备份的逻辑备份；分别支持DISK/NBU/OBS/EISOO几种备份介质；支持双集群间的容灾方案等，从而提供数据的可靠性保障机制。Roach支持如下功能：一、简介本文将梳理Roach全量恢复的整体流程，描述R
·2023-06-13 18:38

java变量和包名的命名规范

一、java总体命名规范项目名全部要小写包名全部小写类名首字母大写，其余组成词首字母大写（即驼峰命名）变量名，方法名首字母小写，如果名称由多个单词组成，除了首字母外的每个单词的首字母都大写常量名全部大写所有的命名规则必须按照以下规则
转测试啦转测试啦·2023-06-13 18:35

「Hive进阶篇」万字长文超详述hive企业级优化

更多精彩好文，首发在微信公众号《大数据阶梯之路》，欢迎关注文章字数：13271字预计阅读需：20分钟一、问题背景hive离线数仓开发，一个良好的
大数据阶梯之路·2023-06-13 17:00

详述Hive企业级优化

一、问题背景hive离线数仓开发，一个良好的数据任务，它的运行时长一般是在合理范围内的，当发现报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执行了超10小时这样肯定是不合理的，此时就该想想如何优化数据任务链路
产品经理自我修养·2023-06-13 17:58
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他