E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓学习专栏
hive
数仓
-数据的质量管理
版本20231116要理解数据的质量管理,应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理:2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验1)首先在hive上建立一个仓库,添加数据质量监控表2)然后建立检查检查表3)创建数据检验曾量表通用的脚本4)创建数据检测全量表的脚本5)脚本的运行2.dwd层的数据质量校验1)建立dwd层校验表2
江南正晓时
·
2023-11-17 01:33
hive
hadoop
数据仓库
Hudi数据湖相关资料
ApacheHudi源码解读hudi各类资料:字节电商场景基于ApacheHudi的落湖实践阿里云AnalyticDB基于FlinkCDC+Hudi实现多表全增量入湖实践Lambda架构向湖仓一体架构演进的的实时电商
数仓
建设
后季暖
·
2023-11-16 23:46
1024程序员节
【云栖2023】姜伟华:Hologres Serverless之路——揭秘弹性计算组
本文根据2023云栖大会演讲实录整理而成,演讲信息如下:演讲人:姜伟华|阿里云计算平台事业部资深技术专家、阿里云实时
数仓
Hologres研发负责人演讲主题:HologresServerless之路——揭秘弹性计算组实时化成为了大数据平台的核心演进趋势
阿里云大数据AI技术
·
2023-11-16 12:29
serverless
云原生
Databend 开源周报第 119 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-11-16 07:20
开源
数据库
AIGC
Flink 1.12的CDC
基于Flink构建流批一体的实时
数仓
是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代,其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
'煎饼侠
·
2023-11-15 19:56
Flink
数据仓库入门简介
一,数组仓库介绍数据仓库(英语:DataWarehouse,简称
数仓
、DW)是一个为数据分析而设计的企业级数据管理系统。它旨在支持企业决策过程中的数据分析和业务智能。
浮生夢
·
2023-11-15 17:12
数据仓库
StarRocks × Apache Flink:如何构建简单强大的实时
数仓
架构
当前在构建实时
数仓
时,由于数据源的多样性,需要使用不同的采集工具,如Flume、Canal、Logstash。对于不同的业务,我们通常会采用不同的分析引擎。
大数据技术架构
·
2023-11-15 16:27
大数据
数据库
人工智能
数据分析
java
【用户实践】openGauss5.0在某省医保局实时
数仓
应用
一、项目背景采用数据同步软件将各系统的数据库下的数据实时同步到openGauss数据库中;建立实时
数仓
;可以在实时
数仓
自行查询、分析、统计数据及报表;同时横向集成公共服务区和核心业务区生产库数据、集成其他委办局数据
renxyz
·
2023-11-15 12:11
数据库
Hive
数仓
数据质量治理
1.数据质量概述数据质量是数据创建价值的保障基石,高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量管理是指在数据创建、加工、使用和迁移等过程中,通过开展数据质量定义、过程控制、监控、问题分析和整改、评估和考核等一系列管理活动,提高数据质量以满足业务要求。可按照"谁创建,谁负责;谁加工,谁负责;谁提供,谁负责"的原则界定数据质量管理责任,由数据流转环节的各责任方对管辖范围内的数据质
笑看风云路
·
2023-11-15 10:58
hive
hive
大数据
数据仓库
数据质量
数据治理
Hadoop完全分布式安装
Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全分布式集群但是没有记录,最近开始着手自己搭个模拟
数仓
需要搭建集群,趁此机会记录一下搭建的过程。
薇安娜
·
2023-11-15 05:43
Hadoop
hadoop
大数据
hive sql生成
数仓
分钟维表
目录一、建表ddl二、加工格式说明三、加工sql四、示例结果数据一、建表ddlcreatetabledim_pub_minute(date_timestampbigintcomment'时间戳',date_strstringcomment'时间-日期时分秒',day_strstringcomment'日期',time_strstringcomment'时分秒',hour_strstringcomm
chimchim66
·
2023-11-15 03:39
数据仓库
hive
sql
hadoop
大数据调度系统对比
0.前言有了数据平台,有了数据仓库,那就需要一个系统来调度和管理
数仓
的任务,因此调度系统的地位可见之重要。
Impl_Sunny
·
2023-11-14 21:01
调度管理
#
对比&选型
调度系统
Azkaban
实时
数仓
-Flink使用总结
阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台,支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。本期将对Flink的使用进行总结。1.Flink产品回顾阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台,支持作业开发、数
高阳很捷迅
·
2023-11-14 18:42
IT管理
数据分析
flink
大数据
实时数仓
【C++初阶(七)】类和对象(下)
本专栏内容为:C++
学习专栏
,分为初阶和进阶两部分。通过本专栏的深入学习,你可以了解并掌握C++。
小小unicorn
·
2023-11-14 14:21
c++
c++
java
数据库
【算法|动态规划 | 区间dp No.2】AcWing 1068.环形石子合并
个人主页:兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【AcWing算法提高
学习专栏
】【手撕算法系列专栏】本专栏旨在提高自己算法能力的同时,记录一下自己的学习过程,希望对大家有所帮助希望我们一起努力
兜里有颗棉花糖
·
2023-11-14 11:08
手撕算法系列专栏
AcWing算法提高学习专栏
算法
动态规划
Hive工具的介绍(一)
一、Hive是什么要了解Hive是什么得先了解一下
数仓
(数据仓库)的概念,什么又是数据仓库呢?
xiaoxie_advent
·
2023-11-14 09:15
大数居
hadoop
数据仓库
大数据
Hive
数据仓库、
数仓
分层 01
1.数据仓库的基本概念数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(DecisionSupport)。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。2.数据仓库的主要
啊策策
·
2023-11-14 06:17
Hive
数据仓库
数仓主要特征
数仓分层
数仓
分层的好处
分层好处:1,复杂问题简单化:将复杂的任务分解成多层来完成,每一层只处理简单的任务,方便定位问题2,减少重复开发:规范数据分层,通过中间层数据,能够减少极大的重复计算,增加计算一次的结果的重复性3,隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开数据集市和数据仓库的区别:数据集市是微型数据仓库,通常有更少的数据,更少的主题,更少的历史数据,是部门级别的,一般只能为某个局部
Alienware^
·
2023-11-14 06:17
数据仓库
数据仓库
数仓
分层总结
数据仓库分为四层ods、dwd、dws、adsods层上是一些原始的数据,存放原始数据,直接加载原始日志、数据(事件表),保持数据原貌不作处理,也就是做一个备份的作用,不要解析数据创建支持LZO压缩的表:减少存储空间100g_10g\5g单双json创建分区表:防止全表扫描(导数据:全量、新增、新增和变化)dwd层是根据ods层表进行解析,然后清除脏数据,敏感信息的处理例如身份证脱敏,掩码、加密、
月升11
·
2023-11-14 06:41
数据仓库
hive
大数据
数据仓库
数据仓库之
数仓
分层及hive分层
目录一、数据仓库之
数仓
分层(一)为什么要分层?
javastart
·
2023-11-14 06:09
数据仓库
数据仓库
数据库
大数据
简单搞定
数仓
搭建:
数仓
分层
我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,OperationDataStore)、数据公共层(CDM,CommonDataModel)和数据应用层(ADS,ApplicationDataService)。数据仓库的分层和各层级用途如下图所示。数据引入层ODS(OperationDataStore):存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准
白枭
·
2023-11-14 06:08
数仓
bigdata
大数据开发
数据建模
数据仓库
数仓
分层介绍
文章目录
数仓
分层的意义是什么?
程少亭
·
2023-11-14 06:36
数据仓库
big
data
etl
数仓
(一)数据分层
文章目录数据分层好处数据运营层数据仓库层数据应用层事实表`(FactTable)`维表层(`Dimension`)表命名规则聚合粒度以及加工频率字段说明抽取方式字段命名规范数据表名命名规范表分区字段说明任务命名规范大厂分层架构爱奇艺SaaS收银运营
数仓
分层架构美团
数仓
分层架构网易云音乐
数仓
分层架构数据分层数据分层在建设数据仓库中是一个十分重要的环节
666呀
·
2023-11-14 06:05
数仓
数据仓库
数据挖掘
big
data
【数据仓库】
数仓
分层方法
文章目录一.
数仓
分层的意义1.清晰数据结构。2.减少重复开发3.方便数据血缘追踪4.把复杂问题简单化5.屏蔽原始数据的异常6.数据仓库的可维护性二.如何进行
数仓
分层?
roman_日积跬步-终至千里
·
2023-11-14 06:01
数据仓库
数据仓库
spark
大数据
蓝桥杯算法竞赛第一周题型总结
本专栏内容为:蓝桥杯
学习专栏
,用于记录蓝桥杯的学习经验分享与总结。
小小unicorn
·
2023-11-14 01:50
蓝桥杯训练营
蓝桥杯
算法
树
二叉树
【深度学习】pytorch——常用工具模块
笔记为自我总结整理的学习笔记,若有错误欢迎指出哟~深度
学习专栏
链接:http://t.csdnimg.cn/dscW7pytorch——常用工具模块数据处理torch.utils.data模块DatasetDataLoadersamplertorch.utils.data
今天有没有吃饱饱
·
2023-11-13 19:08
深度学习
深度学习
pytorch
人工智能
数仓
hive锁(Hive Lock)
昨天数据仓库hive中一张中间表lock,导致所有依赖这个表的任务失败。影响挺大,借此总结一下以备后面查用。1.Hive锁的类型hive目前主要有两种锁,SHARED(共享锁S)和Exclusive(排他锁X)。共享锁S和排他锁X它们之间的兼容性关系如下:1)查询操作使用共享锁,共享锁是可以多重、并发使用的2)修改表操作使用独占锁,它会阻止其他的查询、修改操作3)可以对分区使用锁。以下情况会触发锁
Vincer_DB
·
2023-11-13 16:34
大数据
hive
hive锁
sqlserver2008彻底卸载
windowsInstallerCleanUp二、下载安装后在最近添加中打开三、下载sqlserver卸载工具集合四、注册表删除五、残余文件删除六、修改注册表权限七、重启之后背景介绍最近接到公司的一个任务,我们要搞实时
数仓
了
潘小磊
·
2023-11-13 14:31
工具
sqlserver
microsoft
数据库
Doris为数据分析而生的olap数据库:数据模型和数据分区使用详解
ApacheDoris可以满足多种数据分析需求,如
数仓
T+1模式固定历史报表,实时数据分析等。数据模型:Doris中的字段类型:TINYINT1字节范围:-2^7+1~2^7-1SMALLINT2字
HD0do(迪答数据)
·
2023-11-13 12:02
Doris
实时大数据
数据库
一款高效、简洁的数据处理和清洗加工工具,值得收藏!
JVS智能BI通过创新性的
数仓
式存储、流程化加工、直观模拟化配置和用户友好的界面化管理等特性,使数据分析变得触手可及,同时也极大地提高了数据处理和分析的效率。JVS-BI特点介绍数
jonyleek
·
2023-11-13 11:15
java
gitee
开源
大数据
数据分析
[hive]
数仓
分层|用户纬度拉链表|维度建模
redirect=%2Fdb%2F241289一、
数仓
分层1、ODS层:原始数据层ODS(O=originalD=dataS=store)1)设计要点存储来自多个业务系统、前端埋点、爬虫获取的一系列数据源的数据
胖胖学编程
·
2023-11-12 16:52
数仓
hive
大数据
hadoop
Flink在汽车行业的应用【面试加分系列】
然后总结发出来方便大家阅读;另外一方面,看这些汇报对你的面试帮助会很大,特别是面试前可以看看即将面试公司在大数据前沿的发展动向(我曾经就有过一次经历,面试网易云音乐前,我在B站看了一个大佬分享的网易云实时
数仓
三石大数据
·
2023-11-12 09:15
面经
bigdata
大数据
面试
数据仓库
数仓
建设中,数据治理如何切入
在
数仓
建设中,数据治理扮演着至关重要的角色,它不仅有助于确保数据的质量和安全性,还能提高数据的可用性和可理解性。本文将探讨数据治理在
数仓
建设中的切入点和关键作用。
云长歌
·
2023-11-11 10:14
大数据
【算法 | 模拟No.4】AcWing 756. 蛇形矩阵 & AcWing 40. 顺时针打印矩阵
个人主页:兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【手撕算法系列专栏】【AcWing算法提高
学习专栏
】本专栏旨在提高自己算法能力的同时,记录一下自己的学习过程,希望对大家有所帮助希望我们一起努力
兜里有颗棉花糖
·
2023-11-11 09:35
手撕算法系列专栏
AcWing算法提高学习专栏
算法
矩阵
模拟
【全网首发】【Python】Python控制parrot ARDrone 2.0无人机
欢迎来到Python专栏~Python控制parrotARDrone2.0无人机☆*o(≧▽≦)o*☆嗨~我是小夏与酒✨博客主页:小夏与酒的博客该系列文章专栏:Python
学习专栏
文章作者技术和水平有限
小夏与酒
·
2023-11-11 04:33
Python学习专栏
python
无人机
开发语言
ARDrone
2.0无人机
parrot
pyardrone
前沿技术领域
数据仓库-业务数据采集(基于物流
数仓
)
0、物流
数仓
架构这里的数据采集的架构就是:在业务数据进入MySQL之后,部分表通过DataX全量同步到HDFS,部分表通过Flink-CDC的增量同步方式同步到Kafka,再通过Flume将数据从Kafka
小鱼干换酒钱
·
2023-11-11 01:40
#
物流数仓
mysql
hadoop
flume
flink
数据仓库
数据仓库数据同步策略
1.实时
数仓
同步数据实时
数仓
数据由Flink源源不断从Kafka当中读数据计算,无需手动同步数据到实时
数仓
。
DB架构
·
2023-11-11 01:09
数据仓库
数据仓库
大数据
flume
hadoop
maxwell
Hive数据仓库知识点总结
文章目录数据仓库概念主要特征
数仓
和数据库的区别
数仓
的分层ETL概念Hive框架介绍和安装Hive的概述Hive的特点Hive的架构Hive的交互方式Hive的基础操作Hive的数据库操作Hive的表操作
shmily_lee
·
2023-11-11 01:39
hive
数据仓库
hadoop
大数据
【算法 | 数论 No.1】AcWing1246. 等差数列
个人主页:兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【手撕算法系列专栏】【AcWing算法提高
学习专栏
】本专栏旨在提高自己算法能力的同时,记录一下自己的学习过程,希望对大家有所帮助希望我们一起努力
兜里有颗棉花糖
·
2023-11-10 22:33
手撕算法系列专栏
AcWing算法提高学习专栏
算法
治理效率提升77%!揭秘基于DataLeap实时健康分的最佳实践
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景某企业实时
数仓
团队通过数据收集、整合、计算和存储构建实时数据仓库,为企业提供快速、准确、可靠的实时数据分析和决策支持
字节数据平台
·
2023-11-10 11:50
大数据
数据库
数据安全
数据治理
数据研发
直播实时
数仓
基于DataLeap开放平台在发布管控场景的业务实践
原有离线批处理的数据仓库已经无法满足诉求,因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理,即实时
数仓
。团队介绍直播实时
数仓
团队隶属于Data-数据平台部门,负责为直播中台业
字节数据平台
·
2023-11-10 11:14
大数据
数据库
数据安全
数据中台
数据研发
数据湖浅析(以hudi为例)
数据湖定义业界对于数据湖的定义存在一定争议,个人认为数据湖就是针对传统hive
数仓
不支持acid、upsert、schemaevolution等痛点上,提出的一种数据存储库。
weixin_45626756
·
2023-11-10 06:44
hive
大数据
hadoop
数据湖
hudi
代码随想录训练营Day1:二分查找与移除元素
本专栏内容为:代码随想录训练营
学习专栏
,用于记录训练营的学习经验分享与总结。
小小unicorn
·
2023-11-10 04:32
代码随想录
数据结构
C++
双指针
二分查找
数仓
增量表、全量表、快照表、拉链表
1、增量表增量表:新增数据,增量的数据是上次导出之后的新数据。(1)记录每次增加的量,而不是总量(2)增量表,只报变化量,无变化不用报(3)每天一个分区2、全量表全量表:每天的所有的最新状态的数据(1)全量表,有无变化,都要报(2)每次上报的数据是所有的数据(变化的+没有变化的)(3)只有一个分区3、快照表快照表:按日分区,记录截止数据日期的全量数据(1)快照表,有无变化,都要报(2)每次上报的数
使不得呀
·
2023-11-09 18:40
数据仓库
数仓
增量
全量
快照
拉链
如何撰写数据中台蓝图方案
数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行
数仓
建设以及最终的数据分析的可视化展现
数通畅联
·
2023-11-09 15:02
项目管理
数据中台蓝图方案
蓝图方案
尚硅谷大数据项目《在线教育之实时
数仓
》笔记007
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录第9章
数仓
开发之DWD层P053P054P055P056P057P058P059P060P061P062P063P064P065
upward337
·
2023-11-09 10:28
#
大数据数仓
大数据
大数据数仓
实时数仓
hadoop
zookeeper
kafka
flink
20000字详解大厂实时
数仓
建设(好文收藏)
一、实时
数仓
建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时
数仓
的能力来赋能。
zhisheng_blog
·
2023-11-09 03:36
powerdesigner
大数据
数据仓库
hashtable
控制器
面经-
数仓
-高途
1.hive和spark差异,优劣2.sql连续3天登陆3.sql行转列,列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致,会有什么结果1.flink过程,算子2.druid和其他框架3.ch4.es和mysql和hbase
piscessssss
·
2023-11-09 03:06
博时基金数据开发面经
4、
数仓
的数据量多大?5、除了o层,
数仓
有多少任务?6、
数仓
的任务要跑多久?7、外部数据平台数据的流向?8、外部数据平台有哪些数据入到
数仓
?9、数据交换平台的应用场景?10、你们大数据平台几个节点?
大数据的奇妙冒险
·
2023-11-09 03:06
大数据面试八股文
数据仓库
大数据
面试
数仓
面试题(3)
1.内部表和外部表的区别:内部表是存储在关系型数据库中的表,而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问,而外部表则需要使用特定的连接器或接口进行访问和操作。此外,内部表的存储空间是有限的,而外部表则可以存储非常大的数据集。2.MapReduce的工作流程:MapReduce是一种编程模型,用于处理大规模数据集。它分为两个阶段:Map阶段和Reduce阶段
Young_IT
·
2023-11-09 03:34
大数据开发
1024程序员节
数据仓库
大数据
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他