E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
实时计算(数仓)
StarRocks × Apache Flink:如何构建简单强大的实时
数仓
架构
当前在构建实时
数仓
时,由于数据源的多样性,需要使用不同的采集工具,如Flume、Canal、Logstash。对于不同的业务,我们通常会采用不同的分析引擎。
大数据技术架构
·
2023-11-15 16:27
大数据
数据库
人工智能
数据分析
java
【用户实践】openGauss5.0在某省医保局实时
数仓
应用
一、项目背景采用数据同步软件将各系统的数据库下的数据实时同步到openGauss数据库中;建立实时
数仓
;可以在实时
数仓
自行查询、分析、统计数据及报表;同时横向集成公共服务区和核心业务区生产库数据、集成其他委办局数据
renxyz
·
2023-11-15 12:11
数据库
Hive
数仓
数据质量治理
1.数据质量概述数据质量是数据创建价值的保障基石,高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量管理是指在数据创建、加工、使用和迁移等过程中,通过开展数据质量定义、过程控制、监控、问题分析和整改、评估和考核等一系列管理活动,提高数据质量以满足业务要求。可按照"谁创建,谁负责;谁加工,谁负责;谁提供,谁负责"的原则界定数据质量管理责任,由数据流转环节的各责任方对管辖范围内的数据质
笑看风云路
·
2023-11-15 10:58
hive
hive
大数据
数据仓库
数据质量
数据治理
Hadoop完全分布式安装
Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全分布式集群但是没有记录,最近开始着手自己搭个模拟
数仓
需要搭建集群,趁此机会记录一下搭建的过程。
薇安娜
·
2023-11-15 05:43
Hadoop
hadoop
大数据
hive sql生成
数仓
分钟维表
目录一、建表ddl二、加工格式说明三、加工sql四、示例结果数据一、建表ddlcreatetabledim_pub_minute(date_timestampbigintcomment'时间戳',date_strstringcomment'时间-日期时分秒',day_strstringcomment'日期',time_strstringcomment'时分秒',hour_strstringcomm
chimchim66
·
2023-11-15 03:39
数据仓库
hive
sql
hadoop
大数据调度系统对比
0.前言有了数据平台,有了数据仓库,那就需要一个系统来调度和管理
数仓
的任务,因此调度系统的地位可见之重要。
Impl_Sunny
·
2023-11-14 21:01
调度管理
#
对比&选型
调度系统
Azkaban
实时
数仓
-Flink使用总结
阿里云
实时计算
Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台,支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅
·
2023-11-14 18:42
IT管理
数据分析
flink
大数据
实时数仓
Hive工具的介绍(一)
一、Hive是什么要了解Hive是什么得先了解一下
数仓
(数据仓库)的概念,什么又是数据仓库呢?
xiaoxie_advent
·
2023-11-14 09:15
大数居
hadoop
数据仓库
大数据
Hive
数据仓库、
数仓
分层 01
1.数据仓库的基本概念数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(DecisionSupport)。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。2.数据仓库的主要
啊策策
·
2023-11-14 06:17
Hive
数据仓库
数仓主要特征
数仓分层
数仓
分层的好处
分层好处:1,复杂问题简单化:将复杂的任务分解成多层来完成,每一层只处理简单的任务,方便定位问题2,减少重复开发:规范数据分层,通过中间层数据,能够减少极大的重复计算,增加计算一次的结果的重复性3,隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开数据集市和数据仓库的区别:数据集市是微型数据仓库,通常有更少的数据,更少的主题,更少的历史数据,是部门级别的,一般只能为某个局部
Alienware^
·
2023-11-14 06:17
数据仓库
数据仓库
数仓
分层总结
数据仓库分为四层ods、dwd、dws、adsods层上是一些原始的数据,存放原始数据,直接加载原始日志、数据(事件表),保持数据原貌不作处理,也就是做一个备份的作用,不要解析数据创建支持LZO压缩的表:减少存储空间100g_10g\5g单双json创建分区表:防止全表扫描(导数据:全量、新增、新增和变化)dwd层是根据ods层表进行解析,然后清除脏数据,敏感信息的处理例如身份证脱敏,掩码、加密、
月升11
·
2023-11-14 06:41
数据仓库
hive
大数据
数据仓库
数据仓库之
数仓
分层及hive分层
目录一、数据仓库之
数仓
分层(一)为什么要分层?
javastart
·
2023-11-14 06:09
数据仓库
数据仓库
数据库
大数据
简单搞定
数仓
搭建:
数仓
分层
我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,OperationDataStore)、数据公共层(CDM,CommonDataModel)和数据应用层(ADS,ApplicationDataService)。数据仓库的分层和各层级用途如下图所示。数据引入层ODS(OperationDataStore):存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准
白枭
·
2023-11-14 06:08
数仓
bigdata
大数据开发
数据建模
数据仓库
数仓
分层介绍
文章目录
数仓
分层的意义是什么?
程少亭
·
2023-11-14 06:36
数据仓库
big
data
etl
数仓
(一)数据分层
文章目录数据分层好处数据运营层数据仓库层数据应用层事实表`(FactTable)`维表层(`Dimension`)表命名规则聚合粒度以及加工频率字段说明抽取方式字段命名规范数据表名命名规范表分区字段说明任务命名规范大厂分层架构爱奇艺SaaS收银运营
数仓
分层架构美团
数仓
分层架构网易云音乐
数仓
分层架构数据分层数据分层在建设数据仓库中是一个十分重要的环节
666呀
·
2023-11-14 06:05
数仓
数据仓库
数据挖掘
big
data
【数据仓库】
数仓
分层方法
文章目录一.
数仓
分层的意义1.清晰数据结构。2.减少重复开发3.方便数据血缘追踪4.把复杂问题简单化5.屏蔽原始数据的异常6.数据仓库的可维护性二.如何进行
数仓
分层?
roman_日积跬步-终至千里
·
2023-11-14 06:01
数据仓库
数据仓库
spark
大数据
数仓
hive锁(Hive Lock)
昨天数据仓库hive中一张中间表lock,导致所有依赖这个表的任务失败。影响挺大,借此总结一下以备后面查用。1.Hive锁的类型hive目前主要有两种锁,SHARED(共享锁S)和Exclusive(排他锁X)。共享锁S和排他锁X它们之间的兼容性关系如下:1)查询操作使用共享锁,共享锁是可以多重、并发使用的2)修改表操作使用独占锁,它会阻止其他的查询、修改操作3)可以对分区使用锁。以下情况会触发锁
Vincer_DB
·
2023-11-13 16:34
大数据
hive
hive锁
sqlserver2008彻底卸载
windowsInstallerCleanUp二、下载安装后在最近添加中打开三、下载sqlserver卸载工具集合四、注册表删除五、残余文件删除六、修改注册表权限七、重启之后背景介绍最近接到公司的一个任务,我们要搞实时
数仓
了
潘小磊
·
2023-11-13 14:31
工具
sqlserver
microsoft
数据库
Doris为数据分析而生的olap数据库:数据模型和数据分区使用详解
ApacheDoris可以满足多种数据分析需求,如
数仓
T+1模式固定历史报表,实时数据分析等。数据模型:Doris中的字段类型:TINYINT1字节范围:-2^7+1~2^7-1SMALLINT2字
HD0do(迪答数据)
·
2023-11-13 12:02
Doris
实时大数据
数据库
一款高效、简洁的数据处理和清洗加工工具,值得收藏!
JVS智能BI通过创新性的
数仓
式存储、流程化加工、直观模拟化配置和用户友好的界面化管理等特性,使数据分析变得触手可及,同时也极大地提高了数据处理和分析的效率。JVS-BI特点介绍数
jonyleek
·
2023-11-13 11:15
java
gitee
开源
大数据
数据分析
python 中用opencv开发虚拟键盘------可以只选择一个单词不会出现一下选择多个
一.介绍OpenCV是最流行的计算机视觉任务库,它是用于机器学习、图像处理等的跨平台开源库,用于开发
实时计算
机视觉应用程序。
不想做程序猿的员
·
2023-11-13 11:17
python
opencv
计算机外设
[hive]
数仓
分层|用户纬度拉链表|维度建模
redirect=%2Fdb%2F241289一、
数仓
分层1、ODS层:原始数据层ODS(O=originalD=dataS=store)1)设计要点存储来自多个业务系统、前端埋点、爬虫获取的一系列数据源的数据
胖胖学编程
·
2023-11-12 16:52
数仓
hive
大数据
hadoop
Flink在汽车行业的应用【面试加分系列】
然后总结发出来方便大家阅读;另外一方面,看这些汇报对你的面试帮助会很大,特别是面试前可以看看即将面试公司在大数据前沿的发展动向(我曾经就有过一次经历,面试网易云音乐前,我在B站看了一个大佬分享的网易云实时
数仓
三石大数据
·
2023-11-12 09:15
面经
bigdata
大数据
面试
数据仓库
数仓
建设中,数据治理如何切入
在
数仓
建设中,数据治理扮演着至关重要的角色,它不仅有助于确保数据的质量和安全性,还能提高数据的可用性和可理解性。本文将探讨数据治理在
数仓
建设中的切入点和关键作用。
云长歌
·
2023-11-11 10:14
大数据
Blink 自定义函数(UDX)
Blink相关依赖,scope请使用provided,即provided其他第三方依赖请采用Shade方式打包UDX分类
实时计算
Flink版支持以下3类自定义函数。UDX分类描述
胜利的曙光
·
2023-11-11 10:59
阿里云
Flink
java
udf
hive
数据仓库-业务数据采集(基于物流
数仓
)
0、物流
数仓
架构这里的数据采集的架构就是:在业务数据进入MySQL之后,部分表通过DataX全量同步到HDFS,部分表通过Flink-CDC的增量同步方式同步到Kafka,再通过Flume将数据从Kafka
小鱼干换酒钱
·
2023-11-11 01:40
#
物流数仓
mysql
hadoop
flume
flink
数据仓库
数据仓库数据同步策略
1.实时
数仓
同步数据实时
数仓
数据由Flink源源不断从Kafka当中读数据计算,无需手动同步数据到实时
数仓
。
DB架构
·
2023-11-11 01:09
数据仓库
数据仓库
大数据
flume
hadoop
maxwell
Hive数据仓库知识点总结
文章目录数据仓库概念主要特征
数仓
和数据库的区别
数仓
的分层ETL概念Hive框架介绍和安装Hive的概述Hive的特点Hive的架构Hive的交互方式Hive的基础操作Hive的数据库操作Hive的表操作
shmily_lee
·
2023-11-11 01:39
hive
数据仓库
hadoop
大数据
干货 | 携程国际业务动态实时标签处理平台实践
作者简介Weiyi,携程资深数据开发,关注大数据相关技术,对大数据
实时计算
、流批一体等方面有浓厚兴趣;Hzhou,携程资深数据开发,关注大数据相关技术,对系统架构和实时处理等方面有浓厚兴趣;Rongjun
携程技术
·
2023-11-10 18:47
大数据
数据库
人工智能
spark
java
治理效率提升77%!揭秘基于DataLeap实时健康分的最佳实践
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景某企业实时
数仓
团队通过数据收集、整合、计算和存储构建实时数据仓库,为企业提供快速、准确、可靠的实时数据分析和决策支持
字节数据平台
·
2023-11-10 11:50
大数据
数据库
数据安全
数据治理
数据研发
直播实时
数仓
基于DataLeap开放平台在发布管控场景的业务实践
原有离线批处理的数据仓库已经无法满足诉求,因此需要打造一套同时具备高时效性和高稳定性的计算能力快速完成对数据的处理,即实时
数仓
。团队介绍直播实时
数仓
团队隶属于Data-数据平台部门,负责为直播中台业
字节数据平台
·
2023-11-10 11:14
大数据
数据库
数据安全
数据中台
数据研发
数据湖浅析(以hudi为例)
数据湖定义业界对于数据湖的定义存在一定争议,个人认为数据湖就是针对传统hive
数仓
不支持acid、upsert、schemaevolution等痛点上,提出的一种数据存储库。
weixin_45626756
·
2023-11-10 06:44
hive
大数据
hadoop
数据湖
hudi
数仓
增量表、全量表、快照表、拉链表
1、增量表增量表:新增数据,增量的数据是上次导出之后的新数据。(1)记录每次增加的量,而不是总量(2)增量表,只报变化量,无变化不用报(3)每天一个分区2、全量表全量表:每天的所有的最新状态的数据(1)全量表,有无变化,都要报(2)每次上报的数据是所有的数据(变化的+没有变化的)(3)只有一个分区3、快照表快照表:按日分区,记录截止数据日期的全量数据(1)快照表,有无变化,都要报(2)每次上报的数
使不得呀
·
2023-11-09 18:40
数据仓库
数仓
增量
全量
快照
拉链
如何撰写数据中台蓝图方案
数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行
数仓
建设以及最终的数据分析的可视化展现
数通畅联
·
2023-11-09 15:02
项目管理
数据中台蓝图方案
蓝图方案
尚硅谷大数据项目《在线教育之实时
数仓
》笔记007
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录第9章
数仓
开发之DWD层P053P054P055P056P057P058P059P060P061P062P063P064P065
upward337
·
2023-11-09 10:28
#
大数据数仓
大数据
大数据数仓
实时数仓
hadoop
zookeeper
kafka
flink
阿里巴巴大数据之路
数据计算层:阿里巴巴的数据计算层包括两大体系:数据存储及计算云平台(离线计算平台MaxCompute和
实时计算
平台StreamCompute)和数据整合及管理体系(内部称之为“OneData”)。从
xiaokaiabcde
·
2023-11-09 10:07
大数据
大数据开发
大数据学习
阿里巴巴
20000字详解大厂实时
数仓
建设(好文收藏)
一、实时
数仓
建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时
数仓
的能力来赋能。
zhisheng_blog
·
2023-11-09 03:36
powerdesigner
大数据
数据仓库
hashtable
控制器
面经-
数仓
-高途
1.hive和spark差异,优劣2.sql连续3天登陆3.sql行转列,列转行4.多维度groupingsets5.python装饰器6.数据质量7.sql关联键数据类型不一致,会有什么结果1.flink过程,算子2.druid和其他框架3.ch4.es和mysql和hbase
piscessssss
·
2023-11-09 03:06
博时基金数据开发面经
4、
数仓
的数据量多大?5、除了o层,
数仓
有多少任务?6、
数仓
的任务要跑多久?7、外部数据平台数据的流向?8、外部数据平台有哪些数据入到
数仓
?9、数据交换平台的应用场景?10、你们大数据平台几个节点?
大数据的奇妙冒险
·
2023-11-09 03:06
大数据面试八股文
数据仓库
大数据
面试
数仓
面试题(3)
1.内部表和外部表的区别:内部表是存储在关系型数据库中的表,而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问,而外部表则需要使用特定的连接器或接口进行访问和操作。此外,内部表的存储空间是有限的,而外部表则可以存储非常大的数据集。2.MapReduce的工作流程:MapReduce是一种编程模型,用于处理大规模数据集。它分为两个阶段:Map阶段和Reduce阶段
Young_IT
·
2023-11-09 03:34
大数据开发
1024程序员节
数据仓库
大数据
大数据入职阿里云面经
条理清晰阅读方便,转载是为了方便以后个人查阅https://mp.weixin.qq.com/s/F2TiFw-LYFXMRj_hsD-TIw一、面试准备面试前,我花了很多时间,对项目进行了梳理,尤其在业务
数仓
的分层和多维数据模型设计这块
Zsigner
·
2023-11-09 03:34
大数据面经
大数据面经
数仓
经典面试题
1.什么是数据仓库?请谈谈你对数据仓库的理解。数据仓库是一个用于存储和管理数据的系统,它可以将分散的、异构的数据源中的数据进行抽取、转换、清洗和整合,然后按照一定的模型和架构进行组织和存储,以便更好地支持决策分析和业务操作。数据仓库通常包括数据源、ETL(提取、转换、加载)过程、数据存储和数据查询等组成部分。2.什么是数据中台?请谈谈你对数据中台的理解。数据中台是一个集数据采集、数据处理、数据存储
Young_IT
·
2023-11-09 03:04
大数据开发
1024程序员节
数据仓库
etl
大数据
数仓
面经大框架
1.计算机及编程基础:操作系统:进程、线程等数据结构:算法题计算机网络:分层等Linux:常用的指令MySQL(重点)Java/Python基础排序算法(快排、归并等)2.大数据组件Hadoop:HDFS(重点),MapReduce(重点),YarnSparkHive从功能,原理,组成,运行流程调优(重点),Hive调优(参数、sql),Spark调优(资源、开发算子、数据倾斜、参数)3.数据仓库
Young_IT
·
2023-11-09 02:03
大数据开发
大数据
数据仓库
数据分析
Databend 开源周报第 113 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-11-08 20:08
数据库
开源
云原生
Databend 开源周报第 114 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-11-08 20:08
云原生
数据库
开源
Databend 开源周报第 117 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-11-08 20:08
开源
Databend 开源周报第 118 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-11-08 20:36
开源
阿里云认证 | 2023年ACP认证考试大揭秘
它涵盖了大数据计算服务、大数据开发与治理平台、
实时计算
、实时数据仓库、检索分析服务、数据湖、大数据分析与可视化等多个方面的内容。
HCIE考证研究所
·
2023-11-08 16:24
网络工程师
运维
华为认证
网络
服务器
阿里云
ACP
Flink SQL TopN语句详解
TopN定义(⽀持Batch\Streaming):TopN对应离线
数仓
的row_number(),使⽤row_number()对某⼀个分组的数据进⾏排序。
猫猫爱吃小鱼粮
·
2023-11-08 09:14
flink
sql
基于亚马逊云科技Serverless架构的实时
数仓
架构
近年来,各级政府和企业响应数字化转型的号召,都已开始或者即将开始数字化转型。各类企业通过前期的业务线上化、信息化,积累了大量数据,而数字化转型就是要聚合这些数据,进行深入挖掘分析,用数据来驱动业务,用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化,进而实现降本增效。要实现数据价值,建设数据仓库是在数字化转型过程中不得不面对的一项任务。数据仓库汇聚各个业务部门数据,避免数据孤岛,使
Discovering_
·
2023-11-08 05:50
科技
serverless
架构
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他