ODS

2024年大数据最新实时数仓之实时数仓架构(Hudi)

Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有
2401_84181221·2024-09-09 19:04

SQL数据库分层模板代码(建议根据所需进行调整)

SQL数据库分层模板代码SQL分层模板代码1.CreateTable1.1ODS层建表1.2DWD层建表1.3DWS层建表1.4.ADS层建表2.CreateProcedure2.1DWD层存储过程2.2DWS
巴依老爷coder·2024-09-07 09:22

Spark通过jdbc性能调优--采用分区的方式从oracle读数据

spark通过jdbc读取Oracle，当数据量很大的时候会出现两个问题：读取数据异常缓慢，甚至卡死大表中进行操作也会出现OOM的问题调优常规的读取数据库的方式如下ods_bdz=spark.read.format
korry24·2024-02-14 18:08

Java 将Excel转为PDF、图片、HTML、CSV、XML、XPS

通过文中的方法，也可支持将Excel转换为其他文档格式，如PCL、ODS、PostScript、以及OfficeExcel不同版本，比如version97-2003，version2007，versi
Tina_Tang·2024-02-04 02:05

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

1、汇总指标层模型设计原则及步骤1.1建设目标：汇总指标层也叫中间层，他提炼出对ODS具有共性的数据访问、统计需求，从而构建出的一个面向支持应用的、提供共享的数据访问服务的公共数据。
acumen_leo·2024-02-02 13:38

基于DataX完成数据导入-仅新增方案

仅新增方式:订单退款表为例,探讨如何完成仅新增方式导入操作从业务库将数据导入到ODS层,分为首次导入和增量导入两部分,其中首次导入指的第一次建表,导入数据,此时一般都是全量导入,后续每一天都是采用增量导入的方式
t_813·2024-01-31 22:33

spark写hive的ORC表，count(*)没数据

使用spark向hive中插入数据，hive表是ORC表spark.sql("insertoverwritetableods.ods_aaapartition(pt,id)\n"+"select\n"+
青云游子·2024-01-30 09:49

数据仓库 (Data Warehouse，DW)

SubjectOriented2.2集成Integrated2.3非易失Non-Volatile2.4反应历史变化TimeVariant3、数据仓库VS数据库4、数据仓库分层架构4.1缓冲层(数据接入层)4.2贴源层(ODS
猿来孺词·2024-01-29 10:25

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

1、汇总指标层模型设计原则及步骤1.1建设目标：汇总指标层也叫中间层，他提炼出对ODS具有共性的数据访问、统计需求，从而构建出的一个面向支持应用的、提供共享的数据访问服务的公共数据。
南极找南·2024-01-27 08:21

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

用flinkcdc debezium来捕获数据库的删除内容

但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。
后季暖·2024-01-23 11:17

数据仓库系列10- 数据仓库规范

image.png当前DW结构现况image.png1.1.1ODS(源数据层)  ODS层，是最接近数据源中数据的一层，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即可
只是甲·2024-01-23 06:20

数据集成时表模型同步方法解析

01背景介绍数据治理的第一步，也是数据中台的一个基础功能—即将来自各类业务数据源的数据，同步集成至中台ODS层。业务数据源多种多样，单单可能涉及到的主流关系型数据库就有近十种。
KaiwuDB 数据库·2024-01-20 23:58

ETL概念集锦

zh.wikipedia.org/wiki/ETLDW(Datawarehouse)数据仓库https://zh.wikipedia.org/wiki/%E8%B3%87%E6%96%99%E5%80%89%E5%84%B2ODS
weixin_34220623·2024-01-20 17:22

FineBI实战项目一（25）：实战项目一总结

实在项目使用mysql做数仓库的ODS层，这仅仅是带领大家入门，用mysql做数仓存在很多问题。
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

数仓架构图

阿里巴巴的数据团队把表数据模型分为三层：操作数据层（ODS）、公共维度模型层（DM）和应用数据层（DS），其中公共维度模型层包括明细数据层（DWD）和汇总数据层（DWS）。模型层次关系如9.9所示。
liuxiaolin·2024-01-19 01:27

统一OLAP查询平台之语义层

首先，从ODS层开
XianMing的博客·2024-01-14 11:27

企业级大数据项目【4】数仓-业务域ODS-DWD-ADS开发篇

1概要说明业务域的数据来自业务系统的数据库通过sqoop（或datax）抽取到数仓的ods层在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表在明细层基础上，进行各类主题的数据统计
江湖人称涛哥·2024-01-14 06:32

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8
雷神乐乐·2024-01-14 06:01

数仓建设指南

数仓建设指南数据模型架构规范数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。
左美美 ￣　　·2024-01-13 06:04

数仓分层结构

--图片来源尚硅谷ODS层：数据存储格式：JSON/TSV+gzip压缩（默认）OperateDataStore--存储从mysql业务数据库和日志服务器的日志文件中采集到的数据--日志数据--格式:JSON
Young_IT·2024-01-09 06:40

基于DataWorks+MaxCompute的公共电影票房数据预处理实践

maxcompute_public_data.dwd_product_movie_basic_info(电影基本信息，包含影片名、导演、编剧、主演、影片类型等基础信息)表和maxcompute_public_data.ods_product_movie_box
周周的奇妙编程·2024-01-08 00:43

Mac安装Pytorch（附网盘链接、Pycharm配置）

1.在官网安装PyTorch（官网比较慢建议网盘，用外网快）2.百度网盘：链接:https://pan.baidu.com/s/1pLNtWN409u1JGi28oDS2pQ?
饿了就去喝水·2024-01-07 03:26

数据仓库开发教程 (DW) 之数据模型架构&编码规范

数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。
禅与计算机程序设计艺术·2024-01-03 08:38

LDC: Lightweight Dense CNN for Edge Detection

与轻量级模型（参数小于100万的模型）相比，所提出的体系结构生成了薄边缘图，并达到了最高分数（即ODS），与重型体系结构（参数约为3500万的型号）相比，达到了类似的性能。
努力的小柚·2024-01-01 16:39

[C#]使用ONNXRuntime部署一种用于边缘检测的轻量级密集卷积神经网络LDC

但边缘检测的大多数工作都致力于通过设计非常深入的网络来实现更高的度量（即ODS、OIS、AP），这导致了计算操作数量的增加。遗憾的是，这些边缘检测方法对于低容量设
FL1623863129·2024-01-01 16:34

数据中台-架构、构建与体系建设

构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-打破企业数据孤岛数据开发-提取数据价值数据体系建设贴源数据层ODS
Ybb_studyRecord·2023-12-30 03:53

数据仓库-数仓优化小厂实践

二、优化1、简易架构图2、ODS层优化2.1分段式解析随着业务增长，数据量也不断增加，凌晨任务经常基线预警、破线，导致数据不能正常产出，影响运营人员分析数据。在不增加成本的情况尽可能的优化。
大数据点滴·2023-12-29 09:25

Hive安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-29 02:29

Hudi中MOR与COW区别，MOR表新建后ro/rt区别

Hudi表可以支持多种数据类型，如（1）Merge-On-Read（MOR-读时合并）；（2）Copy-On-Write（COW-写时复制）；其次，区别如下：（1）MOR，写入快，适用于源端数据快速接入ODS
p1i2n3g4·2023-12-28 17:41

ODS DW APP DIM 数仓

ODS：通过ETL工具从源端系统抽取数据，存入ODS层；DW：从ODS层数据进行抽取并按主题进行分类存储；DWD（数据明细层）：会对ODS的数据做一定的清洗和汇总，然后生成DWM中间表；DWM（数据中间层
p1i2n3g4·2023-12-28 17:41

Flink on K8s 企业生产化实践

平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学
house.zhang·2023-12-28 15:00

Hadoop安装笔记_单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-28 12:32

pgsql建表语句，并设置自增主键code

2.一定加表的说明COMMENTONTABLE"xlbigdata_ods"."
北凉-徐凤年·2023-12-26 20:07

电商数仓笔记6_数据仓库系统（数仓搭建-ODS层，数仓搭建-DIM层）

电商数仓一、数仓搭建-ODS层1、ODS层（用户行为数据）（1）创建日志表ods_log（2）Shell中单引号和双引号区别（3）ODS层日志表加载数据脚本2、ODS层（业务数据）（1）ODS层业务表首日数据装载脚本
明灭18·2023-12-26 17:17

数据仓库【2】：架构

、数据转换（Transformation）2.1.3、数据加载（Loading）2.2、ETL工具2.2.1、结构化数据ETL工具2.2.1、非|半结构化数据ETL工具3、数据积存3.1、操作数据层（ODS
QQ719872578·2023-12-26 06:57

数据仓库【5】：项目实战

1.1、项目背景1.2、复购率计算2、数据描述3、架构设计3.1、数据仓库架构图4、环境搭建4.1、环境说明4.2、集群规划4.3、搭建流程5、项目开发5.1、业务数据生成5.2、ETL数据导入5.3、ODS
QQ719872578·2023-12-26 01:59

【大数据】数据仓库之模型层和ETL介绍

STG层主要是面向批处理的形式，如果是根据日志信息实时同步，可以跳过STG层直接进入ODS层。STG的作用开发步骤确定CDC策略，根据源系统的数据状况选择一个合适
summer108·2023-12-25 06:06

电商数仓项目----笔记六(数仓ODS层)

ODS层的设计要点如下：（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构。（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip。
zmx_messi·2023-12-24 12:38

电商数仓项目----笔记五(数仓架构和建模)

ODS：数据源DWD：加工数据DWS：统计数据ADS：分析数据DIM：维度层（大家都有可能用得上的部分）ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度，用实体关系（EntityRelationship
zmx_messi·2023-12-24 11:35

基于Hue，Dolphinscheduler，HIVE分析数据仓库层级实现及项目需求案例实践分析

目录一、数仓各个层级及作用1，ODS层（OperationDataStore-源数据层）2，DW层（DataWarehouse-数据仓库层）(1)DWD(DataWarehouseDetail-明细数据层
Len°·2023-12-24 11:32

Flink电商实时数仓（三）

DIM层代码流程图维度层的重点和难点在于实时电商数仓需要的维度信息一般是动态的变化的，并且由于实时数仓一般需要一直运行，无法使用常规的配置文件重启加载方式来修改需要读取的ODS层数据，因此需要通过Flink-cdc
十七✧ᐦ̤·2023-12-21 18:48

Spark安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-19 10:16

hdfs文件复制方法

并拷贝修复数据--1、复制表结构createtablet1liket2;--2、复制文件数据hadoopdistcp-update-skipcrccheck-m300hdfs://ns1/warehouse/ods.db
菜鸟冲锋号·2023-12-18 20:54

Flink电商实时数仓项目03-DWM层

1DWM层与DWS层的设计思路1.1设计思路用户行为日志：模拟日志jar->nginx->web日志服务器->kafka(ods_base_log)->flink(BaseLogApp
最佳第六六六人·2023-12-18 14:45

Flink电商实时数仓项目04-DWS层

ODS层:--日志数据：nginx+日志采集服务器(3台)将数据采集到Kafka(ods_base_log)--业务数据：Maxwell监控MySQL(binlog)将数据
最佳第六六六人·2023-12-18 14:45

Flink实时电商数仓（一）

核心架构日志服务器：采集日志文件Kafka集群：消息缓存HDFS存储：即hadoop集群Hive分层数仓：ODS+
十七✧ᐦ̤·2023-12-18 14:14

抽稀点要素,计算角度

pShp0,constQString&pShpRes,constint&interval){//注册GDALAllRegister();OGRRegisterAll();//读取原图层GDALDataset*oDS
累了就要打游戏·2023-12-17 07:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他