ODS

基于SSD的Kafka应用层缓存架构设计与实现

如下图所示，业务日志、接入层Nginx日志或线上DB数据通过数据采集层发送到Kafka，后续数据被用户的实时作业消费、计算，或经过数仓的ODS层用作数仓生产，还有一部分则会
美团技术团队·2021-01-17 20:11

Hadoop离线 day20 数据仓库设计、ETL和统计分析

数据仓库设计、ETL和统计分析二、模块开发----数据仓库设计1．维度建模基本概念2．维度建模三种模式2.1．星型模式2.2．雪花模式2.3．星座模式3.2．维度表设计三、模块开发----ETL1．创建ODS
weixin_39210914·2021-01-09 20:29

数仓工具—Hive语法之窗口函数练习和总结(15)

窗口函数练习窗口函数其实日常中用的是比较多的，加上之前我们分别介绍了各个窗口函数，今天我们就练习和总结一下题目题目一：每个用户截止到每月为止的最大交易金额和该月的累积总交易金额数据源格式如下表名表注释字段字段注释ods_sales_orders
不二人生·2021-01-09 12:16

不同类型的事实表导入操作总结

导入到ODS层！导入DWD层，只需要从ODS层，取出当天导入的新增的数据即可！二、周期型快照事实表由于周期型快照事实表的数据是会发生变化，所以导增量不合适。每天做一次快照，导入的数据是全量，区别于事
大数据面壁者·2021-01-08 20:43

NoSuchObjectException(message:ods_db.event table not found)

hudi同步数据报错org.apache.hudi.hive.HoodieHiveSyncException:Failedtogetupdatelastcommittimesyncedto20210103154432atorg.apache.hudi.hive.HoodieHiveClient.updateLastCommitTimeSynced(HoodieHiveClient.java:658
鸭梨山大哎·2021-01-03 15:05

数仓建模分层理论

分层建设理论简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构
不负此生·2020-12-24 23:25

数仓建模分层理论

分层建设理论简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构
不负此生·2020-12-24 22:32

existed hive ods_数据仓库之Hive快速入门 - 离线&实时数仓架构

数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL(Extract(抽取)、Transform(转换)、Load(加载))理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计
weixin_39658474·2020-12-21 04:20

existed hive ods_Hive数据仓库实战

文章目录前言一、Hive原理和功能介绍二、Hive安装部署三、HiveSQL操作UDF函数Hive数据仓库模型设计总结前言Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。一、Hive原理和功能介绍Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提
weixin_39712724·2020-12-21 04:19

数仓建模—分层建设理论

分层建设理论简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构
不二人生·2020-12-05 19:03

DW层更新：HIVE脚本三步实现“缓慢变化维2更新”--保留历史数据

今天，就分享一下我过去一周的两点工作收获：1、DW层更新：“缓慢变化维2更新”，HIVE脚本三步实现2、ODS层更新：源数据去重的两种方式“缓慢变化维1”是全量覆盖，一步到位。
猫有九条命*·2020-12-05 11:12

（二）ODS层更新：源表和目标表，没有last_update,比对取增量，却重复抽到某部分数据，怎么解决？

源表和目标表，比对的时候，某部分数据，每次比对都被认为是“新数据”，然后每次抽取比对都会被过滤到目标表，从而造成目标表有很多重复数据，是什么原因呢？原因是该表的多个字段“数据缺失严重”，我们比对数据前是已经给空值/空格填了默认值，也就是说这些被填充过的字段，是有很多重复值的。我们联表查询时，关联字段时有重复值时，那这次查询肯定会发散，而我们用的kettle【合并记录】插件的原理也是联表查询。我的上
猫有九条命*·2020-11-29 09:45

（一）ODS层更新：如果源数据没有“更新时间“字段，如何作增量抽取？我都踩过这些坑

增量抽取，无疑可以提高数仓的数据抽取效率和节省存储空间。一、源数据有“更新时间”字段源数据，有更新字段时（last_update),增量抽取的步骤：(流程概览）步骤二：细节–从"从步骤插入数据"选项获取上个步骤的结果集作为参数二、源数据无“更新时间”字段好，到主题了。源数据，有”更新时间“，抽起来真舒服，可现实的业务场景，源系统给我们的源表呢，是多张表拼凑起来的视图，然后源系统的开发人员，不知道是
猫有九条命*·2020-11-21 08:52

数据仓库——上篇

文章目录一、数仓分层1.1数仓的分层1.1.1ODS(原始数据层)层1.1.2DWD(数据明细层)层1.1.3DWS(数据服务层)1.1.4DWT(数据主题层)1.1.5ADS（数据应用层）1.1.6总结二
平平无奇小码农·2020-11-05 23:13

电商数仓项目（一）

可以帮助企业，改进业务流程，提高产品质量二.数仓分层1.数仓分层ODS层：原始数据层。存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。DWD层：明细数据层。对ODS层数据进行清洗（去除空值
Tang Pangpang·2020-10-15 10:05

大数据之ETL设计详解

数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一些数
weixin_30731287·2020-09-17 05:41

正则表达式在各种语言中使用

*(ods_ogg_erp_cd[\w-]{1,1000}).*$")pattern=re.compile("ods_ogg_erp_cd[\w-]{1,1000}")
丢掉了一根头发·2020-09-17 05:17

ogg抽取进程找不到归档处理事件

考虑到目标端ODS数据仓库层需要实时同步过来的数据，火速赶往之，去看看到底是什么情况导致的。
kevin_LCC·2020-09-17 04:17

【大数据架构】大数据数据仓库与数据中台架构

名词解释数据仓库（DataWarehouse，DW）数据分层：ods层：存储原始数据dwd层：清洗数据，去除空值、脏数据，超过极限范围的数据，数据脱敏，得到干净的数据dws层：轻度汇总，形成数据宽表（有数据冗余
魏晓蕾·2020-09-17 03:37

数据中台实践手记——数据体系搭建

数据体系搭建步骤业务板块->数据域->事实表->数据同步（ELT）梳理业务数仓的数据流程图业务表结构梳理业务数仓分层规划资源准备（MaxCompute、DataWorks、RDS等）配置任务ODS（hive
Virgil_Ye·2020-09-17 00:49

项目过程管理（三）文档组织规范

总则所有文档以在线文档系统（OnlineDocumentationSystem，下文简称ODS）为中心进行管理，ODS不方便存放的东西才放到SVN（或Git）。
hursing·2020-09-16 18:58

hive导出csv文件

sethive.cli.print.header=true;sethive.resultset.use.unique.column.names=false;select*fromxyy_bigdata_ods.user_city_tag
时间_实践·2020-09-16 15:52

数据仓库分层模型

1.空间换时间2.便于计算3.逻辑清晰2.业务数据库(mysql,mongdb,oracle数据源)ODS（可操作数据层）DW（数据仓库层）DWD层（数据明细层）负责数据的最细粒度的数据经过了ODS层清洗
威风少侠·2020-09-16 15:18

算法面试必备-----数据仓库常见面试题

元数据管理功能数据管理标准元数据管理系统ODS:OperationalDataStoreDataMartDDS(d
Avery123123·2020-09-16 14:47

awk如何取出它的每一行和某一列的某个元素

=====================================================awk进行列求和【awk'{a+=$0}END{printa}'】：Partitionods.ods_studen
buster2014·2020-09-16 13:40

awk如何取出它的每一行和某一列的某个元素

=====================================================awk进行列求和【awk'{a+=$0}END{printa}'】：Partitionods.ods_studen
bang152101·2020-09-16 13:07

美团DB数据同步到数据仓库的架构与实践

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(OperationalDataStore)数据。
weixin_34310785·2020-09-16 02:46

Spark SQL Dataframe 写入oracle

E6%8D%AE%E5%BA%93%E7%A4%BA%E4%BE%8B/以下是写入Oracle数据库valurl="jdbc:oracle:thin:@//ip:1521/数据库名称"valuser="ods"valpassword
E_Possible·2020-09-15 21:59

数据仓库DM、DW和ODS等概念区分

层次：DM、DWD、DW、ODS、ST、STAGEDM——数据集市DW——数据仓库ODS——操作性数据STAGE——数据接口一、数据中心整体架构数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库
Jeremy_Lee123·2020-09-15 19:00

物化视图刷新-落地表-调度过程

--1.creatematerializedviewlogonYWUSER.BIAUTOPRICEXOMwithprimarykey;--在dblink远程表创建log--1.在ods用户下创建表，删表空间
wrh_csdn·2020-09-15 18:47

数据仓库知识之ODS/DW/DM

数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。
F_T_D·2020-09-15 06:44

传统数据仓库 DW/EDW/BI/ODS/DM/ETL

DW数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。EDW企业数据仓库数据仓库(DW)概念的创始人W.H.Inmon对数据仓库下了这样的定义：“数据仓库是一个面向主题的
@流浪地球·2020-09-15 06:50

项目描述之ODS

计划3－5年创建一个较完善的ODS系统，第一期建设先选取2个主数据（BOM&ITEM、HR员工基本信息和部门基本信息）和OrderODS，快速见效积累经验，指导后续建设；OrderODS以优先满足一线需求为主
oycn2010·2020-09-15 06:17

数据仓库简介-ODS、DW和DM概念区分

目录一、什么是数据仓库二、数据仓库与数据库的区别三、数据仓库的应用四、数据仓库的业务层级1ODS层2DW层3DM层一、什么是数据仓库数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。
AI二师兄·2020-09-15 06:43

ODS的基本知识

ODS的数据存储技术介于数据库和数据仓库之间，通过使用ODS克服了利用DW进行决策过于臃肿且不适合企业即时的中间层决策的问题。
iteye_10711·2020-09-15 06:35

ODS与DW的区别

背景知识：在当今这样一个信息技术发展迅速的时代，数据量也在不断的增长，面临这样的压力，总是会有大神提出一些解决方案。比如高层管理人员希望能查看整个公司的发展业绩，数据仓库(DataWarehouse,DW)正是解决该问题的主要方案，随之DW就这样产生了。可是时代在变，需求也会随着改变，比如保险公司的员工希望提高自己的业绩，拿更多的工资，那么他首先希望的就是能把更多的客户挖进来，其实这其中是有很多方
hegang1314·2020-09-15 06:03

关于ODS

ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。
freewyy·2020-09-15 06:31

数仓之ods与dw的区别

背景知识：在当今这样一个信息技术发展迅速的时代，数据量也在不断的增长，面临这样的压力，总是会有大神提出一些解决方案。比如高层管理人员希望能查看整个公司的发展业绩，数据仓库(DataWarehouse,DW)正是解决该问题的主要方案，随之DW就这样产生了。可是时代在变，需求也会随着改变，比如保险公司的员工希望提高自己的业绩，拿更多的工资，那么他首先希望的就是能把更多的客户挖进来，其实这其中是有很多方
冷雨夜下的星空·2020-09-15 06:29

数据集成在ODS项目的应用模式

ODS（Theoperationaldatastore），也叫运营数据存储，是用于支持企业日常的全局应用的数据集合，它是介于DB和DW之间的一种数据存储技术。
dinongxu8804·2020-09-15 06:58

ODS设计思路-ODS到DW同步

ODS作为DW和业务系统的中间数据层，保留了两者的部分特性，在基本数据上，继承了业务系统的数据形式和组织结构，但出于查询和分析的需求，也可以进行部分粗粒度的汇总，提供部分维度。
cnm123456001·2020-09-15 06:25

ODS与EDW的区别

根据自己的理解与实际项目经验，说说ODS与EDW的异同。如果有不对的地方，欢迎大家批评指正。
bitcarmanlee·2020-09-15 06:22

数据仓库与ODS的区别

我在公司的数据部门工作，每天的订单类数据处理流程大致如下：删除分析数据库的历史订单数据全量更新订单数据到分析数据库。（由于订单核心数据不大，所以经受得起这么折腾）将数据简单清洗，并生成数据集市层分析处理，产出报表。当然还有其他的数据也是这么处理的（比如产品的数据、景区的数据、票种的数据、供应商的数据等等）还有日志类的数据，这里不是重点，就不介绍了！这么干了一年，发现有如下问题：业务变化很快，比如业
aijia7039·2020-09-15 06:51

数仓建设过程中DB层增量到ODS层情况解析

to_date(days_sub(NOW(),1))前一天日期背景：每5个小时抽取一次oracle里面6个小时内的数据到DB层，抽完之后，将数据增量到ODS层DB层是textfile文件表，ODS层是parquet
xuyingzhong·2020-09-15 01:36

浅谈ODS与DW的区别-数据项目实战总结

浅谈ODS与DW的区别-数据项目实战总结ODS全称operationdatastore或者operationaldatastore，中文意思是操作型数据存储（数据被操作产生的，例如电商交易数据（客户买东西订单
果木·2020-09-15 01:31

ODS、DW、DM的区别

ODS：操作性数据仓库，最早的数据仓库模型。特点是数据模型采取了贴源设计，业务系统的数据结构是怎样的，ODS数据库的结构就是怎样的。
天地不仁以万物为刍狗·2020-09-15 01:11

kettle中ODS层往CDR层抽数据时主键出现乱码问题。

rawtohex(SYS_GUID())asROW_PK,--主键可用rawtohex()函数来解决此问题。此问题还会引发
qq_40447564·2020-09-15 01:23

数据仓库DW、ODS、DM概念及其区别

数据仓库DW、ODS、DM概念及其区别一、整体结构在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向数据中心整体架构DB是现有的数据来源(也称各个系统的元数据)，可以为mysql、SQLserver
Data_IT_Farmer·2020-09-15 00:16

数据仓库ODS、DW和DM概念区分

数据仓库ODS、DW和DM概念区分今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。
Data_IT_Farmer·2020-09-15 00:15

ods,dw,dm理解

ods，dw，dm解释与理解ods：操作性数据仓库ods的应用场景1.在业务系统和数据仓库之间形成一个隔离，ods直接存放从业务系统抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性
ml_hhy·2020-09-15 00:37

DW,DM,ODS的区别

此意义不大；假设所有有用户都在一个数据库里，如果因为某个原因数据库重启，那么会影响所有的应用，这违背了SOA设计理念中低耦合的思路，当然建在不同的库也是不好的，比如我们要有下钻操作，需要从DW层下钻到ODS
afumang5829·2020-09-15 00:11
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他