ods

电商-订单模块，用思维图给你分析个透

但暂未涉及到退货（订单的逆向流程）、ODS-订
Allan冰茶·2020-01-06 03:04

数据仓库中的ODS DW DM理解

1.DW1.1简介datawarehouse(可简写为DW或DWH)数据仓库,是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”,而是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础,主要应用于OLAP（On-LineAnalyticalProcessing）,支持复杂的分析操作，侧重决
fantasticMao·2020-01-02 20:58

维度建模

ODS：数据来源：一部分是来自关系型数据库，符合ER模型。一部分来自日志，清洗成二维表DWD：把所有的数据清理整合，规范化。脏数据清理，命名不规范的。最后拿到的是干净的，一致性的数据。
锋锋2019·2019-12-30 08:00

Java + Spark SQL + Hive + Maven简单实例实现

分布式集群搭建：hadoop分布式集群搭建spark分布式集群搭建:spark分布式集群搭建hive分布式集群搭建：待完善二.项目代码实现1需求通过SparkSql查询Hive数据库数据数据库：bi_ods
a123demi·2019-12-21 23:05

Core Table Housekeeping案例1

分享一下自己做CoreTableHousekeeping的思路…首先说下背景：我们系统没有使用warehouse，用的是ODS，因为考虑到改动和测试量很大，所以暂不考虑建数仓。一、为什么要做数据清理？
小代嘚吧嘚·2019-12-21 10:39

Corundum纳米氧化铝弥散强化铜材料成功研制

Corundum纳米氧化铝弥散强化铜材料纳米氧化铝弥散强化铜是一种高强度高传导性能的铜合金产品，氧化铝铜又称为弥散铜，弥散铝铜，三氧化二铝铜，陶瓷铜，铝铜，弥散强化铜，ODS等，该复合材料是用12-25
通项公司·2019-12-20 12:28

数据仓库开发之路之二--概述整个开发流程

数据仓库整体项目流程是一个比较复杂的过程，设计到不少内容，从横向来看，一般可以分为：1）数据整合层，或者称为操作数据层（ODS），根据项目的需要
伍华聪_开发框架·2019-12-19 00:19

博科资讯牵手中化蓝天打造集团物流系统，助力“环保撑起蓝天”

中化蓝天集团有限公司是中国中化集团有限公司（2017年全球500强第143位）成员企业，是国内最早从事ODS替代品研究和生产的企业，独立开发了40余个ODS替代品品种，生产的产品超过50种，每年可减少上万吨
ERP订阅号·2019-12-18 21:07

Java 将Excel转为图片、html、XPS、XML、CSV

通过文中的方法，可支持将Excel转换为包括PDF、图片、html、XPS、XML、CSV、PCL、ODS、PostScript、以及OfficeExcel不同版本，如，version97-2003，version2007
E-iceblue·2019-12-16 15:00

建外表实例

CREATEEXTERNALTABLE`ods_opay_user_order_hi_test`(`__db`stringCOMMENT'fromdeserializer',`__server_id`stringCOMMENT'fromdeserializer
锋锋2019·2019-12-14 21:00

记一次hive中遇到的坑

0x01今天，由于公司要进行新老数据仓库的迁移，于是顺便接手了其中一部分的工作，其实大部分迁移工作都比较简单，就是把从ods层-dw层-dm层-sh展示层中涉及到旧仓库的表替换成新仓库的表，并且检查其中字段的差异性
我的学长是王欣·2019-12-13 15:52

Java 将Excel转为PDF_基于Spire.Cloud.Excel

Spire.Cloud.ExcelSDKJava提供GeneralApi接口和WorkbookApi接口，支持将本地Excel和云端Excel文档转换为ODS,PDF,XPS,PCL,PS等格式。
E_iceblue·2019-12-11 11:06

Java 基于Spire.Cloud.Excel 将Excel转为PDF

Spire.Cloud.ExcelSdk提供GeneralApi接口和WorkbookApi接口，支持将本地Excel和云端Excel文档转换为ODS,PDF,XPS,PCL,PS等格式。
E-iceblue·2019-12-10 14:00

取投料成本

SelectSum(nvl(mta.base_transaction_value,0))base_transaction_valueFrom/*wip_repetitive_itemswri,*/bi_ods.ods_ebs_wip_discrete_jobswdj
shuihaya·2019-12-06 16:00

2019-10-21 OneData建设探索之路：SaaS收银运营数仓建设（整理）

https://mp.weixin.qq.com/s/MyzhP-HGwNnjHeRjQk8fqQ(1)模型分层(2)模型数据流向重构之后，稳定业务按照标准的数据流向进行开发，即ODS-->DWD-->
佳兰小筑·2019-12-01 07:14

ASAM ODS

历史ODS是由ASAM开发的第一个标准之一，达到追溯到1990年初次。该标准的发起者和主要贡献者是宝马，戴姆勒和保时捷。
达微·2019-11-29 20:44

离线项目（三）数据仓库的设计

离线项目（三）数据仓库的设计文章目录离线项目（三）数据仓库的设计一：数据仓库的分层ODS层DWD层DWS层ADS层二：关于数据仓库和数据集市1.**数据仓库**：2.
Keep hunger·2019-11-14 19:16

数据仓库DW、ODS、DM概念及其区别

整体结构在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向数据中心整体架构.pngDB是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL的是Extract-Transform-Load的缩写，用来描述将数据从来源迁移到目标的几个过程：Extract，数据抽取，也就是把数据从数据源读出来。Transform，数
mr_酱·2019-11-06 08:50

R2 | #30天专注橙长计划#~SAS~Day 25

但用ODS，可以储存从过程输出的任何一部分。首先要使用ODSTRACE语句决定选择输出对象名。然后使用ODSOUTPUT语句将输出对象发送到OUTPUT目的地中。
胡阿白·2019-11-05 06:30

js-xlsx使用

1.js-xlsx介绍由SheetJS出品的js-xlsx是一款非常方便的只需要纯JS即可读取和导出excel的工具库，功能强大，支持格式众多，支持xls、xlsx、ods(一种OpenOffice专有表格文件格式
Jiao_0805·2019-11-04 19:21

数据仓库分层架构

ODS层ODS的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。ODS全称是OperationalDataStore，操作数据存储.
xibuhaohao·2019-10-22 11:00

【论文】Gorilla In-Memory Time Series Database

Gorilla:AFast,Scalable,In-MemoryTimeSeriesDatabase特性分布式，全内存，一致性要求不高，底层有ODS，背景需求10M写入，4万读取，ms级别读取（我们的读取
梦想家·2019-10-22 08:54

大数据开发工程面试（途家）

写一个单例模式nameNode的作用SecondaryNameNode作用冒泡排序写出MapReduce过程并讲解gc常用的算法二面：项目：用到的表有哪些，数据量、分层，数据从一开始到结束的转换过程（ods
银角大王等唐僧的日子·2019-10-15 22:21

DW-ODS

ODS（操作数据存储）编辑讨论操作数据存储ODS（OperationalDataStore）是数据仓库体系结构中的一个可选部分，也被称为贴源层。
xibuhaohao·2019-10-14 14:00

对数据仓库ODS DW DM的理解

原文链接：https://www.jianshu.com/p/72e395d8cb33今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。
xibuhaohao·2019-10-14 13:00

【漫谈数据仓库】 如何优雅地设计数据分层 ODS DW DM层级

转载http://bigdata.51cto.com/art/201710/554810.htm一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景or数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段，发现数据的使
Tim&Blog·2019-09-18 08:00

spark-shell如何粘贴换行代码

把代码写好，然后复制到spark-shell上面，这个时候就会出现如下问题：比如我复制如下代码（有换行）：sql(sqlText="selectstatis_month,count(*)fromods.ods_app_score_mwherest
SunnyRivers·2019-09-03 14:10

数仓概念理解精华汇整(1)

ODS全称是OperationalDataStore，操作数据存储；这一层面的数据却不等同于原始数据。在源数据装入这一层时，要进行诸如去噪（例如去掉明显偏离正常水平的银行刷卡信息）、去重（例如银
BabyFish13·2019-08-30 18:54

hive分层设计详解

今天也要努力学习源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。
wuyue_fighting·2019-08-28 21:27

系列 | 漫谈数仓第一篇NO.1 『基础架构』

本文不再多再介绍，之前文章已有深入介绍，如有兴趣可看这篇文章：02.逻辑分层数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四
仙子紫霞·2019-08-28 08:00

数据仓库的一些简单概念

1、典型的数据仓库系统包括以下几个部分：数据源ETL(数据抽取、转换和加载)数据仓库数据集市前端展示（包括报表、多维展示等）2、ODS、DW、DM区别image.png参考资料：https://www.zhihu.com
CrispinWu·2019-08-27 13:36

大数据模块开发----ETL

1．创建ODS层数据表1.1．原始日志数据表droptableifexistsods
qq5d3e5bae55f08·2019-08-26 09:48

什么是ETL,ODS,DW,DM

数据抽取数据拙取部分是将数据从各个不同的数据源抽取到ODS(OperationalDataStore,操作型数据存储)中，在抽取的过程中需要挑选不同的抽取方法，尽可能地提
里回头·2019-08-25 20:07

proxmox6 ceph部署

attacker/blog/3095837基础准备pve1》ntp服务pve1、pve2、pve3加入集群安装ceph图解在线安装监视器和mangerODSceph文件系统补充ceph不建议使用raid盘，ods
chouxi8962·2019-08-21 22:00

sqoop导入mysql数据到Hive的各种方案

mysql数据导入数据仓库Hive的各种方案采用sqoop向hive中导入原始数据形成ODS层，之后可以在原始数据的基础上进行增量备份数据（定时同步）或者通过canal解析binlog（实时同步）日志进行同步数据
XDSXHDYY·2019-06-30 19:20

create table ...as备份表和create table xxx like xxx 复制表结构

使用createtable…as备份表源表建表语句CREATETABLEdc_ods.miu_company_member_acct_itme_info_ods(acctitemidSTRING,memberidSTRING
Shyllin·2019-06-20 10:11

数据仓库为什么要分层

第一家公司的老数仓技术架构：mysql+kettle，分层s（ods）层、b层（有点记不清了，一个是取数据，一个是做拉链）、m层（根据业务设计的表：贷前loan_before、贷后loan_after，
我爱听听力·2019-06-14 18:18

迁移历史sql数据

--select*intoTrade2018fromAozzo_ODS..Tradet1--wheret1.Created<'2019-01-01'--创建索引--createindexix_Trade2018
隨風.NET·2019-06-09 22:00

数据仓库之拉链表

为实现订单表存储，常用解决方案及存在问题（1）快照表（2）全量历史表==（3）历史拉链表==3.拉链表更新方案（1）假设（2）表结构及hivesql语句（3）更新步骤1）全量初始化第一步：抽取全量数据到ODS
HW_870754395·2019-06-03 21:40

ETL基础理论 学习笔记

3、ETL的作用：负责将分布的、异构数据源中的数据如关系数据、平面数据文件等取到临时中间层（ods层）后进行清洗、转换、集成，最后加载到数据仓库（dw层）或者数据集市（dw层）中，成为联机分析处理、数据挖掘的基础
柠檬1993·2019-06-03 15:28

java.sql.SQLException: java.lang.RuntimeException: serious problem

select*from evchk_ods.ODS_CAR_DRIVE_INFO_P_D报错如下：java.sql.SQLException:java.lang.RuntimeException:seriousproblem
Andree·2019-05-31 18:11

DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解

虽然一直在接触这些专业的名词，但是一直理解的不深刻，所以今天特地查了一些官方解释和很多优秀的博客文章，将关于这些方面的理解记了下来，先将这些简称做一个解释：1、DB（DataBase）:数据库，一般指的就是OLTP数据库，在线事物数据库，用来支持生产的。DB保留的是数据信息的最新状态，只有一个状态！2、DW（DataWarehouse）：数据仓库，保存的是数据在不同时间点的状态，对同一个数据信息，
奇怪君996·2019-05-27 10:10

银行数据仓库体系实践（1）--银行数据仓库简介

对银行系统架构特别是数据仓库/ODS等数据类系统有一定的经验积累，准备将之前的一些经验整理成文，一来为自己工作做个总结梳理，二来也希望能和大家互相讨论，共同学习，探讨新技术、新架构以及趋势。
acumen_leo·2019-05-19 21:14

使用kettle自动增量导入数据

oozie的流程细节并不是件轻松的事.kettle可以提供一个图形化的用户环境,来描述我们要做的每一步工作,以方便后期运维.此次流程中,数据从mysql增量导入到hdfs,然后加载(load)到hive中的ods
IAmListening·2019-05-19 20:04

数仓架构实践1：阿里五层模型架构

1.ODS数据准备层功能：ODS层是数据仓库准备区，为DWD层提供基础原始数据，可减少对业务系统的影响建模方式及原则：从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据不做清洗转换与业务系统数据模型保持一致
BabyFish13·2019-05-17 13:23

数仓架构实践1：阿里五层模型架构

1.ODS数据准备层功能：ODS层是数据仓库准备区，为DWD层提供基础原始数据，可减少对业务系统的影响建模方式及原则：从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据不做清洗转换与业务系统数据模型保持一致
BabyFish13·2019-05-17 13:23

大数据平台层级架构图

数据平台层级架构图主流数据平台架构一般包含三个层级，ODS层、数据仓库层、数据应用层。
juhengzhe·2019-05-16 17:22

CDH使用azkaban整合sqoop来做数据采集

其实也就是需要整合ods层数据内容如下，非常的简单azkaban整合sqoop来抽取mysql数据到hive中来。
大壮vip·2019-05-15 17:44

CDH简单的hive示例

首先准备hive数据，这个例子ok之后，我们要开始数据仓库建设了，我们分4层即可，ods数据准备层、dw数据明细层、dm数据集市、st数据应用层构建数据仓库createdatabasetest;showdatabases
大壮vip·2019-05-14 15:48

sqoop导入、导出数据，运行为job方式

来提高效率：sqoopjob方式设置导数据：sqoopjob\--creategp1919_bap_user\--import\--connectjdbc:mysql://mini4:3306/qfbap_ods
ZhuangYQ丶·2019-05-10 21:05
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他