数据中台数据仓库

常见的中台架构

—01—数据中台通用体系架构不同的企业对数据有不同的需求。企业数据应用不断更新迭代，企业的中台系统也需要不断变化。从数据处理与数据治理两个维度出发，可以设计一个解耦的数据中台体系架构。
Elivis Hu·2024-01-04 08:10

GBase 8a GDCA认证之GBase 8a初认识

2、特性高性能高可用高扩展3、主要应用系统数据仓库系统商业智能系统决策支持系统4、所属类型GBase8a集群数据库属于NewSQL分析型数据库，针对海量数据查询和关联分析，课程中以银行架构为例介绍了数据架构
lFang Li·2024-01-04 02:24

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(七)：总结

博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据(四)：MapReduce篇-CSDN博客从零开始了解大数据(五)：YARN篇-CSDN博客从零开始了解大数据(六)：数据仓库
橘子-青衫·2024-01-04 02:19

hive基本概念原理与底层架构

hive是一个数据仓库基础工具在hadoop中用来处理结构化的数据，它架构在hadoop之上，总归为大数据，并使得查询和分析方便，提供简单的sql查询功能，可以讲sql语句转换成mapreduce任务进行
byway_lyn·2024-01-03 20:22

软件设计师---数据库系统基础

重点：规范化理论(必考)、关系代数(必考)一.数据库概述1.数据库模式2.ER模型3.关系代数与元组演算4.规范化理论5.并发控制6.数据库完整性7.分布式数据库8.数据仓库与数据发掘二.数据库系统--
Cirrod·2024-01-03 17:33

「曾哥读书」数据中台实战：手把手教你搭建数据中台

本书题目中有两个“数据中台”，但是实际上大部分内容是“电商数据分析”。名不副实，所以豆瓣上的评分有点低。但是如果把它当作电商数据分析入门书来看，基本的架构还是挺完整的。
frozeng·2024-01-03 12:06

Trino兼容Hive SQL方案探索

应用场景公司的经营分析使用的数据仓库是基于开源CDH5.12.6自带的Hive（1.1.6版本）实现的。数据仓库的开发平台使用的是数澜科技的数栖平台（4.8.4版本）。
DawsonSally·2024-01-03 11:15

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

文章目录引言支持多版本Flink切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar
小螺旋丸·2024-01-03 10:21

数睿通2.0数据中台数据资产、数据集市功能发布

引言数睿通2.0数据中台迎来了7月份的首次更新，本次更新主要是添加了数据资产，数据集市的相关核心功能，完整的功能实现尚需要时间打磨，因为最近工作实在是有些繁忙，琐事也多，所以能投入开发的时间着实有限，只实现了部分功能
小螺旋丸·2024-01-03 10:51

数字化转型必备：数睿通 2.0 数据中台升级详解

引言转眼又过了一个月的时间，数睿通2.0数据中台也迎来了本月的更新，本次更新主要包括：数据资产完善（资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块
小螺旋丸·2024-01-03 10:51

数睿通2.0：高效的数据处理，主数据与数据表功能全面升级

引言八天很短，七天很长，数睿通2.0数据中台也随之迎来了新一轮的版本迭代，本次更新主要包括：主数据模型（可视化建模）主数据派发（支持派发主数据到下游数据表，rabbitMq，kafka，接口）数据表（数仓分层表信息展示
小螺旋丸·2024-01-03 10:51

数睿通2.0数据中台数据治理—元数据功能发布

文章目录引言数据集成-实时日志数据治理-元模型数据治理-元数据采集数据治理-元数据管理结语引言数睿通2.0目前基本完成了数据集成，数据开发，数据服务三大模块，初步具备了拉数，造数，供数的能力。因为平台相关人员都是兼职开发，并非全职，所以进度没有那么快，这点希望大家可以理解。3月份主要是完善了一下数据集成，添加了实时日志的展示，同时开发了数据治理模块—元数据的相关功能，主要包括元模型，元数据采集，元
小螺旋丸·2024-01-03 10:21

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop，可以在线开发FlinkSql作业任务，同时支持Sql任务开发，使平台初步具备了拉数，造数的能力
小螺旋丸·2024-01-03 10:43

数据仓库开发教程 (DW) 之数据模型架构&编码规范

数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：CommonDataModel，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的
禅与计算机程序设计艺术·2024-01-03 08:38

大数据技术原理与应用期末考试题

A、利用分布式文件系统、数据仓库、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
无敌海苔咪·2024-01-03 08:03

数据仓库命名规范详解

养成良好的编程习惯写出清楚、易懂、易维护的程序代码提高代码质量与沟通效率减少编码中的不必要的错误二、数仓开发命名规范主要分为以下几个方面（1）数据仓库命名规范（2）表命名规范（3）字段命名规范（4）字段类型规范三
孤城暮雨@·2024-01-03 04:17

数据仓库分层详解

为什么要对数据仓库分层？a)空间换时间通过建设多层次的数据模型供用户使用，避免用户直接使用操作型数据，可以更高效的访问数据。b)把复杂问题简单化。
孤城暮雨@·2024-01-03 04:47

MySql基础知识及下载安装

数据库（DB，DataBase）概念：数据仓库，是一个软件，安装在操作系统之上的。SQL语句，可以存取大量的数据。作用：存数据，管理数据关
从0开始学Java·2024-01-03 01:57

大数据要学习什么知识？大数据学习的内容有哪些？

（资料在尾部）大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库
Java程序员YY·2024-01-03 00:19

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2024-01-03 00:44

浅析PostgreSQL与SQL Server两者间的关键性差异

使用PostgreSQL进行运营的组织可能希望切换到像MicrosoftSQLServer这样的数据库，因为它主要迎合不同的数据仓库解决方案、电子商务和其他业务线。
WPHunter·2024-01-02 20:46

MongoDB学习红宝书 - MongoDB官网使用指南

产品：包含云服务Atlas、MongoDBStich、Server、Compass，Charts以及最新推出的Atlas数据湖等MongoDB所有产品解决方案：包含企业战略的创新方法：遗留系统现代化以及数据中台等
MongoDB中文社区·2024-01-02 09:17

数据仓库建模有哪些常用的方法

数据仓库建模有以下常用的方法：1.维度建模：维度建模是数据仓库中最常用的建模方法之一。
命令执行·2024-01-02 07:47

从0到1快速入门ETLCloud

一、ETLCloud的介绍ETL是将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程，目的是将企业中的分散、凌乱、标准不统一的数据整合到一起，
ETLCloud数据集成社区·2024-01-01 19:38

2020-07-14

具体到技术环节，包括数据仓库、ETL、OLAP、数据挖掘、数据可视化这几个方面。大体上来看，BI可分为传统BI和敏捷BI。
木星_288b·2024-01-01 18:25

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过
Alukar·2024-01-01 14:47

大数据概念：数据网格和DataOps

以下是数据网格的详细介绍：基本概念数据网格的基本构成单元是数据产品，数据产品是由数据仓库、数据集市、数据源等组成的。数据网格还包括数据消费者、数据生产者、数据管理员等角色，他们共同协作，实现数
运维仙人·2024-01-01 14:52

PowerDesigner 12.5 数据建模基础用法（图文版）

利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型，可以生成多种客户端开发工具的应用程序，还可为数据仓库制作结构模型，也能对团队设计模型进行控制。
老程序员的笔记·2024-01-01 12:39

如何应用DAP数据仓库

在当前的信息化建设背景下，企业数据的价值日益凸显，数据分析也越来越受到重视。数据分析通过整合和汇总数据，为企业制定战略、了解市场需求等方面提供强有力的支持。而通过对大量数据进行分析，能够真实、准确、清晰、有效地将企业内部及外部行业数据进行可视化展现，使企业能够调整产品定位、开发新产品，以满足市场需求，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力。此外，数据分析还为企业优化产品和服务提供指
数通畅联·2024-01-01 11:30

数据中台的数据处理及应用说明

数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。支持海量数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台
数通畅联·2024-01-01 11:57

四，Geoserver栅格数据仓库（/coveerages）

Put:更新指定工作空间下的数据存储区所有栅格数据仓库Delete:删除指定工作空间下的数据存储区所有栅格数据仓库/workspaces/{
武汉小强·2024-01-01 09:35

trino-435: 理论基础

应⽤场景Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应⽤场景：•统⼀SQL访问各类数据源•执⾏sql转换与ETL•Ad-Hoc查询•海量结构化数据或半结构化数据分析•海量多维数据聚合
玉成226·2024-01-01 04:56

李广乾ppt：数据中台促进“互联网＋”产业创新

2019年9月26日，我应邀参加了中国信息协会主办的“2019（第二届）中国互联网+产业创新合作发展论坛”，并作了《数据中台促进“互联网+”产业创新》的主题报告。
数据智能谷·2024-01-01 03:53

医学信息应用技术（1）急救知识点（90+）必背基础42题

其常用技术：答：是一个集信息管理、信息检索、专家系统、分析评估、数据仓库等为一体的应用软件系统。数据库
【赢在起跑线~】·2024-01-01 02:31

评估数据中台成熟度的7个维度

我们认为数据中台的成熟度评估应该从文中的七个维度入手。
ThoughtWorks·2023-12-31 20:25

数据湖三剑客，大数据时代的新范式？

随着互联网高速发展，大数据技术快速发展和迅速迭代，降低了用户处理海量数据的门槛，越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化，逐渐呈现出数据仓库往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势
疯码牛·2023-12-31 15:33

HBase 例行灾备方案：快照备份与还原演练

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-12-31 12:28

支撑EB级规模的大数据平台深度揭秘

编者按：4月20日，云栖大会走进深圳，由阿里云高级数据仓库专家陈鹏宇（花名：不老）分享的环节内容量巨大，引发现场用户关注。
weixin_33915554·2023-12-31 11:51

ETL数据清洗

ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。
栈溢出了·2023-12-31 09:26

大促秒杀更顺滑｜忆联携手南大通用，提供数据密集型存储新范式

面对瞬时流量高并发、海量数据查询等应用场景，固态硬盘凭借其高吞吐量、低时延等特征逐渐成为大数据时代下数据存储的重要载体，是当前本地部署的数据仓库产品重要搭载硬件，可满足电商大促场景下大规模数据的存储和查询需
Union Memory忆联·2023-12-31 07:27

大数据应用发展史：从搜索引擎时代到机器学习时代

文章目录搜索引擎时代数据仓库时代数据挖掘时代机器学习时代小结大数据技术的使用经历了一个发展过程从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展
善守的大龙猫·2023-12-31 05:11

【遇见Doris】Apache Doris (incubating) 0.12.0版本预览

What'sDorisDoris是一款基于Mesa模型的MPP、列式数据仓库，具
ApacheDoris·2023-12-31 03:15

数据仓库基础理论

前端时间，使用阿里云MaxCompute做数据仓库，处理大数据的分析处理，整理一下数据仓库的基础理论。
大斜千变·2023-12-31 03:12

数据库MySQL入门课程

简介1.什么是数据库1.1、什么是数据库数据库：DB（DataBase）概念：数据仓库，软件，安装在操作系统之上1.2、数据库分类关系型数据库：SQL（StructuredQueryLanguage）MySQL
射手座的程序媛·2023-12-31 02:51

文档型非关系数据库MongoDB经验总结

数据仓库是在数据库管理系统管理控制下在一定介质中创建的数据库管理系统：数据库管理软件，用于建立维护操作数据库数据库系统：由数据库和数据库管理系统等构成的数据库开发工具集合。
大强哥666·2023-12-30 07:19

AI大模型时代下运维开发探索第二篇：基于大模型(LLM)的数据仓库

在SREWorks社区聚集了很多进行运维数仓建设的同学，大家都会遇到类似的挑战和问题：数仓中存储大量数据消耗成本，但很多存储的数据却并没有消费。进数仓的ETL学习成本高、管理成本高，相关同学配合度低，以及上游结构改动后ETL却迟迟无人调整。数仓中数据的时效性、准确性问题，导致很多场景无法完全依赖数仓展开。上面的种种让推广数仓的同学很犯难：明明花了大力气构建了统一数仓，但却又受限于各种问题，无法让其
阿里云大数据AI技术·2023-12-30 07:39

数据中台-架构、构建与体系建设

数据中台-架构、构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-
Ybb_studyRecord·2023-12-30 03:53

大数据实践之路 读后感

CSDN博客商业银行数据资产估值白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客1、内容总体概括简单来说一下，本书内容可以分四个大部分：一是介绍了数据中台的五大功能模块即元数据中心
Michael_Shentu·2023-12-29 19:24
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他