数据仓库数据中台数据湖

数据中台建设之路

数据中台是在政企数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系，实现数据赋能。数据中台，是新型信息化应用框架体系中的核心。
诗者才子酒中仙·2024-01-04 20:30

技术解读丨多模数据湖：助力AI技术，推动内容管理平台智能化升级

本文重点介绍SequoiaDB多模数据湖技术在内容管理平台中的应用和成效，以及其对企业非结构化数据管理和AI的推动作用。随着数字化时代的到来，数据已经成为企业的重要资产之一。
巨杉数据库SequoiaDB·2024-01-04 19:39

《数据仓库与数据挖掘》期末复习总结

《数据仓库与数据挖掘》期末复习总结适用教材：《数据挖掘概念与技术（第3版）》，JiaweiHan，MiehelineKamber，JianPei著，机械工业出版社提示：与教材内容不完全匹配，有所取舍写在前面
炼魂·2024-01-04 18:43

数仓工作中的常见问题及解决方案

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2024-01-04 16:34

【数据湖架构】数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，AmazonSimpleStorageService，关系数据库或各种组合根据一份名为“什么是数据湖
架构师研究会·2024-01-04 10:08

JavaSE学习笔记 2023-12-28 --MySQL

MySQL1.数据库介绍数据库:数据仓库DataBase:简称DB,用于长期存储有结构的,大量的,共享的数据长期的:持久存储,永久存储有结构:有类型,有内部的数据类型有关系,数据与数据之前是有关联的大量的
白斑马不是斑马·2024-01-04 09:05

【数据仓库与联机分析处理】数据仓库

目录一、数据仓库的概念二、数据仓库与操作性数据库的区别三、发展前期四、数据仓库的系统结构五、建模划分六、主要案例一、数据仓库的概念目前很难给数据仓库（DataWarehouse）一个严格的定义，不准确地说
Francek Chen·2024-01-04 08:57

尚硅谷大数据技术-数据湖Hudi视频教程-笔记01

大数据新风口：Hudi数据湖（尚硅谷&ApacheHudi联合出品）尚硅谷数据湖Hudi视频教程B站直达：https://www.bilibili.com/video/BV1ue4y1i7na百度网盘：
upward337·2024-01-04 08:52

常见的中台架构

—01—数据中台通用体系架构不同的企业对数据有不同的需求。企业数据应用不断更新迭代，企业的中台系统也需要不断变化。从数据处理与数据治理两个维度出发，可以设计一个解耦的数据中台体系架构。
Elivis Hu·2024-01-04 08:10

docker搭建Dinky —— 筑梦之路

简介Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
筑梦之路·2024-01-04 03:40

GBase 8a GDCA认证之GBase 8a初认识

2、特性高性能高可用高扩展3、主要应用系统数据仓库系统商业智能系统决策支持系统4、所属类型GBase8a集群数据库属于NewSQL分析型数据库，针对海量数据查询和关联分析，课程中以银行架构为例介绍了数据架构
lFang Li·2024-01-04 02:24

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(七)：总结

博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据(四)：MapReduce篇-CSDN博客从零开始了解大数据(五)：YARN篇-CSDN博客从零开始了解大数据(六)：数据仓库
橘子-青衫·2024-01-04 02:19

hive基本概念原理与底层架构

hive是一个数据仓库基础工具在hadoop中用来处理结构化的数据，它架构在hadoop之上，总归为大数据，并使得查询和分析方便，提供简单的sql查询功能，可以讲sql语句转换成mapreduce任务进行
byway_lyn·2024-01-03 20:22

软件设计师---数据库系统基础

重点：规范化理论(必考)、关系代数(必考)一.数据库概述1.数据库模式2.ER模型3.关系代数与元组演算4.规范化理论5.并发控制6.数据库完整性7.分布式数据库8.数据仓库与数据发掘二.数据库系统--
Cirrod·2024-01-03 17:33

「曾哥读书」数据中台实战：手把手教你搭建数据中台

本书题目中有两个“数据中台”，但是实际上大部分内容是“电商数据分析”。名不副实，所以豆瓣上的评分有点低。但是如果把它当作电商数据分析入门书来看，基本的架构还是挺完整的。
frozeng·2024-01-03 12:06

Trino兼容Hive SQL方案探索

应用场景公司的经营分析使用的数据仓库是基于开源CDH5.12.6自带的Hive（1.1.6版本）实现的。数据仓库的开发平台使用的是数澜科技的数栖平台（4.8.4版本）。
DawsonSally·2024-01-03 11:15

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

文章目录引言支持多版本Flink切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar
小螺旋丸·2024-01-03 10:21

数睿通2.0数据中台数据资产、数据集市功能发布

引言数睿通2.0数据中台迎来了7月份的首次更新，本次更新主要是添加了数据资产，数据集市的相关核心功能，完整的功能实现尚需要时间打磨，因为最近工作实在是有些繁忙，琐事也多，所以能投入开发的时间着实有限，只实现了部分功能
小螺旋丸·2024-01-03 10:51

数字化转型必备：数睿通 2.0 数据中台升级详解

引言转眼又过了一个月的时间，数睿通2.0数据中台也迎来了本月的更新，本次更新主要包括：数据资产完善（资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块
小螺旋丸·2024-01-03 10:51

数睿通2.0：高效的数据处理，主数据与数据表功能全面升级

引言八天很短，七天很长，数睿通2.0数据中台也随之迎来了新一轮的版本迭代，本次更新主要包括：主数据模型（可视化建模）主数据派发（支持派发主数据到下游数据表，rabbitMq，kafka，接口）数据表（数仓分层表信息展示
小螺旋丸·2024-01-03 10:51

数睿通2.0数据中台数据治理—元数据功能发布

文章目录引言数据集成-实时日志数据治理-元模型数据治理-元数据采集数据治理-元数据管理结语引言数睿通2.0目前基本完成了数据集成，数据开发，数据服务三大模块，初步具备了拉数，造数，供数的能力。因为平台相关人员都是兼职开发，并非全职，所以进度没有那么快，这点希望大家可以理解。3月份主要是完善了一下数据集成，添加了实时日志的展示，同时开发了数据治理模块—元数据的相关功能，主要包括元模型，元数据采集，元
小螺旋丸·2024-01-03 10:21

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop，可以在线开发FlinkSql作业任务，同时支持Sql任务开发，使平台初步具备了拉数，造数的能力
小螺旋丸·2024-01-03 10:43

Alluxio：2022年大数据五大趋势，多云下数据湖兴起，AI成为主流

Alluxio创始人兼CEO预测2022年大数据发展五大趋势：混合云和多云、人工智能和深度学习、服务、数据共享和新的数据湖存储格式成为关注重点。
CSDN云计算·2024-01-03 08:46

数据仓库开发教程 (DW) 之数据模型架构&编码规范

数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：CommonDataModel，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的
禅与计算机程序设计艺术·2024-01-03 08:38

大数据技术原理与应用期末考试题

A、利用分布式文件系统、数据仓库、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
无敌海苔咪·2024-01-03 08:03

数据仓库命名规范详解

养成良好的编程习惯写出清楚、易懂、易维护的程序代码提高代码质量与沟通效率减少编码中的不必要的错误二、数仓开发命名规范主要分为以下几个方面（1）数据仓库命名规范（2）表命名规范（3）字段命名规范（4）字段类型规范三
孤城暮雨@·2024-01-03 04:17

数据仓库分层详解

为什么要对数据仓库分层？a)空间换时间通过建设多层次的数据模型供用户使用，避免用户直接使用操作型数据，可以更高效的访问数据。b)把复杂问题简单化。
孤城暮雨@·2024-01-03 04:47

MySql基础知识及下载安装

数据库（DB，DataBase）概念：数据仓库，是一个软件，安装在操作系统之上的。SQL语句，可以存取大量的数据。作用：存数据，管理数据关
从0开始学Java·2024-01-03 01:57

大数据要学习什么知识？大数据学习的内容有哪些？

（资料在尾部）大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库
Java程序员YY·2024-01-03 00:19

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2024-01-03 00:44

浅析PostgreSQL与SQL Server两者间的关键性差异

使用PostgreSQL进行运营的组织可能希望切换到像MicrosoftSQLServer这样的数据库，因为它主要迎合不同的数据仓库解决方案、电子商务和其他业务线。
WPHunter·2024-01-02 20:46

MongoDB学习红宝书 - MongoDB官网使用指南

进入网站首页后，会看到顶端简洁明了的导航栏：产品：包含云服务Atlas、MongoDBStich、Server、Compass，Charts以及最新推出的Atlas数据湖等MongoDB所有产品解决方案
MongoDB中文社区·2024-01-02 09:17

数据仓库建模有哪些常用的方法

数据仓库建模有以下常用的方法：1.维度建模：维度建模是数据仓库中最常用的建模方法之一。
命令执行·2024-01-02 07:47

从0到1快速入门ETLCloud

一、ETLCloud的介绍ETL是将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程，目的是将企业中的分散、凌乱、标准不统一的数据整合到一起，
ETLCloud数据集成社区·2024-01-01 19:38

2020-07-14

具体到技术环节，包括数据仓库、ETL、OLAP、数据挖掘、数据可视化这几个方面。大体上来看，BI可分为传统BI和敏捷BI。
木星_288b·2024-01-01 18:25

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过
Alukar·2024-01-01 14:47

Databricks中国启示录：一场蓄谋已久的技术与商业战 | 企服国际观察

图片来源：视觉中国ITValue6月底，刚刚结束的Data+AISummit上，Databricks宣布将数据湖表格式DeltaLake的API完全开源。
ITValue·2024-01-01 14:53

大数据概念：数据网格和DataOps

以下是数据网格的详细介绍：基本概念数据网格的基本构成单元是数据产品，数据产品是由数据仓库、数据集市、数据源等组成的。数据网格还包括数据消费者、数据生产者、数据管理员等角色，他们共同协作，实现数
运维仙人·2024-01-01 14:52

PowerDesigner 12.5 数据建模基础用法（图文版）

利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型，可以生成多种客户端开发工具的应用程序，还可为数据仓库制作结构模型，也能对团队设计模型进行控制。
老程序员的笔记·2024-01-01 12:39

如何应用DAP数据仓库

在当前的信息化建设背景下，企业数据的价值日益凸显，数据分析也越来越受到重视。数据分析通过整合和汇总数据，为企业制定战略、了解市场需求等方面提供强有力的支持。而通过对大量数据进行分析，能够真实、准确、清晰、有效地将企业内部及外部行业数据进行可视化展现，使企业能够调整产品定位、开发新产品，以满足市场需求，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力。此外，数据分析还为企业优化产品和服务提供指
数通畅联·2024-01-01 11:30

数据中台的数据处理及应用说明

数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。支持海量数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台
数通畅联·2024-01-01 11:57

四，Geoserver栅格数据仓库（/coveerages）

Put:更新指定工作空间下的数据存储区所有栅格数据仓库Delete:删除指定工作空间下的数据存储区所有栅格数据仓库/workspaces/{
武汉小强·2024-01-01 09:35

trino-435: 理论基础

应⽤场景Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应⽤场景：•统⼀SQL访问各类数据源•执⾏sql转换与ETL•Ad-Hoc查询•海量结构化数据或半结构化数据分析•海量多维数据聚合
玉成226·2024-01-01 04:56

李广乾ppt：数据中台促进“互联网＋”产业创新

2019年9月26日，我应邀参加了中国信息协会主办的“2019（第二届）中国互联网+产业创新合作发展论坛”，并作了《数据中台促进“互联网+”产业创新》的主题报告。
数据智能谷·2024-01-01 03:53

医学信息应用技术（1）急救知识点（90+）必背基础42题

其常用技术：答：是一个集信息管理、信息检索、专家系统、分析评估、数据仓库等为一体的应用软件系统。数据库
【赢在起跑线~】·2024-01-01 02:31

评估数据中台成熟度的7个维度

我们认为数据中台的成熟度评估应该从文中的七个维度入手。
ThoughtWorks·2023-12-31 20:25

数据湖三剑客，大数据时代的新范式？

随着互联网高速发展，大数据技术快速发展和迅速迭代，降低了用户处理海量数据的门槛，越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化，逐渐呈现出数据仓库往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势
疯码牛·2023-12-31 15:33

HBase 例行灾备方案：快照备份与还原演练

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-12-31 12:28
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他