数据仓库数据中台数据湖

c语言知识

一、内存what从硬件形态上讲，内存就是一个物理设备，从功能上讲，内存是一个数据仓库，程序在执行前都有被装载到内存中，才能被中央处理器处理（CPU）执行。
快乐的tomato·2023-11-30 18:35

基于Apache doris怎么构建数据中台(五)-数据质量管理

上一次我们讲了，数据怎么进行快速的接入，这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态，并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理；洞察关键信息，形成事前预判、事中监控、事后跟踪的质量管理闭环流程；沉淀故障问题，搭建解决方案的知识库体系。在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、
张家锋·2023-11-30 17:48

数据中台具体是怎么解决数据孤岛的？_光点科技

为了解决这一问题，数据中台应运而生。数据中台是一种新型的数据管理架构，旨在打破数据孤岛，通过集中处理和管理数据，提高数据的可访问性和可用性。具体来说，
光点数据治理·2023-11-30 14:22

光点数据中台能干啥？怎么做？用在哪？_光点科技

数据中台的支持是企业中任何高层次的业务应用不可或缺的。数据中心面向的公司业务不再是单一业务线，而是从公司整体角度审视业务全景，寻找可重用的沉淀能力。今天，让我们来了解一下。
光点数据治理·2023-11-30 14:52

企业的数据中台到底指的是什么？_光点科技

随着数据技术的不断发展和企业数据应用的广泛应用，越来越多的企业开始将数据中台作为数字化转型的核心战略之一。那么，企业的数据中台到底指的是什么呢？
光点数据治理·2023-11-30 14:52

光点高校数据中台，助力高校信息化迎来发展新格局_光点科技

数据是教育信息化改革创新过程中的核心资产。从大数据的角度构建高校数据治理体系，支持高校管理信息向智能化服务和教育数字化转型，已成为必然趋势。然而，高校拥有更大的数据规模、更复杂的数据类型、更密集的数据交换和对数据治理的需求。因此，数据的应用仍然或多或少困扰着许多学校。为了清除这些信息问题，充分满足高校的数据进行应用市场需求，光点科技基于在大数据研究领域积累的技术优势和实施经验，为高校提供相关数据中
光点数据治理·2023-11-30 14:51

企业数据中台（CDP）为什么突然火了？_光点科技

数据中台CDP其实是从2019年开始火的。
光点数据治理·2023-11-30 14:21

重温 re:Invent，分享十年成长：我和 re:Invent的故事

文章目录前言背景我和re:Invent的交际历届峰会主题2012突破技术垄断2013革新数据服务2014更好用的云服务2015打通最后一-公里2016迈向云上数据湖时代2017重构云计算基础2018云能力的再进化
想你依然心痛·2023-11-30 14:44

电商平台数据仓库搭建02-Hadoop集群搭建

1，项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。2，项目准备虚拟机准备虚拟机开发工具为VMware15。
王小磊~·2023-11-30 13:04

数据仓库搭建

目录1数据仓库概念1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2
赵广陆·2023-11-30 13:32

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件
kk_io·2023-11-30 13:29

数据仓库数据管理模型

数据仓库分为贴源层、数据仓库层、数据服务层，有人叫做数仓数据模型，或者叫"数据管理模型”。
zhulangfly·2023-11-30 13:52

历史拉链表

介绍历史拉链表历史拉链表是一种数据模型，主要针对数据仓库设计中表存储数据的方式而定义的。它记录一个事物从开始到当前状态的所有变化的信息。
zealscott·2023-11-30 12:03

2019-12-11

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
diedfish_qyf·2023-11-30 11:41

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

AntDB“超融合+流式实时数仓”——快速实现企业全链路实时化

实时数据平台，快速实现企业全链路实时化引入数据仓库、数据挖掘、HTAP等先进理念，通过实时数据应用平台来装载庞大的信息量，进行实时分析处理，克服数据处理过程中的困难，是当下各企事业单位、互联网、金融，政务等行业核心系统建设的重点
亚信安慧AntDB数据库·2023-11-30 03:01

数据中台架构原理与开发实战：数据中台的数据索引与搜索

作者：禅与计算机程序设计艺术1.背景介绍随着互联网的蓬勃发展，社会数据越来越多地被收集、处理、分析并呈现出来。如何在快速变化的社会环境下有效管理、发现和利用这些海量数据，是一个非常重要的问题。2017年，英国政府发布了“数字转型”的新数据指南，要求各级政府在年底前推出基于数据的决策支持工具，对社会数据进行采集、处理、存储、分析、呈现、利用，形成信息经济。而最近十几年里，随着数据产业的兴起，数据中心
禅与计算机程序设计艺术·2023-11-30 01:38

数据中台为什么不好搞？

从2015年阿里提出“大中台”的数据中台战略，到2019年大厂及中台服务商“大兴”数据中台，再到2021年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了2年时间，为什么这么快数据中台就不香了？
码农code之路·2023-11-30 00:03

数据中台·实时开发计算平台

什么是数据中台·实时计算平台？实时计算（实时开发）是为构建一套一站式、高性能实时大数据处理平台，广泛适用于流式数据处理场景。
数据先生·2023-11-30 00:33

数据中台整体设计思路复盘

首先，什么是数据中台，由于每个企业每种项目对中台的定义不同，这里仅仅给一个概念：数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。
qq_33744471·2023-11-30 00:32

数据中台：数据模型设计

但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQ
小晨说数据·2023-11-30 00:31

阿里云数据中台核心引擎

核心引擎MaxCompute阿里离线数据计算平台（离线数仓）原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore中），使用Fluentd服务（类似的服务还有kafka、LogHub、DataX等，都大同小异，这里我用Fluentd作描述只是方便），通过Fluentd我们轻松的创建任务去按时读取各台服务器上的日
hsabrina·2023-11-30 00:30

奇点云数据中台技术汇（三）| DataSimba系列之计算引擎篇

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何处理大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。传统的数据处理方式通常是将数据导入至专门的数据分析工具中，这样会面临两个问题：1、如果源数据非常大时，往往数据的移动
cuba7764·2023-11-30 00:00

数据中台架构原理与开发实战：数据中台的数据分析工具与平台

然而，对于数据中台的设计、搭建、运维、应用等工作仍存在一定的难度。如何快速、高效地构建出一个满足多变性、变化快、数据量大、并发访问量大的数据服务，是一个值得研究的问题。在本文中，作者通过从用户视角
禅与计算机程序设计艺术·2023-11-30 00:30

元数据管理|Hive Hooks和Metastore监听器介绍

元数据管理是数据仓库的核心，它不仅定义了数据仓库有什么，还指明了数据仓库中数据的内容和位置，刻画了数据的提取和转换规则，存储了与数据仓库主题有关的各种商业信息。
大数据技术与数仓·2023-11-29 21:58

【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第一次作业

homewrok11.假定数据仓库中包含4个维：date,product,vendor,location；和两个度量：sales_volume和sales_cost。
不牌不改·2023-11-29 20:00

大数据管理平台（数据中台）方案及重难点技术分析

1.大数据管理平台(数据中台)1.1.系统概述需求描述建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实现数据采集、平台治理，业务应用三层解耦
打码人的日常分享·2023-11-29 14:30

【数据仓库】Spark算子

第一关：转换算子之map和distinct算子输出每个元素及其长度并去重。//第一步：通过获取rdd中每个元素的长度创建新的rdd1valrdd1=rdd.map(x=>x.length())//第二步：通过zip把rdd1和rdd组合创建rdd2valrdd2=rdd.zip(rdd1)//第三步：去重valrdd3=rdd2.distinct()//第四步：输出结果rdd3.foreach(p
「已注销」·2023-11-29 12:05

如何进行指标质量治理——指标系统（提质篇）

作者介绍@小风数据中台产品负责人；UBDC全域大数据峰会“灯塔人物”；擅长埋点模型、指标治理，数仓架构等；“数据人创作者联盟”成员。01指标质量治理概述指标质量治理主要分为两个部分：提质与增效。
一个数据人的自留地·2023-11-29 08:26

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

华为认证大数据工程师（HCIA-Big Data）--练习题

BCDA.实时数据处理B.基于行业领域知识库快速构建数据中台C.云上数据平台快速搭建D.一站式的数据运营治理平台2、A
大沙头三马路·2023-11-29 08:05

ANT324 | 升级数据仓库

ANT324|升级数据仓库关键字:[AmazonWebServicesre:Invent2023,AmazonRedshift,DataWarehouseModernization,RedshiftCapabilities
just2gooo·2023-11-29 02:57

数据中台行业发展概况及展望

随着企业业务创新不断加快，对数据开发的响应速度提出更高的要求，数据中台就诞生在这样的大背景下。
大数据v·2023-11-29 01:20

使用Kafka、Flink、Druid构建实时数据系统架构

等待数据发送到ETL工具，等待数据批量处理，等待数据加载到数据仓库中，甚至等待查询完成运行。
guohuang·2023-11-28 23:51

解决Spark SQL读数据库时不支持某些数据类型的问题

之前开发数据湖新版本时使用SparkSQL来完成ETL的工作，但是遇到了SparkSQL不支持某些数据类型（比如ORACLE中的TimestampwithlocalTimezone）的问题。
alexlee666·2023-11-28 20:49

数据中台能力成熟度评估模型

会上，中国信息通信研究院云计算与大数据研究所大数据与区块链部高级业务主管王卓发布了《数据中台能力成熟度模型》框架。一.数据中台的相关背景首先，我们来介绍一下这项工作的背景。从
公众号:肉眼品世界·2023-11-28 19:25

hive总结

Hive是基于Hadoop的数据仓库工具，提供了类似SQL的查询功能，可查询存储在HDFS中的数据。Hive的架构和组件包括用户接口、驱动、元数据存储和存储处理层。Hive将HQL转
墨苏玩电脑·2023-11-28 18:26

【数据中台】开源项目（2）-Davinci可视应用平台

1平台介绍Davinci是一个DVaaS（DataVisualizationasaService）平台解决方案，面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。开源地址：htt
码农丁丁·2023-11-28 18:25

细说数据仓库上篇

用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
派可数据·2023-11-28 18:53

数据仓库建模下篇

在实际业务中，给了我们一堆数据，我们怎么拿这些数据进行数仓建设呢，数仓工具箱作者根据自身多年的实际业务经验，给我们总结了如下四步。数仓工具箱中的维度建模四步走：维度建模四步走这四步是环环相扣，步步相连。下面详细拆解下每个步骤怎么做1、选择业务过程维度建模是紧贴业务的，所以必须以业务为根基进行建模，那么选择业务过程，顾名思义就是在整个业务流程中选取我们需要建模的业务，根据运营提供的需求及日后的易扩展
派可数据·2023-11-28 18:10

zaloni

zalonibysennchihttps://resources.zaloni.com数据湖公司
sennchi·2023-11-28 17:10

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

大数据开发：实时数仓架构层次设计

在大数据实时计算处理领域，数据仓库提供重要的支持，从传统的离线数仓到实时数仓，大数据带动了相应的市场需求，而从架构层次来说，实时数仓也有新的值得挖掘的技术点。
成都加米谷大数据·2023-11-28 16:52

ODPS SQL优化总结

本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。
小二上酒8·2023-11-28 14:09

StarRocks 的学习笔记

StarRocks的学习笔记文章目录StarRocks的学习笔记1.介绍1.1StarRocks特性1.2使用场景1.3OLAP多维分析1.4实时数据仓库1.5高并发查询1.6统一分析2.系统架构2.1StarRocks
白居不易.·2023-11-28 11:36

hive

数据仓库-Hive1.数据仓库1.1.基本概念英文名称为DataWarehouse，可简写为DW或DWH。
淳●简蜡基●茨德·2023-11-28 10:14

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-11-28 07:59

为啥说用了Hbase速度会变快？？？

都知道数据仓库现在一般来说是Hive和kafka，数据平台目前还使用的是hive，但是hive的查询是很慢的，所以为了效率我们引入了Kylin，Kylin并没有大数据存储功能，它所做的只是将数据仓库里的数据预计算
AceCream佳·2023-11-28 06:44

详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
禅与计算机程序设计艺术·2023-11-28 00:17

在数据仓库中拉链表的使用

使用场景：在数据仓库中，拉链表可以用于处理维度表的历史时间变化优点：使用拉链表的优势在于能够有效地追踪维度属性的历史变化使用方法：设计拉链表结构：在维度表中添加拉链表所需字段，如开始日期，结束日期，这些字段用来表示维度属性历史变化情况初始化拉链表
linbokang·2023-11-27 19:15
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他