数据中台数据仓库

奇点云数据中台技术汇（三）| DataSimba系列之计算引擎篇

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何处理大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。传统的数据处理方式通常是将数据导入至专门的数据分析工具中，这样会面临两个问题：1、如果源数据非常大时，往往数据的移动
cuba7764·2023-11-30 00:00

数据中台架构原理与开发实战：数据中台的数据分析工具与平台

然而，对于数据中台的设计、搭建、运维、应用等工作仍存在一定的难度。如何快速、高效地构建出一个满足多变性、变化快、数据量大、并发访问量大的数据服务，是一个值得研究的问题。在本文中，作者通过从用户视角
禅与计算机程序设计艺术·2023-11-30 00:30

元数据管理|Hive Hooks和Metastore监听器介绍

元数据管理是数据仓库的核心，它不仅定义了数据仓库有什么，还指明了数据仓库中数据的内容和位置，刻画了数据的提取和转换规则，存储了与数据仓库主题有关的各种商业信息。
大数据技术与数仓·2023-11-29 21:58

【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第一次作业

homewrok11.假定数据仓库中包含4个维：date,product,vendor,location；和两个度量：sales_volume和sales_cost。
不牌不改·2023-11-29 20:00

大数据管理平台（数据中台）方案及重难点技术分析

1.大数据管理平台(数据中台)1.1.系统概述需求描述建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实现数据采集、平台治理，业务应用三层解耦
打码人的日常分享·2023-11-29 14:30

【数据仓库】Spark算子

第一关：转换算子之map和distinct算子输出每个元素及其长度并去重。//第一步：通过获取rdd中每个元素的长度创建新的rdd1valrdd1=rdd.map(x=>x.length())//第二步：通过zip把rdd1和rdd组合创建rdd2valrdd2=rdd.zip(rdd1)//第三步：去重valrdd3=rdd2.distinct()//第四步：输出结果rdd3.foreach(p
「已注销」·2023-11-29 12:05

如何进行指标质量治理——指标系统（提质篇）

作者介绍@小风数据中台产品负责人；UBDC全域大数据峰会“灯塔人物”；擅长埋点模型、指标治理，数仓架构等；“数据人创作者联盟”成员。01指标质量治理概述指标质量治理主要分为两个部分：提质与增效。
一个数据人的自留地·2023-11-29 08:26

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

华为认证大数据工程师（HCIA-Big Data）--练习题

BCDA.实时数据处理B.基于行业领域知识库快速构建数据中台C.云上数据平台快速搭建D.一站式的数据运营治理平台2、A
大沙头三马路·2023-11-29 08:05

ANT324 | 升级数据仓库

ANT324|升级数据仓库关键字:[AmazonWebServicesre:Invent2023,AmazonRedshift,DataWarehouseModernization,RedshiftCapabilities
just2gooo·2023-11-29 02:57

数据中台行业发展概况及展望

随着企业业务创新不断加快，对数据开发的响应速度提出更高的要求，数据中台就诞生在这样的大背景下。
大数据v·2023-11-29 01:20

使用Kafka、Flink、Druid构建实时数据系统架构

等待数据发送到ETL工具，等待数据批量处理，等待数据加载到数据仓库中，甚至等待查询完成运行。
guohuang·2023-11-28 23:51

数据中台能力成熟度评估模型

会上，中国信息通信研究院云计算与大数据研究所大数据与区块链部高级业务主管王卓发布了《数据中台能力成熟度模型》框架。一.数据中台的相关背景首先，我们来介绍一下这项工作的背景。从
公众号:肉眼品世界·2023-11-28 19:25

hive总结

Hive是基于Hadoop的数据仓库工具，提供了类似SQL的查询功能，可查询存储在HDFS中的数据。Hive的架构和组件包括用户接口、驱动、元数据存储和存储处理层。Hive将HQL转
墨苏玩电脑·2023-11-28 18:26

【数据中台】开源项目（2）-Davinci可视应用平台

1平台介绍Davinci是一个DVaaS（DataVisualizationasaService）平台解决方案，面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。开源地址：htt
码农丁丁·2023-11-28 18:25

细说数据仓库上篇

用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
派可数据·2023-11-28 18:53

数据仓库建模下篇

在实际业务中，给了我们一堆数据，我们怎么拿这些数据进行数仓建设呢，数仓工具箱作者根据自身多年的实际业务经验，给我们总结了如下四步。数仓工具箱中的维度建模四步走：维度建模四步走这四步是环环相扣，步步相连。下面详细拆解下每个步骤怎么做1、选择业务过程维度建模是紧贴业务的，所以必须以业务为根基进行建模，那么选择业务过程，顾名思义就是在整个业务流程中选取我们需要建模的业务，根据运营提供的需求及日后的易扩展
派可数据·2023-11-28 18:10

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

大数据开发：实时数仓架构层次设计

在大数据实时计算处理领域，数据仓库提供重要的支持，从传统的离线数仓到实时数仓，大数据带动了相应的市场需求，而从架构层次来说，实时数仓也有新的值得挖掘的技术点。
成都加米谷大数据·2023-11-28 16:52

ODPS SQL优化总结

本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。
小二上酒8·2023-11-28 14:09

StarRocks 的学习笔记

StarRocks的学习笔记文章目录StarRocks的学习笔记1.介绍1.1StarRocks特性1.2使用场景1.3OLAP多维分析1.4实时数据仓库1.5高并发查询1.6统一分析2.系统架构2.1StarRocks
白居不易.·2023-11-28 11:36

hive

数据仓库-Hive1.数据仓库1.1.基本概念英文名称为DataWarehouse，可简写为DW或DWH。
淳●简蜡基●茨德·2023-11-28 10:14

为啥说用了Hbase速度会变快？？？

都知道数据仓库现在一般来说是Hive和kafka，数据平台目前还使用的是hive，但是hive的查询是很慢的，所以为了效率我们引入了Kylin，Kylin并没有大数据存储功能，它所做的只是将数据仓库里的数据预计算
AceCream佳·2023-11-28 06:44

详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
禅与计算机程序设计艺术·2023-11-28 00:17

在数据仓库中拉链表的使用

使用场景：在数据仓库中，拉链表可以用于处理维度表的历史时间变化优点：使用拉链表的优势在于能够有效地追踪维度属性的历史变化使用方法：设计拉链表结构：在维度表中添加拉链表所需字段，如开始日期，结束日期，这些字段用来表示维度属性历史变化情况初始化拉链表
linbokang·2023-11-27 19:15

insert overwrite table：数据仓库和数据分析中的常用技术

一、介绍：INSERTOVERWRITETABLE是用于覆盖（即替换）目标表中的数据的操作。它将新的数据写入表中，并删除原有的数据。这个操作适用于非分区表和分区表。二、使用场景：1、数据更新：当您需要更新表中的数据时，可以使用覆写操作。通过覆写，您可以将新的数据写入表中，替换原有的数据。这在需要定期更新或替换表中数据的情况下非常有用。2、数据重载：如果您需要重新加载表中的数据，覆写操作可以清空表并
linbokang·2023-11-27 19:45

大数据数据仓库，Sqoop--学习笔记

数据仓库介绍1.数据仓库概念数据仓库概念创始人在《建立数据仓库》一书中对数据仓库的定义是：数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、数据集成的（Integrated
祈愿lucky·2023-11-27 16:38

CDP体系化建设1-CDP综述

当中会涉及到数据的集成和加工，包含对埋点、数据仓库的数据重定义和应用。包含标签开发管理、人群创建、人群同步等。会基于数据底层提供的查询服务，
数据产品小lee·2023-11-27 12:13

数仓分层能减少重复计算，为啥能减少？如何减少？这篇文章包懂！

很多时候，看一些数据领域的文章，说到为什么做数据仓库、数据仓库要分层，我们经常会看到一些结论：因为有ABCD…等等理由，比如降低开发成本、减少重复计算等等好处然后，多数人就记住了ABCD。
数据产品小lee·2023-11-27 12:42

”敏捷知识“分享

分享主题主要是数据中台项目的敏捷实践目录1、排期表2、SprintPlanning1、明确价值观，每个人对自己的产出物负责，对应敏捷价值观“承诺”2、明确迭代周期，迭代预期交付物，也就是“Sprint目标
张熙_430d·2023-11-27 10:05

【数据中台】开源项目（1）-LarkMidTable

LarkMidTable是一站式开源的数据中台，实现中台的基础建设，数据治理，数据开发，监控告警，数据服务，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。
码农丁丁·2023-11-27 09:38

hive杂谈

数据仓库是一个面向主题的、集成的、非易失的、随时间变化的，用来支持管理人员决策的数据集合，数据仓库中包含了粒度化的企业数据。数据仓库的主要特征是：主题性、集成性、非易失性、时变性。
灵海之森·2023-11-27 06:25

【数据中台】开源项目（2）-Dbus数据总线

1背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性）基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我们在了解
码农丁丁·2023-11-27 00:44

【数据中台】开源项目（2）-Wormhole流式处理平台

Wormhole是一个一站式流式处理云平台解决方案（SPaaS-StreamProcessingasaService）。Wormhole面向大数据流式处理项目的开发管理运维人员，致力于提供统一抽象的概念体系，直观可视化的操作界面，简单流畅的配置管理流程，基于SQL即可完成的业务逻辑开发方式，并且屏蔽了流式处理的底层技术细节，极大的降低了数据项目管理运维门槛，使得大数据流式处理项目的开发管理运维变得
码农丁丁·2023-11-27 00:44

【数据中台】开源项目（2）-Moonbox计算服务平台

Moonbox是一个DVtaaS（DataVirtualizationasaService）平台解决方案。Moonbox基于数据虚拟化设计思想，致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节，为用户带来虚拟数据库般使用体验，用户只需通过统一SQL语言，即可透明实现跨异构数据系统混算和写出。此外Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持，可
码农丁丁·2023-11-27 00:44

【数据中台】开源项目（2）-Dbus系统架构

大体来说，Dbus支持两类数据源：RDBMS数据源日志类数据源1RMDBMS类数据源的实现以mysql为例子.分为三个部分：日志抽取模块(最新版DBus已经废弃该模块，使用canal直接输出到kafka)增量转换模块全量拉取模块1.1日志抽取模块（Extractor）（0.6.1版本废弃）mysql日志抽取模块由两部分构成：canalserver：负责从mysql中抽取增量日志。mysql-ext
码农丁丁·2023-11-27 00:07

StarRocks与ClickHouse

现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHouse和ApacheDoris。应用最广的数据查询系统主要有Druid，Kylin和HBase。
Yuan_CSDF·2023-11-26 19:11

火山引擎 ByteHouse 的增强型数据导入技术实践

作为一款OLAP引擎，火山引擎云原生数据仓库ByteHouse源于开源ClickHouse，在字节跳动多年打磨下，提供更丰富的能力和更强性能，能为用户带来极速分析体验，支撑实时数据
字节跳动技术团队·2023-11-26 13:04

数据仓库：简要理解

  数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。
宅家学算法·2023-11-26 08:45

MQTTC数据桥接上云

私有化部署已经不能满足当前的发展趋势了，因此dgiot在原有基础上进行创新，将私有化部署的区域数控一体机上的数据通过mqtt桥接的方式上传到云服务器上，完成数据的实时同步备份场景解析：工厂设备的数据如何稳定的传输到数据中台以便后续的数据分析一直是各大企业头痛的问题之一
DGIOT物联网平台·2023-11-25 23:31

Apache Doris 在拈花云科的统一数据中台实践，One Size Fits All

作者｜NearFarXLab团队洪守伟、陈超、周志银、左益、武超整理｜SelectDB内容团队导读：无锡拈花云科技服务有限公司（以下简称拈花云科）是由中国创意文旅集成商拈花湾文旅和北京滴普科技有限公司共同孵化组建的。拈花云科以数字化思维为导向，致力于成为文旅目的地数智化服务商。2022年底，拈花云科NearFarXLab团队在数据需求的驱动下，开始调研并引进ApacheDoris作为新架构下的数据
SelectDB技术团队·2023-11-25 13:29

Hive数据仓库

数据仓库的介绍数据仓库的基本概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。
程序猿小1z·2023-11-25 09:49

数据仓库 Hive

Hive3.1.2目录Hive3.1.21、数据仓库概念1.2、传统仓库面临的挑战2、Hive简介2.1、Hive的特点2.2、Hive的优缺点2.3、Hive与Hadoop生态系统中的关系2.4、Hive
忄凝^·2023-11-25 09:48

Hive数据仓库工具基本架构和入门部署详解

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统@目录*概述+定义+本质+特点+Hive与Hadoop关系+Hive与关系型数据库区别+优缺点+其他说明架构组成部分数据模
虚幻私塾·2023-11-25 09:15

分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据？

hbase+hive分布式存储数据恢复环境：16台某品牌R730XD服务器节点，每台物理服务器节点上有数台虚拟机，虚拟机上配置的分布式，上层部署hbase数据库+hive数据仓库。
北亚数据恢复·2023-11-25 09:37

DTCC专访：南大通用GBase云上逻辑数据仓库助力行业数字化转型升级

日前，在第十二届中国数据库技术大会（DTCC2021）期间，南大通用数据智能产品经营部总经理张绍勇受邀围绕《GBase云上逻辑数据仓库助力行业迎接数字化转型新挑战》的演讲主题进行专题访谈。
GBASE数据库·2023-11-25 09:23

（二）大数据---Hadoop组件介绍，区别

分布式资源管理MapReduce、Spark、Flink:分布式计算框架Yarn/Mesos：分布式资源管理器zookeeper：分布式协作服务sqoop：数据同步工具hive/Impala基于Hadoop的数据仓库
（─__─）·2023-11-25 07:37

常用数据存储格式介绍：Excel、CSV、JSON、XML

然而，在提取数据之后，并将其加载到数据库或数据仓库之前，需要将数据转化为可用的数据存储格式。
PDF Reader Pro·2023-11-24 19:06

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

熵简技术谈 | 熵简科技在资管数据中台的探索与实践

导读：数据中台是熵简科技数据智能解决方案中的核心部分。引入数据中台可以打破数据与数据的界限、技术与业务的界限，为业务层的迭代提供更快的数据响应，真正做到业务数据化、数据资产化。
熵简科技Value Simplex·2023-11-24 17:46
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他