数据中台数据仓库

[一起学Hive]之一–Hive概述，Hive是什么

1.Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。
antyzhu·2023-12-03 17:23

浅析数据中台技术架构

@toc引言数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解，下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。
kobe_OKOK_·2023-12-03 15:23

Hadoop未来五年走向何方

相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。
IT时代周刊·2023-12-03 14:02

Hadoop的基本概念、架构、优点、缺陷、适应场景和未来发展方向

由于其能够同时处理超大规模数据，因此被广泛应用于机器学习、数据仓库、日志处理等领域。Hadoop在2006年成为Apache项目，至今已经发布了十多个版本。
禅与计算机程序设计艺术·2023-12-03 14:57

大数据湖项目建设方案：文档全文101页，附下载

关键词：大数据解决方案，数据湖解决方案，数据治理解决方案，数据中台解决方案一、大数据湖建设思路1、明确目标和定位：明确大数据湖的目标和定位是整个项目的基础，这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果
方案365·2023-12-03 08:05

【数据中台】开源项目（5）-Amoro

介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark,andTrino,Amorobringspluggableandself-managedfeaturesforLakehousetoprovideout-of-the-boxdataw
码农丁丁·2023-12-03 08:05

Hive SQL使用过程中的奇怪现象

hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
大数据技术与数仓·2023-12-03 08:07

数据湖和中央数据仓库的设计

设计数据湖或中央数据仓库是许多大型组织的主要职能，这些组织每天处理数百万笔交易，并对这些交易进行进一步的报告、预测或机器学习项目分析。
小技术君·2023-12-03 05:23

ETL&数据仓库复习

文章目录ETL1.1、岗位所需技能点数据分析师2.1、岗位所需技能点数据仓库3.1、岗位所需技能点1、数据仓库1.1、数据仓库与数据库区别1.2、数据仓库分层架构1.3、为什么要分层1.4、维度数据模型
爱敲代码的小黑·2023-12-03 01:23

商业智能BI中的ETL到底是什么？

商业智能BI中有许多定义，诸如数据仓库、数据挖掘、OLAP等，还有一个不得不提的定义，那就是ETL。在BI工程师或相关的职位招聘中，ETL也是必不可少的一项技能。那么，ETL到底是什么呢？
data2006·2023-12-03 01:22

计算机科学与技术毕业生简历,计算机科学与技术专业应届毕业生简历范文

计算机科学与技术专业：计算机科学与技术健康状况：良好知识结构主修课：C语言，离散数学，JAVA语言，数据结构，操作系统，系统结构，编译原理，数据库原理，计算机网络专业课程：ORACAL实用数据库，DB2UDB数据库，数据仓库
weixin_39878760·2023-12-02 23:03

一本书读懂数据治理

读后感数据湖和数据仓库的对比数据治理的价值数据管理存在的问题数据治理的4个层面数据治理8项举措数据治理7种能力数据治理7把利剑书摘企业
4935同学·2023-12-02 23:24

复杂JSON的实时接入解析与可视化展示

数据在后端处理好通过API将JSON返回给前端页面2、SaaS产品对外通过WebAPI返回JSON提供数据服务，而不是让用户直接连接到数据库（这样太危险，而且数据库服务通常是多租户公用，无法直接登录访问）3、数据中台已经得到广泛应用
Crystalllleee·2023-12-02 21:46

Hive----基本概念

2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hi杯酒故人·2023-12-02 21:21

An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records

特别是三层去噪自动编码器堆栈用于捕获约EHRs的汇总EHR中的分层规则和依存关系来自西奈山数据仓库的700,000名患者
仓小鼠·2023-12-02 18:14

大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）

1、ods是什么？ods层最好理解，基本上就是数据从源表拉过来，进行etl，比如MySQL映射到Hive，那么到了Hive里面就是ods层。ods全称是OperationalDataStore，操作数据存储——“面向主题的”，数据运营层，也叫ods层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类
静惘·2023-12-02 15:14

（星型、雪花、星座、交叉连接）多维数据模型各种类型优劣分析

概述在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构，同时从模型中又衍生出星座模型和交叉模型。下面我们先来理解这几种模型的概念和比较。事实和维度我们先来了解一下事实和维度。
真不爱学习·2023-12-02 10:21

2023.12.1 --数据仓库之 拉链表

目录什么是拉链表为什么要做拉链表?没使用拉链表:使用了拉链表:题中订单拉链表的形成过程实现语句什么是拉链表拉链表是缓慢渐变维的一种解决方案.拉链表,记录每条信息的生命周期,一旦一条记录的生命周期结束,就重新开始一条新的记录,并把当前日期放入生效开始日期,如果当前信息至今都有效,就在结束日期中填入一个最大值(9999-12-31)为什么要做拉链表?拉链表适合于:数据会发生变化，但是大部分是不变的比如
白白的wj·2023-12-02 09:19

速通MySql

一、简介1、什么是数据库数据仓库，用来存储数据。
bunny playing games·2023-12-02 08:31

sklearn中tfidf的计算与手工计算不同详解

sklearn中tfidf的计算与手工计算不同详解引言：本周数据仓库与数据挖掘课程布置了word2vec的课程作业，要求是手动计算corpus中各个词的tfidf，并用sklearn验证自己计算的结果。
stay_foolish12·2023-12-02 02:17

开源多组件数据中台整体框架设计

本文参考该论证思维工具，结合自身的工作经验，来论证下当前为什么“开源多组件数据中台”是政务数据应用的选择之一。一、什么是数据中台？  
开源数据中台·2023-12-02 01:50

数据中台架构原理与开发实战：数据中台项目管理流程

作者：禅与计算机程序设计艺术1.背景介绍数据架构概述数据架构（DataArchitecture）作为IT企业运用新型信息技术（IT）技术革命带来的变革，已经成为越来越重要的领域。随着互联网、移动互联网、物联网、云计算等新一代技术的发展，人类活动产生的数据量正在以指数级增长。而数据架构就成为了构建和维护这些海量数据的基石。由于数据量的爆炸性增长，传统单体数据库已无法满足业务需求的同时，还面临新的挑战
禅与计算机程序设计艺术·2023-12-02 01:49

数据中台架构原理与开发实战：数据可视化与数据报表

2017年，阿里巴巴集团发布了"支付宝数据中台",该平台旨在打通数据分析、决策制定和营
禅与计算机程序设计艺术·2023-12-01 23:48

直播电商数据仓库

直播电商数据仓库一.数仓及其维度什么是数仓数据仓库，简称数仓,（DataWarehouse）。
李昊哲小课·2023-12-01 21:31

缓慢变化维 (Slowly Changing Dimension) 常见的三种类型及原型设计

开篇介绍在从OLTP业务数据库向DW数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？
叫我老村长·2023-12-01 16:57

数据中台之核心调度模块的设计

目录1.DAG图的设计1.1功能设计要点1.2数据库设计要点2.调度器设计2.1XXL-JOB调度架构特点
数据与后端架构提升之路·2023-12-01 12:51

数据中台之OneService

OneService定义数据服务（OneService）作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。如何构建OneService●第一步：API定义API的定义包括：快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。●第二步：API发布API的发
数据与后端架构提升之路·2023-12-01 12:50

一文读懂：制造业头部企业如何构建经营分析数字化体系

用BI数据分析手段，通过SAPBW/4HANA、SAPSACPlanning、数据中台、Hadoop等构建大数据平台，实现企业经营分析的数字化在近年逐步被认可和推崇，尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一
智扬信达·2023-12-01 09:11

(免费领源码）java#ssm#mysql 招聘客户管理系统78049-计算机毕业设计项目选题推荐

摘要由于数据库和数据仓库技术的快速发展，招聘客户管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
2301_3224142804·2023-11-30 21:53

c语言知识

一、内存what从硬件形态上讲，内存就是一个物理设备，从功能上讲，内存是一个数据仓库，程序在执行前都有被装载到内存中，才能被中央处理器处理（CPU）执行。
快乐的tomato·2023-11-30 18:35

基于Apache doris怎么构建数据中台(五)-数据质量管理

上一次我们讲了，数据怎么进行快速的接入，这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态，并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理；洞察关键信息，形成事前预判、事中监控、事后跟踪的质量管理闭环流程；沉淀故障问题，搭建解决方案的知识库体系。在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、
张家锋·2023-11-30 17:48

数据中台具体是怎么解决数据孤岛的？_光点科技

为了解决这一问题，数据中台应运而生。数据中台是一种新型的数据管理架构，旨在打破数据孤岛，通过集中处理和管理数据，提高数据的可访问性和可用性。具体来说，
光点数据治理·2023-11-30 14:22

光点数据中台能干啥？怎么做？用在哪？_光点科技

数据中台的支持是企业中任何高层次的业务应用不可或缺的。数据中心面向的公司业务不再是单一业务线，而是从公司整体角度审视业务全景，寻找可重用的沉淀能力。今天，让我们来了解一下。
光点数据治理·2023-11-30 14:52

企业的数据中台到底指的是什么？_光点科技

随着数据技术的不断发展和企业数据应用的广泛应用，越来越多的企业开始将数据中台作为数字化转型的核心战略之一。那么，企业的数据中台到底指的是什么呢？
光点数据治理·2023-11-30 14:52

光点高校数据中台，助力高校信息化迎来发展新格局_光点科技

数据是教育信息化改革创新过程中的核心资产。从大数据的角度构建高校数据治理体系，支持高校管理信息向智能化服务和教育数字化转型，已成为必然趋势。然而，高校拥有更大的数据规模、更复杂的数据类型、更密集的数据交换和对数据治理的需求。因此，数据的应用仍然或多或少困扰着许多学校。为了清除这些信息问题，充分满足高校的数据进行应用市场需求，光点科技基于在大数据研究领域积累的技术优势和实施经验，为高校提供相关数据中
光点数据治理·2023-11-30 14:51

企业数据中台（CDP）为什么突然火了？_光点科技

数据中台CDP其实是从2019年开始火的。
光点数据治理·2023-11-30 14:21

电商平台数据仓库搭建02-Hadoop集群搭建

1，项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。2，项目准备虚拟机准备虚拟机开发工具为VMware15。
王小磊~·2023-11-30 13:04

数据仓库搭建

目录1数据仓库概念1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2
赵广陆·2023-11-30 13:32

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件
kk_io·2023-11-30 13:29

数据仓库数据管理模型

数据仓库分为贴源层、数据仓库层、数据服务层，有人叫做数仓数据模型，或者叫"数据管理模型”。
zhulangfly·2023-11-30 13:52

历史拉链表

介绍历史拉链表历史拉链表是一种数据模型，主要针对数据仓库设计中表存储数据的方式而定义的。它记录一个事物从开始到当前状态的所有变化的信息。
zealscott·2023-11-30 12:03

2019-12-11

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
diedfish_qyf·2023-11-30 11:41

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

AntDB“超融合+流式实时数仓”——快速实现企业全链路实时化

实时数据平台，快速实现企业全链路实时化引入数据仓库、数据挖掘、HTAP等先进理念，通过实时数据应用平台来装载庞大的信息量，进行实时分析处理，克服数据处理过程中的困难，是当下各企事业单位、互联网、金融，政务等行业核心系统建设的重点
亚信安慧AntDB数据库·2023-11-30 03:01

数据中台架构原理与开发实战：数据中台的数据索引与搜索

作者：禅与计算机程序设计艺术1.背景介绍随着互联网的蓬勃发展，社会数据越来越多地被收集、处理、分析并呈现出来。如何在快速变化的社会环境下有效管理、发现和利用这些海量数据，是一个非常重要的问题。2017年，英国政府发布了“数字转型”的新数据指南，要求各级政府在年底前推出基于数据的决策支持工具，对社会数据进行采集、处理、存储、分析、呈现、利用，形成信息经济。而最近十几年里，随着数据产业的兴起，数据中心
禅与计算机程序设计艺术·2023-11-30 01:38

数据中台为什么不好搞？

从2015年阿里提出“大中台”的数据中台战略，到2019年大厂及中台服务商“大兴”数据中台，再到2021年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了2年时间，为什么这么快数据中台就不香了？
码农code之路·2023-11-30 00:03

数据中台·实时开发计算平台

什么是数据中台·实时计算平台？实时计算（实时开发）是为构建一套一站式、高性能实时大数据处理平台，广泛适用于流式数据处理场景。
数据先生·2023-11-30 00:33

数据中台整体设计思路复盘

首先，什么是数据中台，由于每个企业每种项目对中台的定义不同，这里仅仅给一个概念：数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。
qq_33744471·2023-11-30 00:32

数据中台：数据模型设计

但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQ
小晨说数据·2023-11-30 00:31

阿里云数据中台核心引擎

核心引擎MaxCompute阿里离线数据计算平台（离线数仓）原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore中），使用Fluentd服务（类似的服务还有kafka、LogHub、DataX等，都大同小异，这里我用Fluentd作描述只是方便），通过Fluentd我们轻松的创建任务去按时读取各台服务器上的日
hsabrina·2023-11-30 00:30
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他