数据湖数据仓库

Apache Flume架构和原理

ApacheFlume是一个开源的分布式、可靠的日志收集和聚合系统，旨在将大量的日志数据从不同的数据源（如应用程序、服务器、设备）收集到中心存储或数据湖中。
贾斯汀玛尔斯·2023-08-24 08:54

大数据数据仓库

一.在线教育1.数据采集1.数仓概念数据仓库是为企业制定决策，提供数据支持的。数据采集和存储、对数据进行计算和分析2.项目架构2.数据分类业务数据用户行为数据爬虫数据2.离线数仓3.实时数仓
highly2009·2023-08-24 04:52

如何快速地将Hive中的数据导入ClickHouse

我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。
Ricky_Huo·2023-08-24 04:44

分享干货，数据仓库是什么？有什么价值？

说到数据不得不提的就是数据仓库。数据仓库是什么？数据仓库是一个中心化的存储系统，用于存储和管理企业的大规模结构化和非结构化数据。它是一个专门设计
派可数据BI可视化·2023-08-24 02:57

Data Vault 2.0方法论——项目计划

由于数据仓库是软件的一部分，许多来自行业的学术研究人员和专业人员都同意这样一个事实，即来自软件工程学科的方法可以应用于数据仓库项目。我们已经讨论了一些著名的项目计划方法。
DataVault善哉·2023-08-23 21:24

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库H
大数据学习01·2023-08-23 18:22

Hive详解

Hive使用必知必会系列一、Hive的几种数据模型在这里插入图片描述内部表(Table将数据保存到Hive自己的数据仓库目录中：/usr/hive/warehouse)外部表(ExternalTable
daysting·2023-08-23 17:59

腾讯大佬三年大制作，大数据Hadoop和Spark的大集合

本书围绕Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库
金光闪闪耶·2023-08-23 15:47

MPP架构和分布式架构是啥？2000字长文给你狠狠讲清楚！

在之前的文章中，我们详解了数据仓库的诞生原因、基本特点、数据仓库和数据库的区别、数据仓库的建设等内容。现在来看MPP架构和分布式架构。
Leo.yuan·2023-08-23 14:55

表值函数：Table Valued Function

TableValuedFunction，以及使用场景；如果你仍然奋战在数据库相关的工作时，尤其是使用MicrosoftSQLServer，有一些功能点是需要掌握的，这包含基本的SQL语言，视图，函数，触发器，存储过程，游标等；作为数据仓库工程师
Zhu_Yue·2023-08-23 13:37

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
·2023-08-23 12:48

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景。MOLAP引擎使用了ApacheKylin。ROLAP我们经过综合考虑，选择了ApacheDoris。
木东居士·2023-08-23 09:34

软考高级系统架构设计师系列之：论文典型试题写作要点和写作素材总结系列文章二

论基于DSSA的软件架构设计与应用1.论文题目2.写作要点和写作素材二、论信息系统建模方法1.论文题目2.写作要点和写作素材三、论高可靠性系统中软件容错技术的应用1.论文题目2.写作要点和写作素材四、论数据仓库的设计与实现
最笨的羊羊·2023-08-23 08:53

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
Apache Flink·2023-08-23 07:58

Apache Doris 入门教程35：多源数据目录

概述多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
sunjian286·2023-08-23 05:10

解放数据库，实时数据同步利器：Alibaba Canal

文章首发地址Canal是一个开源的数据库增量订阅&消费组件，主要用于实时数据同步和数据订阅的场景，特别适用于构建分布式系统、数据仓库、缓存更新等应用。
Walter Sun·2023-08-23 05:21

Hive中explode和lateral view使用方法讲解

79459282explode与lateralview在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统
LannisterWF·2023-08-23 04:50

大数据学习的必备五大核心技术

基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux·2023-08-23 03:57

干货分享 | 4万字全面解读数据中台、数据仓库、数据湖（建议收藏）

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2023-08-23 01:34

Hive常用的属性配置

Hive数据仓库位置配置默认位置/user/hive/warehouse若多数据仓库位置进行修改，则修改配置hive-site.xml文件，添加一些属性。
明明德撩码·2023-08-23 01:42

MySQL—数仓ETL开发中常用到的日期函数

在数据仓库ETL开发中，当以增量的方式进行数据同步时，会将数据表中的时间字段作为增量字段获取增量数据。对于MySQL数据库来说，总结了以下日期表示以及需要注意的问题。
一克拉的小蚂蚁·2023-08-22 23:16

市面上最好用的4款免费ETL工具推荐

一、ETL介绍ETL流程是数据仓库建设的核心环节，它涉及从各种数据源中抽取数据，经过清洗、转换和整合，最终加载到数据仓库中以供分析和决策。
苛子·2023-08-22 23:45

Flink SQL (五) 连接到外部系统Hive

HiveApacheHive作为一个基于Hadoop的数据仓库基础框架，可以说已经成为了进行海量数据分析的核心组件。
ambitfly·2023-08-22 22:32

PostgreSQL实战-10-性能优化

PostgreSQL数据库的SQL服务器应用通常分为OLTP数据仓库数据库性能分析【硬件】：最先到达瓶颈的，通常是磁盘IO1.建议使用固定存储SSD如目前使用广泛的SATASSD
longailk·2023-08-22 14:48

StarRocks 3.1重磅发布，云原生湖仓新范式再升级！

StarRocks自4月底发布3.0版本，拥抱云原生，开启极速统一的湖仓新范式；8月7日，StarRocks正式发布全新3.1版本，全面提升云原生存算分离构架、极速数据湖分析、物化视图等重量级特性，让用户更简单的实现极速统一的湖仓分析
·2023-08-22 10:46

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。
·2023-08-22 10:45

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
·2023-08-22 10:14

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

简介：阿里云全链路数据湖开发治理解决方案能力持续升级，发布2.0版本。
·2023-08-22 10:13

Data Mesh：除了技术，也关乎所有权与沟通力

blog/data-mesh-its-not-about-tech-its-about-ownership-and-communication在数据和分析领域中，数据网格（DataMesh）范式是取代数据湖
ThoughtWorks·2023-08-22 08:38

数据仓库一分钟

数据分层一、数据运营层：ODS（OperationalDataStore）“面向主题的”数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。一般来讲，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即可，至于数据
mengml_smile·2023-08-22 07:59

Hive-架构、执行

Hive是基于hadoop的数据仓库工具，将结构化的数据映射为一张表，提供类sql的查询功能。本质--SQL解析，将HQL转为MapReduce执行过程。
风止_·2023-08-21 21:15

数据湖概览

什么是数据湖数据湖是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。
落幕7·2023-08-21 21:44

2021-06-24

基础概念1.DB:DATABASE数据库，数据仓库2.DBMS：数据库管理系统（MySQL、Oracle等）3.SQL:结构化查询语言（通用性高）4.DBA:数据库管理员数据库的特点:数据-->表-->
AUTOBEAR·2023-08-21 18:32

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
·2023-08-21 15:18

NineData x SelectDB 完成产品兼容互认证

近日，新一代实时数据仓库厂商SelectDB与云原生智能数据管理平台NineData完成产品兼容互认证。经过严格的联合测试，双方软件完全相互兼容、功能完善、整体运行稳定且性能表现优异。
·2023-08-21 11:26

从Hadoop/Hive数据仓库导入数据到睿思BI系统

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
睿思BI·2023-08-21 03:41

FifthOne：用于矢量搜索的计算机视觉接口

数据湖和数据仓库;广阔的像素牧场和充满文字的海洋。找到正确的数据就像大海捞针一样！
无水先生·2023-08-20 14:32

企业数字化转型大数据湖一体化平台项目建设方案PPT

导读：原文《企业数字化转型大数据湖一体化平台项目建设方案PPT》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
智慧城市2030·2023-08-20 11:31

大数据的产品与应用细分研究报告

一、大数据产品细分数据仓库与数据湖数据仓库是一种用于存储和管理结构化数据的系统，常用于支持企业的决策分析。数据湖则是一种存储各种类型和格式数据的系统，用于支持大数据的分析和挖掘。以下是一个数据仓
2301_78484069·2023-08-19 22:41

ClickHouse（2）- CK介绍与MergeTree引擎

其逻辑就是，基于页面的点击事件流，面向数据仓库进行OLAP分析，ck在研发之初就是应用与OLAP（OnLineAnalyticalProcessing，即联机分析处理）领域。
·2023-08-19 13:11

数仓分层架构

1分层实现数据仓库一般分为三层，自上而下分别为数据贴源层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService
三石先生已存在·2023-08-19 12:38

拉链表概述

介绍数据仓库中有一种数据存储模型，用于维护历史状态以及最新状态，反映某一Key的历史变化演进过程，该种模型叫做缓慢变化维，简称SCD（SlowlyChangingDimensions），通常所说的拉链表其实属于缓慢变化维的一种实现方式
跟着大数据和AI去旅行·2023-08-19 11:03

当大模型遇到数据仓库 HashData助力LLM规模化应用

在会上，酷克数据首席科学家杨胜文发表了题为《当LLM遇到数据仓库》的主旨演讲，分享了对大模型热潮的观察和思考，并介绍了借助酷克数据研发的下一代高级分析和数据科学工具HashML，简化从数据处理、模型微调到知识增强的智能
HashData酷克数据·2023-08-19 09:52

DTCC 2023即将启幕 明天见！

8月16日-18日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京举行作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023
HashData酷克数据·2023-08-19 09:52

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
HashData酷克数据·2023-08-19 08:21

《PostgreSQL 开发指南》第32篇 物化视图

物化视图通过提前运行并存储查询结果，通常用于查询优化、数据仓库
不剪发的Tony老师·2023-08-19 08:31

数字化时代，数据仓库和商业智能BI系统演进的五个阶段

数字化在逐渐成熟的同时，社会上也对数字化的性质有了进一步认识。当下，数字化除了前边提到的将复杂的信息、知识转化为可以度量的数字、数据，在将其转化为二进制代码，引入计算机内部，建立数据模型，统一进行处理、分析、应用，还有了新的定义。当下数字化指的是通过人工智能、大数据、云计算、互联网、物联网等新一代信息技术，实现对个人、机构、企业等不同人员、群体的思想、战略、业务、技术、创新等各个层面的数字化改革，
派可数据BI可视化·2023-08-19 07:13

数据的深海潜行：数据湖、数据仓库与数据湖库之间的微妙关系

导言：数据的重要性与存储挑战在这个信息爆炸的时代，数据已经成为企业的核心资产，而如何高效、安全、便捷地存储这些数据，更是每个组织面临的重大挑战。数据作为组织的核心资产数据在过去的几十年里从一个辅助工具演变成企业的核心。无论是做市场预测、用户行为分析还是产品创新，数据都扮演着不可或缺的角色。而在这个过程中，数据的质量、完整性和可用性直接影响到企业的决策质量和竞争力。大数据时代下的存储需求与挑战伴随技
乐思项目管理·2023-08-19 07:35

Apache Doris 入门教程31：计算节点

需求场景目前Doris是一个典型Share-Nothing的架构,通过绑定数据和计算资源在同一个节点获得非常好的性能表现.但随着Doris计算引擎性能持续提高,越来越多的用户也开始选择使用Doris直接查询数据湖数据
sunjian286·2023-08-19 05:42

数字化来了，该如何选择大数据存储？主流架构MPP与Hadoop的对比

目前主流的海量数据处理架构分为两种:1基于传统数据库及数据仓库所衍生出的MPP(MassivelyParallelProcessing)架构;2基于Hadoop并行计算框架的分布式架构。
少晗·2023-08-19 02:34
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他