etl+数据仓库

大数据平台发展及Hudi简要复习

第一代数据仓库——Vertica最初，Uber使用MySQL作为他们的主要数据存储。然而，随着业务的扩展和数据量的增长，他们开始需要一个更强大的解决方案来进行大规模的数据分析和处理。
Joy T·2023-11-03 09:49

什么是数据库？什么是关系数据库？什么是非关系型数据库？

与普通的“数据仓库”不同的是，数据库依据“数据结构”来组织数据，因为“数据结构”，所以我们看到的数据是比较“条理化”的（比如不会跟以前的普通文件存储式存储成一个文件那么不条理化，我们的数据库分成一个个库
Chad你要加油·2023-11-03 03:54

【文档笔记】doris数据仓库-数据表设计：数据模型及数据划分

数据表设计：数据模型及数据划分一、Doris的数据模型在Doris中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column用于描述一行数据中不同的字段。Column可以分为两大类：Key和Value。从业务角度看，Key和Value可以分别对应维度列和指标列。Doris的数据模型主要分为3类:AggregateUniqueD
KevinBrain·2023-11-03 00:54

数仓建模—数仓建设概论

数仓建设概论文章目录数仓建设概论什么是数据仓库数据仓库对企业的意义1.全面掌握企业数据2.支持企业的决策制定3.可靠性高怎么做数据仓库建1.需求分析2.设计数据仓库架构3.数据采集4.数据清洗5.数据结构设计
不二人生·2023-11-02 21:59

实时数仓-hologres使用总结

是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库
高阳很捷迅·2023-11-02 18:57

[架构之路-250/创业之路-81]：目标系统 - 纵向分层 - 企业信息化的呈现形态：常见企业信息化软件系统 - 企业内的数据与数据库

数据与程序的分离思想1.5数据与程序的分离做法1.6数据库的基本概念1.7企业数据来源1.8企业数据架构二、常见的数据库类型2.1数据库分类2.1数据库类型2.2常见的数据库类型、应用场合和案例三、数据库、数据仓库和主题数据库比较
文火冰糖的硅基工坊·2023-11-02 17:04

酷克数据的数据仓库（olap数据库）架构变迁学习笔记

原文：数据仓库架构的变迁主要疑问是，如何解决OLAP低延迟、高并发以及扩展性问题。
Aiky哇·2023-11-02 16:08

HashData与HDFS的高效数据交换

另一方面，数据仓库作为主数据系统，保存着企业内部最具商业价值的历史数据，同时支撑日常的经营分析
HashData酷克数据·2023-11-02 16:06

【金猿投融展】HashData ——致力于降低企业进行大数据分析的门槛，推动数据民主化...

数据智能产业创新服务媒体——聚焦数智·改变商业HashData成立于2016年2月，是一家专注于云端数据仓库的初创公司，是数字经济和实体经济融合发展的典型代表。
数据猿·2023-11-02 16:35

【金猿产品展】HashData云端数据仓库——存储、计算和连接有价值的商业数据...

大数据产业创新服务媒体——聚焦数据·改变商业作为公司旗舰产品，HashData云端数据仓库融合了MPP数据库的高性能和丰富分析功能、大数据平台的扩展性和灵活性，以及云计算的弹性和敏捷性，以创新性的元数据
数据猿·2023-11-02 16:05

巴菲特投资的Snowflake有什么优势？在数据云中解锁新的收入模式

Snowflake成立于2012年，Snowflake销售的数据仓库软件能在亚马逊的云端运行，能为企业提供高性能、易扩张的
LinkTime_Cloud·2023-11-02 16:34

酷克数据出席永洪科技用户大会 携手驱动商业智能升级

携手合作助力企业释放数据价值数据仓库是商业智能（BI）的核心组件，为BI提供高质量的数据支持。
HashData酷克数据·2023-11-02 16:33

DB、ETL、ODS、DW、DM简单说明

DB是数据来源，数据来源可以是文件日志，Mysql，SqlServer等，为数据仓库提供数据来源的一般存在于现有的业务系统中。
chunmiao3032·2023-11-02 11:33

Greenplum管理和监控工具-gpcc-web介绍

它为数据库管理员提供了一个集中化的平台，从而更容易管理和监控复杂的数据仓库环境。gpcc-web主要特点和功能集群监控和状态：gpcc-
王亭_666·2023-11-02 09:27

如何使用Hive集成Solr?

[size=medium]（一）Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等
三劫散仙·2023-11-02 08:55

数据仓库与数据挖掘

1.数据挖掘的概念数据挖掘（Datamining），又译为资料探勘、数据采矿。它是数据库知识发现（Knowledge-DiscoveryinDatabases，KDD）中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。数据挖掘是
huaqianzkh·2023-11-02 07:16

Hive面试题持续更新【2023-07-07】

十、为什么要对数据仓库分层？十一、使用过Hive解析JSON串吗十二、sortb
程序终结者·2023-11-01 21:35

Hive面试题

hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将
布小昕·2023-11-01 20:58

数据仓库建设规范

序列号内容链接1大数据知识面试题-通用（2022版）https://blog.csdn.net/qq_43061290/article/details/1248190892大数据知识面试题-Hadoop（2022版）https://blog.csdn.net/qq_43061290/article/details/1248222933大数据知识面试题-MapReduce和yarn（2022版）ht
拉格朗日(Lagrange)·2023-11-01 18:35

数据仓库建设

业务驱动：1）关系营销2）获利能力3）风险管理4）资产负债管理5）监管合规建设途径：BI策略-->数据治理和管理-->元数据管理-->主数据管理-->信息管理和数据集成-->信息交付和报表分析-->仓库工具评估和部署实施方式：1）技术主导：一次建成2）业务主导：分期建设
小小哭包·2023-11-01 18:56

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

数据库大数据量、高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库
代码讲故事·2023-11-01 13:11

数据仓库-拉链表

在数据仓库中制作拉链表，可以按照以下步骤进行：确定需求：首先明确需要使用拉链表的场景和需求。例如，可能需要记录历史数据的变化，以便进行时间序列分析等。
wangqiaowq·2023-11-01 13:35

建表到查询，mysql数据库的干货分享

数据库一、定义数据库(databse)：数据仓库，它是保存和管理数据的仓库如果希望在程序中实现数据持久化操作，数据库就是一种非常好的解决方案BATCMD：百度、阿里、腾讯、携程、美团、滴滴IOE：IBM
weixin_47927271·2023-11-01 08:41

恒驰服务 | 华为云数据使能专家服务offering之数仓建设

数仓建设-适用场景恒驰数据仓库服务主要针对有数据仓库不同业务诉求的客户，通过服务增购的形式，提供数据仓库咨询或数据迁移服务，协助客户优化业务以及
恒云联盟·2023-11-01 03:34

Hive连接异常：无法通过JDBC连接打开客户端传输（JDBC Uri: jdbc:hive2:// 大数据）

Hive连接异常：无法通过JDBC连接打开客户端传输（JDBCUri:jdbc:hive2://大数据）在大数据领域中，Hive是一个常用的数据仓库解决方案，可以用于处理和分析大规模的结构化数据。
JieLun_C·2023-10-31 20:57

ETL 是什么？不信你看不懂！--九五小庞

ETL，全称Extract-Transform-Load，它是将大量的原始数据经过提取(extract)、转换(transform)、加载(load)到目标存储数据仓库的过程。
Up九五小庞·2023-10-31 18:48

BI数据系统的设计流程

是否需要建立数据仓库？以及前期准备工作，比如相关数据字典
hzp666·2023-10-31 15:10

大数据融合数仓场景化解决方案总结笔记

1.数据仓库与融合数仓数据库架构设计Shared-Disk各个处理单元使用自己的私有CPU和Memory，共享磁盘系统Shared-Everything一般是针对单个主机，完全透明共享CPU/Memory
BIN3399·2023-10-31 12:38

MVVM在Flutter中的实现

M-Model层数据仓库层，你可以把你获取数据的方法（不管是从服务器还是从本地，调用者不关心数据是从哪里来的，数据来源规则在自己内部定义）、数据模型（各种entity、bean什么的）都放在这一
爱静静真好·2023-10-31 11:44

【系统架构】架构风格专题

目录1、定义2、通用架构风格分类3、架构风格比较4、示例：管道-过滤VS数据仓库）比较因素分析1、定义架构风格：描述某一特定应用领域中系统组织方式的惯用模式，反映了领域中众多系统所共有的结构和语义特性，
平凡之大路·2023-10-31 08:23

Apache Hive

目录数据仓库（DW）SQL语法分类Hive和Hadoop之间的关系（底层是HadoopHive将SQL转换为MapReduce）为什么使用Hive使用HadoopMapReduce直接处理数据所面临的问题使用
liyantower·2023-10-31 05:44

数据预处理_数据清理（缺失值、噪声等详细处理）

--数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。--数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。--数据变换：(例如，规范化)可以用来把数据压缩
Lily_我是一个小钢豆·2023-10-31 04:14

【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
九层之台起于累土·2023-10-31 00:37

hive一次补跑数据遇到的坑

根据之前介绍的数据仓库分层架构设计，虽然有公共逻辑下沉的好处，但是一旦底层
愤怒的谜团·2023-10-30 23:53

分析师要懂的数仓知识

为什么学数据仓库工作中经常去数据库中找数据做分析，也和数仓同事对接过，做过一些表，但是只是对一些固定的事实和维度表熟悉，对数仓的整体架构、运作流程却没有一个大概的了解。
成鹏9·2023-10-30 22:57

奇富科技引领大数据调度革命：高效、稳定、实时诊断

刘坤元以一个数仓（数据仓库的简称，指用于存储、分析、报告的数据系统）同学熟知的起夜率指标开启了本次分
CSDN云计算·2023-10-30 21:09

第二课 Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
Arroganter·2023-10-30 12:29

hadoop组件及各自的功能

分布式资源管理系统，3.MapReduce:Hadoop的编程框架4.Pig:基于hadoop的一门数据处理语言5.Zookeeper：分布式协调服务6.Hbase:Hadoop下的分布式数据库7.Hive:分布式数据仓库
ZK_0705·2023-10-30 10:17

Impala介绍优缺点

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。
墨卿风竹·2023-10-30 07:17

大数据简历要点与模拟面试和项目介绍模板二

模拟面试和项目介绍模板10一、自我介绍（目前不知道怎么做）您好，我叫xxx，毕业于xxx学校，因为在大学里学过javase、mysql、web、数据结构与算法等计算机基础知识，在一份软件测试的实习中接触到数据仓库
wespten·2023-10-30 03:29

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。
浮zai梦里·2023-10-30 03:29

数据仓库系列2-数据仓库建模介绍

一.建模理论1.1ER实体模型在信息系统中，将事务抽象为“实体”（Entity）、“属性”（Property）、“关系”（Relationship）来表示数据关联和事物描述，这种对数据的抽象建模通常被称为ER实体关系模型。实体：通常为参与到过程中的主体，客观存在的，比如商品、仓库、货位、汽车，此实体非数据库表的实体表。属性：对主体的描述、修饰即为属性，比如商品的属性有商品名称、颜色、尺寸、重量、产
只是甲·2023-10-30 00:27

关于数据中台的理解和思考

数据中台得基础主要是数据仓库和数据中心。二、数据中台模型1、连接数据孤岛打通用户的行为数据和各个业务数据。
骇客567·2023-10-29 10:52

Hive-day01-简单介绍

一：什么是Hive1：hive简介hive：解决海量结构化日志的数据统计工具hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
总会有天明·2023-10-29 08:40

数字化转型系列主题：数据中台建设方法论

本质就是数据仓库+数据服务中间件。数据中台一般会具备4个能力：数据采集整合、数据提纯加工、数据服
LarryHai6·2023-10-29 06:59

【Airflow】构建爬虫任务系统

是一个ETL工具ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程这里是一个github的地址https://github.com/apache/airflow这里是官方文档https:
瓜皮三三·2023-10-29 05:57

数据中台对于企业来讲意味着什么？_光点科技

数据中台架构包含数据采集、数据仓库、数据计算、数据展示四大核心部
光点数据治理·2023-10-29 01:55

开源大数据OLAP引擎最佳实践

现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHouse和ApacheDoris
zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解
呆猛的呆呆小哥·2023-10-28 21:56

【大数据前置基础】大数据聚焦层面，数据仓库，OLAP和OLTP

大数据中的几个概念1大数据聚集层面2数据仓库3OLAP和OLTP手动反爬虫，禁止转载：原博地址https://blog.csdn.net/lys_828/article/details/118599017
lys_828·2023-10-28 21:20
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他