--------【数据仓库】

什么是ETLT？他是新一代数据集成平台？

数据集成涉及将来自各种来源的数据合并、清洗、转换，并将其加载到数据仓库或分析平台以供进一步的处理和分析。传统上，数据集成有两种主要方法，即ETL（提取、转换、加载）和ELT（提取、加载、转换）。
苛子·2023-09-07 09:28

信息化发展22

数据仓库数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用于支持管理决策。（1）数据源。它是数据仓库系统的基础，是整个系统的数据源泉。通常包括组织内部信息和外部信息。
AbelZ_01·2023-09-07 04:42

李呈祥：bilibili在湖仓一体查询加速上的实践与探索

file导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。
DataFunTalk·2023-09-06 21:40

炫“库”行动—人大金仓有奖征文——金仓分析型数据库系统安装教程

适用于数据仓库、决策支持、高级分析等分析类应用场景，类似Vertica、Greenplum、G
天宫空间站·2023-09-06 21:49

0401hive入门-hadoop-大数据学习.md

客户端4.1HiveServer2服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri结语1Hive概述ApacheHive是一个开源的数据仓库查询和分析工具
gaog2zh·2023-09-06 17:43

数据湖_Hudi概述

从数据仓库看数据湖引用一下AWS数据仓库和数据
高达一号·2023-09-06 16:21

绝绝子，奥威BI探寻式数据可视化工具，好用又高效

该工具基于数据仓库技术，支持大屏可视化与移动应用，提供10+行业标准BI方案，适合中国企业的数据可视化分析需求。此外，奥威BI还提供一站式的智能数据分析平台，让数据驱动企业决策，推动企业数字化转型。
qq_43696218·2023-09-06 10:26

用Google CDC来同步Cloud SQL的数据到Bigquery

现在需要定期把这些数据同步到Bigquery数据仓库中，这样我们就能在Bigquery上进行数据的后续分析处理，生成数据报表。
gzroy·2023-09-06 08:43

centos7上hive3.1.3安装及配置

1、安装背景；hive是基于hadoop的数据仓库软件，部署运行在linux系统之上，安装之前必须保证hadoop环境运行正常，hive本身不是分布式软件，它的分布式主要是借助hadoop实现，存储是hdfs
至尊宝♬·2023-09-06 05:13

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。
·2023-09-05 17:37

异地容灾系统和数据仓库中数据同步的设计软件的功能模型

（1）初始同步模块该模块主要是在表进行初始同步时使用的；它能够根据实际需要生成物化视图及其索引的创建语句，并完成表的初始同步。如果没有特别的要求，则调用普通初始同步子模块进行目的端表的初始同步，创建语句将从源数据库获取；如果有特别的要求，如按指定的分区初始同步或者按照一定的条件进行初始同步，则会根据这些要求调用分区初始同步或条件初始同步子模块生成特定的创建语句来进行目的端表的初始同步。该模块能够批
精品资料学习库·2023-09-05 17:31

异地容灾系统和数据仓库系统设计和体系结构

（1）生产系统数据同步到异地容灾系统生产系统与异地容灾系统之间是通过百兆网连接的；生产系统的数据库是Oracle9iRAC，总的数据量大约为3TB，涉及五千多张表。对这些表进行分析归类，发现容灾系统真正需要实时同步的表大约只有五百张，数据量约为1TB，只要能够把这五百张表的变更及时准确地进行同步，即可在生产系统发生灾难时，启用异地容灾的营业应急系统。鉴于此，本系统数据库使用Oracle9i，同步软
精品资料学习库·2023-09-05 17:00

数据仓库的流程

数据仓库完全用统计分析框架实现:Spark,MR但是因为实际生产环境中,需求量非常大,如果每个需求都采用独立c代码开发方式,重复计算会很多.提高性能的方法:1.减少数据量2.减少重复计算例如RDDcache
叫我莫言鸭·2023-09-05 14:48

Hive 和 HDFS、MySQL 之间的关系

HiveHive是一个基于Hadoop生态系统的数据仓库工具，用于管理和查询大规模数据集。它提供了一种类似于SQL的查询语言（HiveQL），允许用户执行数据分析和查询操作。
月亮给我抄代码·2023-09-05 05:42

MySQL数据库

数据库—数据仓库—数据持久化，管理数据关系(型)数据库：MySQL、Oracle、SQLServer、MariaDB、DB2、PostgreSQL、SQLite（嵌入式数据库）等非关系型数据库：NoSQL
乌拉的故事·2023-09-05 05:06

Kylin：多维立方体（Cube）

Cube示意图几个关键词数据仓库：存放的数据包含时间信息，且不常被修改立方体：由维度构建出来的多维空间，包含了所有要分析的基础数据，所有的聚合数据操作都
longLiveData·2023-09-05 02:49

软件工程专业的发展方向

企业计算是稍时髦较好听的名词，主要是指企业信息系统,如ERP软件（企业资源规划）、CRM软件（客户关系管理）、SCM软件（供应链管理，即物流软件）,银行证券软件,财务软件,电子商务/政务（包括各种网站），数据仓库
Rayabc·2023-09-04 18:29

论道数据仓库维度建模和关系建模

为什么要数据仓库建模呢？
治理之路·2023-09-04 15:31

实时同步！从MySQL到SelectDB的无缝数据迁移

而SelectDB作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01在什么情况下需要把MySQL同步到SelectDB？
NineData·2023-09-04 14:19

hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生·2023-09-04 06:38

一文弄懂游戏服务器的云原生化

目录云原生背景知识DockerKubernetes云原生在游戏行业应用现状游戏服务器容器化云原生数据库云原生数据仓库云游戏函数计算游戏服务器云原生化paddle-soccerAgonesOpenKruiseGame
长三月·2023-09-04 01:24

【数仓基础（一）】基础概念：数据仓库【用于决策的数据集合】的概念、建立数据仓库的原因与好处

文章目录一.数据仓库的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立数据仓库的原因三.使用数据仓库的好处一.数据仓库的概念数据仓库的主要作用：数据仓库概念主要是解决多重数据复制带来的高成本问题
roman_日积跬步-终至千里·2023-09-04 00:11

数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别

什么是数据同步工具（ETL、ELT）数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据
OushuDB·2023-09-03 19:13

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据·2023-09-03 08:45

31省政府数字关注度121个关键词（2001-2021年）

宁夏、青海、山东、山西、陕西、上海、四川、天津、西藏、新疆、云南、浙江、重庆4、指标说明：参考政府文本、文献，共统计121个关键词词频,含指标如下：1.数字技术'大数据':'大数据','数据挖掘','数据仓库
成长之路514·2023-09-03 02:11

维度退化

将维度退化到事实表中，减少事实表和维度表的关联在维度建模的数据仓库中，有一种维度叫DegenerateDimension，中文一般翻译为“退化维度”。
无敌飞天小肥猫·2023-09-03 01:19

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
·2023-09-02 23:50

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
亚马逊云开发者·2023-09-02 23:52

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·2023-09-02 18:43

Hive窗口函数大全

Hive是一个数据仓库查询和分析工具，它支持窗口函数（WindowFunctions），用于在查询结果集上执行各种分析操作，如排名、聚合、比较等。以下是一些常
贾斯汀玛尔斯·2023-09-02 11:22

Elasticsearch：自动使用服务器时间设置日期字段并更新时区

即使没有日期字段，处理各种格式和时区的日期对数据仓库来说也是一个重大挑战。与此类似，如果要检测变化的数据，则必须准确设置日期字段。
Elastic 中国社区官方博客·2023-09-02 08:39

BDCC - 闲聊数据仓库的架构

文章目录典型数据仓库架构图数据仓库ETLvsELTETLELT区别联系数据仓库分层（1）数据仓库ODS层（2）数据仓库CDM层DWD数据明细层DWS数据汇总层（3）数据仓库ADS层典型数据仓库架构图按自下而上的顺序
小小工匠·2023-09-02 07:24

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
Apache Flink·2023-09-02 06:04

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
MoMoSQL666·2023-09-02 05:36

GaussDB数据库SQL系列-行列转换

静态行转列3）行转列（结果值：拼接式）4）动态行转列（拼接SQL式）2、列转行示例1）创建实验表（复用前面的测试数据）2）使用unionall，将各科目（数学、英语、语文）整合为一列四、小结一、前言在构建数据仓库或做数据分析时
Gauss松鼠会·2023-09-02 05:37

520页（17万字）集团大数据平台整体解决方案word

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除，更多浏览公众号：智慧方案文库1.1.1系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库
2023小目标·2023-09-02 01:40

数据抽取建设需求

在数据融合中，数据的ETL，即数据抽取、转换、装载是不可避免的前置操作，首先从原始数据中抽取数据，然后进行数据的转换和初步处理，最后装载到数据仓库中，用以进一步的融合、挖掘、分析等。
hanyf·2023-09-01 21:19

【大数据】数据湖：下一代大数据的发展趋势

数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求2.数据湖助力于解决数据仓库痛点问题
G皮T·2023-09-01 16:24

火山引擎ByteHouse：ClickHouse如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。在日常工作中，研发人员经
字节数据平台·2023-09-01 16:08

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
·2023-09-01 15:41

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
·2023-09-01 15:37

mac 装python环境下mysql_python和数据库学习笔记-在mac下配置python和mysql开发环境

现在研究的课题和大数据有关，数据仓库目前是在vertica上面，然后计划用公有云的方案来处理计算能力的弹性问题，也就是将部分数据从vertica导入到hive+spark中，方案还是庞大复杂的，所以除了设计整个架构以外
weixin_39897267·2023-09-01 15:32

事实表和维度表是怎么造数据_学习数据工程从何下手？这些基本知识先了解一下...

过去，数据工程师只需知道基本的数据仓库、数据的提取转换加载(ETL)和数据可视化就够了。而近些年数据工程师的职能范围已发生了很大变化，不再局限于数据库管理和商业智能(BI)。
weixin_39964660·2023-09-01 15:32

python etl 大猩猩_用于ETL的Python数据转换工具详解

ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。
无无可能·2023-09-01 15:31

python实现数据仓库ETL

python实现数据仓库ETL通常讲的数据仓库ETL,可以分为ETL和ELT两种实现方式.ELT是在加载到仓库后,再做数据转换.ETL是在加载之前完成转换,落地的数据就是转换后的样子了.ELT多使用在MPP
dsqzhong·2023-09-01 15:24

【校招VIP】前端算法考点之大数据相关

可用于大数据分析的关键技术主要包括A/B测试，关联规则挖掘，数据挖掘，集成学习，遗传算法，机器学习，自然语言处理，模式识别，预测模型，信号处理，空间分析，监督式学习，时间序列分析等，可用于大数据处理的关键技术主要是商业智能，云计算，数据仓库
校招VIP·2023-09-01 13:14

流批一体不只有Flink，还有实时数据模型

|0x00从流批一体诞生的必然性说起通常来讲，数据仓库的建设，都是以离线作为主要的密报，下游的应用，不论是报表还是接口，所提供的数据也大多是T-1时效性。
晓阳的数据小站·2023-09-01 12:58

数据治理-数据仓库和商务智能

业务驱动因素数据仓库建设的主要驱动力是运营支持职能、合规需求和商务智能活动。一个组织建设数据仓库的目标支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方法。
世润·2023-09-01 12:26

DataWorks增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-01 11:39

白鲸开源 DataOps 平台加速数据分析和大模型构建

他们使用数据仓库或数据湖来发现、访问和使用数据，并利用AI推动分析用例。但他们很快意识到
DolphinScheduler社区·2023-09-01 06:42
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他