041-数据仓库

hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生·2023-09-04 06:38

一文弄懂游戏服务器的云原生化

目录云原生背景知识DockerKubernetes云原生在游戏行业应用现状游戏服务器容器化云原生数据库云原生数据仓库云游戏函数计算游戏服务器云原生化paddle-soccerAgonesOpenKruiseGame
长三月·2023-09-04 01:24

【数仓基础（一）】基础概念：数据仓库【用于决策的数据集合】的概念、建立数据仓库的原因与好处

文章目录一.数据仓库的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立数据仓库的原因三.使用数据仓库的好处一.数据仓库的概念数据仓库的主要作用：数据仓库概念主要是解决多重数据复制带来的高成本问题
roman_日积跬步-终至千里·2023-09-04 00:11

数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别

什么是数据同步工具（ETL、ELT）数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据
OushuDB·2023-09-03 19:13

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据·2023-09-03 08:45

31省政府数字关注度121个关键词（2001-2021年）

宁夏、青海、山东、山西、陕西、上海、四川、天津、西藏、新疆、云南、浙江、重庆4、指标说明：参考政府文本、文献，共统计121个关键词词频,含指标如下：1.数字技术'大数据':'大数据','数据挖掘','数据仓库
成长之路514·2023-09-03 02:11

维度退化

将维度退化到事实表中，减少事实表和维度表的关联在维度建模的数据仓库中，有一种维度叫DegenerateDimension，中文一般翻译为“退化维度”。
无敌飞天小肥猫·2023-09-03 01:19

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
·2023-09-02 23:50

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
亚马逊云开发者·2023-09-02 23:52

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·2023-09-02 18:43

Hive窗口函数大全

Hive是一个数据仓库查询和分析工具，它支持窗口函数（WindowFunctions），用于在查询结果集上执行各种分析操作，如排名、聚合、比较等。以下是一些常
贾斯汀玛尔斯·2023-09-02 11:22

Elasticsearch：自动使用服务器时间设置日期字段并更新时区

即使没有日期字段，处理各种格式和时区的日期对数据仓库来说也是一个重大挑战。与此类似，如果要检测变化的数据，则必须准确设置日期字段。
Elastic 中国社区官方博客·2023-09-02 08:39

BDCC - 闲聊数据仓库的架构

文章目录典型数据仓库架构图数据仓库ETLvsELTETLELT区别联系数据仓库分层（1）数据仓库ODS层（2）数据仓库CDM层DWD数据明细层DWS数据汇总层（3）数据仓库ADS层典型数据仓库架构图按自下而上的顺序
小小工匠·2023-09-02 07:24

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
Apache Flink·2023-09-02 06:04

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
MoMoSQL666·2023-09-02 05:36

GaussDB数据库SQL系列-行列转换

静态行转列3）行转列（结果值：拼接式）4）动态行转列（拼接SQL式）2、列转行示例1）创建实验表（复用前面的测试数据）2）使用unionall，将各科目（数学、英语、语文）整合为一列四、小结一、前言在构建数据仓库或做数据分析时
Gauss松鼠会·2023-09-02 05:37

520页（17万字）集团大数据平台整体解决方案word

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除，更多浏览公众号：智慧方案文库1.1.1系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库
2023小目标·2023-09-02 01:40

041-迭代dict的value

我们已经了解了dict对象本身就是可迭代对象，用for循环直接迭代dict，可以每次拿到dict的一个key。如果我们希望迭代dict对象的value，应该怎么做？dict对象有一个values()方法，这个方法把dict转换成一个包含所有value的list，这样，我们迭代的就是dict的每一个value：d={'Adam':95,'Lisa':85,'Bart':59}printd.value
然学科技·2023-09-02 01:41

数据抽取建设需求

在数据融合中，数据的ETL，即数据抽取、转换、装载是不可避免的前置操作，首先从原始数据中抽取数据，然后进行数据的转换和初步处理，最后装载到数据仓库中，用以进一步的融合、挖掘、分析等。
hanyf·2023-09-01 21:19

【大数据】数据湖：下一代大数据的发展趋势

数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求2.数据湖助力于解决数据仓库痛点问题
G皮T·2023-09-01 16:24

火山引擎ByteHouse：ClickHouse如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。在日常工作中，研发人员经
字节数据平台·2023-09-01 16:08

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
·2023-09-01 15:41

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
·2023-09-01 15:37

mac 装python环境下mysql_python和数据库学习笔记-在mac下配置python和mysql开发环境

现在研究的课题和大数据有关，数据仓库目前是在vertica上面，然后计划用公有云的方案来处理计算能力的弹性问题，也就是将部分数据从vertica导入到hive+spark中，方案还是庞大复杂的，所以除了设计整个架构以外
weixin_39897267·2023-09-01 15:32

事实表和维度表是怎么造数据_学习数据工程从何下手？这些基本知识先了解一下...

过去，数据工程师只需知道基本的数据仓库、数据的提取转换加载(ETL)和数据可视化就够了。而近些年数据工程师的职能范围已发生了很大变化，不再局限于数据库管理和商业智能(BI)。
weixin_39964660·2023-09-01 15:32

python etl 大猩猩_用于ETL的Python数据转换工具详解

ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。
无无可能·2023-09-01 15:31

python实现数据仓库ETL

python实现数据仓库ETL通常讲的数据仓库ETL,可以分为ETL和ELT两种实现方式.ELT是在加载到仓库后,再做数据转换.ETL是在加载之前完成转换,落地的数据就是转换后的样子了.ELT多使用在MPP
dsqzhong·2023-09-01 15:24

【校招VIP】前端算法考点之大数据相关

可用于大数据分析的关键技术主要包括A/B测试，关联规则挖掘，数据挖掘，集成学习，遗传算法，机器学习，自然语言处理，模式识别，预测模型，信号处理，空间分析，监督式学习，时间序列分析等，可用于大数据处理的关键技术主要是商业智能，云计算，数据仓库
校招VIP·2023-09-01 13:14

流批一体不只有Flink，还有实时数据模型

|0x00从流批一体诞生的必然性说起通常来讲，数据仓库的建设，都是以离线作为主要的密报，下游的应用，不论是报表还是接口，所提供的数据也大多是T-1时效性。
晓阳的数据小站·2023-09-01 12:58

数据治理-数据仓库和商务智能

业务驱动因素数据仓库建设的主要驱动力是运营支持职能、合规需求和商务智能活动。一个组织建设数据仓库的目标支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方法。
世润·2023-09-01 12:26

DataWorks增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-01 11:39

白鲸开源 DataOps 平台加速数据分析和大模型构建

他们使用数据仓库或数据湖来发现、访问和使用数据，并利用AI推动分析用例。但他们很快意识到
DolphinScheduler社区·2023-09-01 06:42

实训笔记8.31

数据清洗预处理阶段1.4数据统计分析阶段1.5数据迁移导出阶段1.6数据可视化阶段二、项目数据清洗预处理的实现2.1清洗预处理规则2.2代码实现三、项目的数据统计分析阶段3.1概念和技术选项3.2Hive数据仓库进行统计分析时两个核心概念
cai-4·2023-09-01 02:25

大数据学习：Hive安装部署

Hive的安装部署注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。
zui初的梦想·2023-08-31 20:34

数据治理深水区，行业用户该如何走出？

在经历多年的数字化建设之后，绝大部分传统行业用户的数据治理已步入深水区：一方面，企业积累了较为丰富的数据资源，数据正加速重塑业务、流程等方方面面，数据驱动型业务也不断提升；另一方面，企业数据资产化演进过程中，普遍经历了数据仓库
大数据在线·2023-08-31 17:18

实时数仓构建新思路，NineData数据复制技术详解

双方聚焦于实时数据仓库技术和数据开发能力，展示如何通过强大的生态开发兼容性，对接丰富的大数据生态产品，助力企业快速开展数据分析业务，共同探索实时数据驱动的未来企业智能化数据管理解决方案。
·2023-08-31 16:55

ETl

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
来10086投诉·2023-08-31 15:01

ELT已死，EtLT才是现代数据处理架构的终点!

目前大家使用大数据Hadoop时代，主要都是ELT方式，也就是加载到Hadoop里进行处理，但是实时数据仓库、数据湖的流行，这个ELT已经过时了，EtLT才是实时数据加载到数据湖和实时数据仓库的标准架构
·2023-08-31 12:09

CLICK HOUSE

ClickHouse的全称由两部分组成，第一个是ClickStream点击流，第二个是数据仓库DataWareHouseclickhouse可以做用户行为分析，流
方璧·2023-08-31 12:32

什么是OLAP

一、什么是OLAPOLAP（On-lineAnalyticalProcessing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。
方璧·2023-08-31 12:31

火山引擎ByteHouse：ClickHouse如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。在日常工作中，研发人员经
·2023-08-31 11:58

白鲸开源 DataOps 平台加速数据分析和大模型构建

他们使用数据仓库或数据湖来发现、访问和使用数据，并利用AI推动分析用例。但他们很快意识到
·2023-08-31 11:25

认识SQL sever

目录一、数据库的概念1.1数据库的基本概念1.2对数据库的了解二、数据库的分类2.1关系型数据库（RDBMS）：2.2非关系型数据库（NoSQL）：2.3混合数据库：2.4数据仓库：2.5嵌入式数据库：
客逍京北岸·2023-08-31 11:18

大数据平台与数据仓库的五大区别

随着大数据的快速发展，很多人难以区分大数据平台与数据仓库的区别，两者傻傻分不清楚。今天我们小编就给大家汇总了大数据平台与数据仓库的五大区别，希望有用哦！仅供参考！
行云管家·2023-08-31 10:47

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。
·2023-08-31 10:24

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
·2023-08-31 10:23

数据仓库(12)数据治理之数仓数据管理实践心得

当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-08-31 10:23

三种事实表

事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。
BigData_001_Lz·2023-08-31 05:58

这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！

点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天8:55更新文章，每天掉亿点点头发...源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中
公众号-芋道源码·2023-08-31 02:05

MySQL到SelectDB的实时同步策略

而SelectDB作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01在什么情况下需要把MySQL同步到SelectDB？
·2023-08-30 10:46
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他