数据仓库数据中台数据湖

论道数据仓库维度建模和关系建模

为什么要数据仓库建模呢？
治理之路·2023-09-04 15:31

实时同步！从MySQL到SelectDB的无缝数据迁移

而SelectDB作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01在什么情况下需要把MySQL同步到SelectDB？
NineData·2023-09-04 14:19

火山引擎DataLeap数据血缘技术建设实践

求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设
·2023-09-04 11:41

hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生·2023-09-04 06:38

一文弄懂游戏服务器的云原生化

目录云原生背景知识DockerKubernetes云原生在游戏行业应用现状游戏服务器容器化云原生数据库云原生数据仓库云游戏函数计算游戏服务器云原生化paddle-soccerAgonesOpenKruiseGame
长三月·2023-09-04 01:24

数据湖 | 一文读懂Data Lake的概念、特征、架构与案例（转）

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。
MisterCH·2023-09-04 00:17

【数仓基础（一）】基础概念：数据仓库【用于决策的数据集合】的概念、建立数据仓库的原因与好处

文章目录一.数据仓库的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立数据仓库的原因三.使用数据仓库的好处一.数据仓库的概念数据仓库的主要作用：数据仓库概念主要是解决多重数据复制带来的高成本问题
roman_日积跬步-终至千里·2023-09-04 00:11

行业测试数据

2.工程师开发完成后，常常需要制造大批量的伪数据，来测试数据中台的开发效果。例如在数仓开发中，会遇到需要在已构建的数仓模型（各种表）中，导入一些测试数据，方便逻辑开发完之前进行开发和测试。
袋鼠云金融交付团队·2023-09-03 19:33

数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别

什么是数据同步工具（ETL、ELT）数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据
OushuDB·2023-09-03 19:13

新零售：以用户为中心的数据中台+以数据驱动供应链物流大升级

2017年，什么最火，新零售最火，从盒马鲜生，到银泰，再到腾讯对万达、海澜之家、每日优鲜、步步高、家乐福等多维度的下线服务厂商的投资，AT在新零售的的战火中越演越烈，而新零售是什么，最近42家无人售货柜纷纷倒闭，这里面到底是什么原因导致倒闭？新零售，万亿级别的风口新零售是什么新零售是企业以互联网为依托，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结
不如杯在手·2023-09-03 17:28

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据·2023-09-03 08:45

处理时延降低24倍，联通云粒数据引擎优化实践

*作者：郑扬勇，云粒星河数据中台产品负责人云粒智慧科技有限公司成立于2018年6月，是中国联通集团混改以来成立的首家合资公司，是中国智慧城市数智化建设者。
OceanBase数据库官方博客·2023-09-03 05:59

31省政府数字关注度121个关键词（2001-2021年）

宁夏、青海、山东、山西、陕西、上海、四川、天津、西藏、新疆、云南、浙江、重庆4、指标说明：参考政府文本、文献，共统计121个关键词词频,含指标如下：1.数字技术'大数据':'大数据','数据挖掘','数据仓库
成长之路514·2023-09-03 02:11

维度退化

将维度退化到事实表中，减少事实表和维度表的关联在维度建模的数据仓库中，有一种维度叫DegenerateDimension，中文一般翻译为“退化维度”。
无敌飞天小肥猫·2023-09-03 01:19

在 Amazon EMR 上构建实时数据湖

前言当公司业务发展遇到瓶颈时，业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据，以解答“为什么利润会下滑？”“为什么库存周转变慢了？”等问题，最终整点“干货”出来从而促进业务发展。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球
·2023-09-02 23:52

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
·2023-09-02 23:50

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
亚马逊云开发者·2023-09-02 23:52

数据中台产品经理初探二

在近些时段，数据中台的概念比较火，从下图的百度指数可以看到从18年年中的时候就突然火了起来。
Frank舟·2023-09-02 20:11

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·2023-09-02 18:43

ETLCloud轻量级数据中台解决方案

然而，许多企业在构建数据中台时面临着高昂的成本、复杂的架构和漫长的实施周期等问题。
苛子·2023-09-02 17:35

数据中台容易失败的20多种原因全部在这里了

数据中台失败的原因总结在当今数字化转型的浪潮中，数据中台作为关键的战略举措被越来越多的企业所关注和实施。然而，数据中台项目的实施过程中并不乏失败案例，这引业界对于数据中台失败原因的深入思考和分析。
苛子·2023-09-02 17:05

ETLCloud制造业轻量级数据中台解决方案

制造业数据处理特点制造业在业务发展过程中产生大量的业务交易数据以及设备运行过程中的状态数据，但是制造业有别于其他互联网或零售行业，其数据处理具有以下特点：数据量不大，大部分业务系统的数据库表在1000W以下数据结构复杂，数据需要经过很强的清洗和转换才能成为可用的分析数据设备数据采集实时性要求高，需要对设备运行时的状态数据进行实时采集和分析位置相对偏造成IT人员偏少，大部分工作以运维业务系统为主数据
苛子·2023-09-02 17:04

Hive窗口函数大全

Hive是一个数据仓库查询和分析工具，它支持窗口函数（WindowFunctions），用于在查询结果集上执行各种分析操作，如排名、聚合、比较等。以下是一些常
贾斯汀玛尔斯·2023-09-02 11:22

Elasticsearch：自动使用服务器时间设置日期字段并更新时区

即使没有日期字段，处理各种格式和时区的日期对数据仓库来说也是一个重大挑战。与此类似，如果要检测变化的数据，则必须准确设置日期字段。
Elastic 中国社区官方博客·2023-09-02 08:39

BDCC - 闲聊数据仓库的架构

文章目录典型数据仓库架构图数据仓库ETLvsELTETLELT区别联系数据仓库分层（1）数据仓库ODS层（2）数据仓库CDM层DWD数据明细层DWS数据汇总层（3）数据仓库ADS层典型数据仓库架构图按自下而上的顺序
小小工匠·2023-09-02 07:24

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
Apache Flink·2023-09-02 06:04

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
MoMoSQL666·2023-09-02 05:36

GaussDB数据库SQL系列-行列转换

静态行转列3）行转列（结果值：拼接式）4）动态行转列（拼接SQL式）2、列转行示例1）创建实验表（复用前面的测试数据）2）使用unionall，将各科目（数学、英语、语文）整合为一列四、小结一、前言在构建数据仓库或做数据分析时
Gauss松鼠会·2023-09-02 05:37

520页（17万字）集团大数据平台整体解决方案word

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除，更多浏览公众号：智慧方案文库1.1.1系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库
2023小目标·2023-09-02 01:40

企业数字化建设-采购平台规划方案PPT（附数字化建设方案300份)

pdf24页数字化智能化车间规模与建设.pdf数字化校园整体解决方案.doc150页6万字数字化智能工厂信息化系统集成整合规划建设方案.docx2022年采购数字化市场研究报告.pdf48页企业数字化转型数据中台解决方案
2023小目标·2023-09-02 01:35

漫谈大数据 - 数据湖认知篇

导语：数据湖是目前比较热的一个概念，许多企业都在构建或者准备构建自己的数据湖。
昊昊该干饭了·2023-09-01 22:20

数据抽取建设需求

在数据融合中，数据的ETL，即数据抽取、转换、装载是不可避免的前置操作，首先从原始数据中抽取数据，然后进行数据的转换和初步处理，最后装载到数据仓库中，用以进一步的融合、挖掘、分析等。
hanyf·2023-09-01 21:19

【大数据】数据湖：下一代大数据的发展趋势

数据湖：下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结
G皮T·2023-09-01 16:24

火山引擎ByteHouse：ClickHouse如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。在日常工作中，研发人员经
字节数据平台·2023-09-01 16:08

8月《中国数据库行业分析报告》已发布，聚焦数据仓库、首发【全球数据仓库产业图谱】

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况，从2022年4月起，墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》，持续传播数据技术知识、努力促进技术创新与行业生态发展，目前已更至第十六期，并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布（点击即可跳转，欢迎大家下载查阅），本期报盘点了墨
·2023-09-01 15:41

Paimon+StarRocks 湖仓一体数据分析方案

内容主要分为四个部分：传统数据仓库分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
·2023-09-01 15:37

mac 装python环境下mysql_python和数据库学习笔记-在mac下配置python和mysql开发环境

现在研究的课题和大数据有关，数据仓库目前是在vertica上面，然后计划用公有云的方案来处理计算能力的弹性问题，也就是将部分数据从vertica导入到hive+spark中，方案还是庞大复杂的，所以除了设计整个架构以外
weixin_39897267·2023-09-01 15:32

事实表和维度表是怎么造数据_学习数据工程从何下手？这些基本知识先了解一下...

过去，数据工程师只需知道基本的数据仓库、数据的提取转换加载(ETL)和数据可视化就够了。而近些年数据工程师的职能范围已发生了很大变化，不再局限于数据库管理和商业智能(BI)。
weixin_39964660·2023-09-01 15:32

python etl 大猩猩_用于ETL的Python数据转换工具详解

ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。
无无可能·2023-09-01 15:31

python实现数据仓库ETL

python实现数据仓库ETL通常讲的数据仓库ETL,可以分为ETL和ELT两种实现方式.ELT是在加载到仓库后,再做数据转换.ETL是在加载之前完成转换,落地的数据就是转换后的样子了.ELT多使用在MPP
dsqzhong·2023-09-01 15:24

【校招VIP】前端算法考点之大数据相关

可用于大数据分析的关键技术主要包括A/B测试，关联规则挖掘，数据挖掘，集成学习，遗传算法，机器学习，自然语言处理，模式识别，预测模型，信号处理，空间分析，监督式学习，时间序列分析等，可用于大数据处理的关键技术主要是商业智能，云计算，数据仓库
校招VIP·2023-09-01 13:14

流批一体不只有Flink，还有实时数据模型

|0x00从流批一体诞生的必然性说起通常来讲，数据仓库的建设，都是以离线作为主要的密报，下游的应用，不论是报表还是接口，所提供的数据也大多是T-1时效性。
晓阳的数据小站·2023-09-01 12:58

数据治理-数据仓库和商务智能

业务驱动因素数据仓库建设的主要驱动力是运营支持职能、合规需求和商务智能活动。一个组织建设数据仓库的目标支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方法。
世润·2023-09-01 12:26

DataWorks增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
·2023-09-01 11:39

基于数据湖的多流拼接方案-HUDI实操篇

（三）测试结果三、后序一、前情提要基于数据湖对两条实时流进行拼接（如前端埋点+服务端埋点、日志流+订单流等）；基础概念见前一篇文章：基于数据湖的多流拼接方案-HUDI概念篇_Leonardo_KY的博客
Leonardo_KY·2023-09-01 10:42

Flink+Paimon多流拼接性能优化实战

dataFile总大小3、数据延迟（五）未来展望：异步Compact（零）本文简介Paimon多流拼接/合并性能优化；为解决离线T+1多流拼接数据时效性、Flink实时状态太大任务稳定性问题，这里基于数据湖工具
Leonardo_KY·2023-09-01 10:40

白鲸开源 DataOps 平台加速数据分析和大模型构建

他们使用数据仓库或数据湖来发现、访问和使用数据，并利用AI推动分析用例。但他们很快意识到
DolphinScheduler社区·2023-09-01 06:42

实训笔记8.31

数据清洗预处理阶段1.4数据统计分析阶段1.5数据迁移导出阶段1.6数据可视化阶段二、项目数据清洗预处理的实现2.1清洗预处理规则2.2代码实现三、项目的数据统计分析阶段3.1概念和技术选项3.2Hive数据仓库进行统计分析时两个核心概念
cai-4·2023-09-01 02:25

企业数字化管控平台及信息化治理体系建设方案（附300份方案）

如有侵权请联系删除，更多浏览公众号：智慧方案文库数字化校园整体解决方案.doc150页6万字数字化智能工厂信息化系统集成整合规划建设方案.docx2022年采购数字化市场研究报告.pdf48页企业数字化转型数据中台解决方案
2023小目标·2023-08-31 23:07

51页企业数字化转型战略实践与启示PPT（附400份转型资料）

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除，更多内容浏览公众号：智慧方案文库企业数字化转型之路.pptx企业数字化转型大数据湖一体化平台项目建设方案PPT.pptx企业数字化转型大数据湖一体化运营管理平台建设方案
2023小目标·2023-08-31 23:37
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他