数据湖数据仓库

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

Hive底层数据存储格式

前言在大数据领域，Hive是一种常用的数据仓库工具，用于管理和处理大规模数据集。Hive底层支持多种数据存储格式，这些格式对于数据存储、查询性能和压缩效率等方面有不同的优缺点。
笑看风云路·2023-08-18 11:26

数据湖与数据仓库差异

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。
数据智能谷·2023-08-18 10:15

数据仓库的两种建模方法（范式建模和维度建模）

数据仓库的两种建模方法范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。
Happybigman·2023-08-18 09:09

奥威BI数据可视化工具：360度呈现数据，告别枯燥表格

奥威BI数据可视化工具是一款基于数据仓库技术的数据分析工具，具有直观、灵活、可操作性强等特点。它能够帮助企业从多个角度、动态地分析业务数据，及时调整战略，提高决策效率。
qq_43696218·2023-08-18 09:33

大模型“搅局”，数据湖，数据仓库，湖仓选型会先淘汰谁？

事情总是这样：压力初露端倪，暗自考虑改变。压力高能爆表，立马做出改变。我们从一家叫做Databricks的美国知名公司聊起。这家Databricks公司很有创新基因。其创始人阿里·戈西（AliGhodsi）作为“2022年福布斯全球亿万富豪榜”排名第1645位的瑞典富豪，不缺钱，也舍得为公司花钱。他多次公开表示，不会考虑降低研发投入。此前（距大模型问世还有几年时间），Databricks就具备一种
亲爱的数据·2023-08-18 08:28

实践数据湖iceberg 第三十三课 升级flink到1.14，自带functioin支持json函数

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到
*星星之火*·2023-08-18 06:47

数据仓库 ODS-＞DWD-＞DWS-＞ADS

1.数据仓库DW1.1简介Datawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系
desmond_assis·2023-08-18 05:12

129页4万字某智慧能源集团数字化管理平台项目建议书WORD

目录数字化管控平台相关项目建议书目录：一、相关项目背景二、需求理解2.1需求理解三、方案设计3.1整体方案设计3.3.1整体架构3.3.2解决方案说明3.3.3需求应答3.2数据仓库3.2.1数据仓库架构
智慧城市2030·2023-08-17 23:33

Apache Paimon 流式数据湖 V 0.4 与后续展望

摘要：本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，ApacheFlinkPMC，PaimonPPMC李劲松（之信）在ApachePaimonMeetup的分享。本篇内容主要分为四个部分：湖存储上的难点深入ApachePaimon0.4社会应用实践后续规划点击查看原文视频&演讲PPT今年6月份Paimon0.4刚刚发布，它是一个非常具有竞争力的版本，也是进入Apache孵化器之
·2023-08-17 18:34

第八章 维度设计之维度变化

这种方式直接覆盖原数据变化前变化后2）插入新维度行：可以保留历史数据，但不能将变化前后的事实数据归一化变化后3）添加维度列：添加一个新列表示当前类目变化后三种方式根据对历史数据的具体需求，选择相应的方法快照维表基于数据仓库的更新周期
被爱的天青色·2023-08-17 17:08

99页4万字XX大数据湖项目建设方案

导读：原文《99页4万字XX大数据湖项目建设方案》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
智慧城市2030·2023-08-17 14:46

数据仓库架构和建设方法论

1.数据仓库概要1.1.数据仓库起因在建设数据仓库之前，数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。
此木Y·2023-08-17 12:52

大数据开发：数仓建模常见数据模型

在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。
加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程
warrah·2023-08-17 10:03

言简意赅，话说商业智能BI

商业智能BI的概念商业智能BI的定义其实很简单，简单概括一下就是，商业智能BI是一套完整的由数据仓库、查询报表、数据分析等组成的数据类技术解决方案，商业智能BI能够实现业务流程和业务数据的规范化、流程化
派可数据BI可视化·2023-08-17 09:21

经验分享：企业数据仓库建设方案总结！

导读在企业的数字化转型浪潮中，数据被誉为“新时代的石油”，而数据仓库作为数据管理与分析的核心基础设施，在企业的信息化建设中扮演着重要的角色。
云长歌·2023-08-17 06:22

数据分析岗笔面经及基础总结

每年都是最难申请季T^T前言基础知识总结数据结构二叉树脚本语言shellPython计算机网络TCP协议数据库索引数据库事务数据库设计范式大数据技术Hive数据仓库Hadoop数据挖掘技术机器学习算法和模型数据分析常见指标用户行为数据业务数据
GYHenryTT·2023-08-17 02:51

大数据——Hadoop一文全知道

Hadoop一般用于搭建大型数据仓库和PB级数据的存储、处理、分析和统计等业务。2、Hadoop核心组件Ha
AIGC人工智残·2023-08-17 00:07

大数据——Hive一文全知道

Hive是一款基于Hadoop的数据仓库工具，它将SQL语句转化为MapReduce任务运行，方便不熟悉MapReduce的用户也能够很好的利用HQL处理和计算HDFS上的数据。
AIGC人工智残·2023-08-17 00:06

计算机三级数据库复习12-数据仓库与数据挖掘

未来教育第十四章题目笔记_数据仓库与数据挖掘1、关联规则挖掘是发现交易数据库中不同商品之间的联系；无监督学习算法对类别并没有规定明确的前提条件。
TOPic666·2023-08-17 00:01

Amazon Redshift Serverless – 现已正式推出新功能

去年在re:Invent上，我们推出了AmazonRedshiftServerless的预览版，这是AmazonRedshift的无服务器选项，可让您分析任何规模的数据，而无需管理数据仓库基础设施。
·2023-08-16 23:38

Doris2.0时代的一些机遇和挑战！

根据官网的描述，Doris在下面领域都有了长足进步：日志分析数据湖联邦分析场景数据更新效率和写入资源弹性和存算分离其他面向企业用户的易用性特性在Doris出现这些能力之前，大家是没有机会免费用到这些能力的
王知无(import_bigdata)·2023-08-16 18:31

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。
·2023-08-16 16:09

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

作者：肖圣龙|StoneData技术架构师审核：王博引言：随着数据分析在企业和组织中的重要性不断增加，数据仓库成为处理大规模数据集和支持复杂分析的首选解决方案，如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·2023-08-16 15:35

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

作者：肖圣龙|StoneData技术架构师审核：王博引言：随着数据分析在企业和组织中的重要性不断增加，数据仓库成为处理大规模数据集和支持复杂分析的首选解决方案，如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·2023-08-16 15:24

第一课：hive的入门使用

比如，现在我们碰到的这门技术，hive.hive其实是一种数据仓库，我们可以使用通用的SQL语法去使用它。现在，我将去hive的官网上学习并初步使用它。当然，我的公司已经搭建了支持hive的生产坏境。
Carter强·2023-08-16 14:58

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅴ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
·2023-08-16 13:58

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
·2023-08-16 13:22

Hive总结

hdfs存储位置3.2修改数据库3.3查看数据库信息3.4创建表并指定字段之间的分隔符4.Hive中的四种表结构4.1内部表4.2外部表4.3分区表4.4分桶表1.概念Hive是基于Hadoop的一个数据仓库工具
星是河的眼·2023-08-16 12:27

流批一体的近实时数仓的思考与设计

结合数据湖在Flink的应用和数据湖元数据类型的思考，探索了基于数据湖的FlinkSQL流批一体的实践，在流批一体SQL表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。
·2023-08-16 10:30

clickhouse原理解析与应用实践

一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流数据仓库在采集数据过程中，一次页面click,会产生一个event。
oldba.cn·2023-08-16 07:25

H13-922题库 HCIP-GaussDB-OLAP V1.5

当前版本V1.5考试前提：掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、掌握SQL编程课程内容+考点占比：第一章GaussDB(DWS)概述第二章SQL进阶第三章数据库
oldba.cn·2023-08-16 07:20

扫盲系列（2）：数据仓库之MPP架构&分布式架构

目录一、MPP架构MPP架构的优点MPP架构的缺点二、分布式架构分布式架构的优点三、MPP架构+分布式架构之前在《扫盲系列（1）：数据仓库之基本概述》中，我们详解了数据仓库的诞生原因、基本特点、数据仓库和数据库的区别
isNotNullX·2023-08-16 07:09

扫盲系列（3）：数据仓库架构详解

目录1、数据仓库ETL/ELTETL层建设遇到的挑战2、数据仓库ODS层3、数据仓库CDM层4、数据仓库ADS层这是一张典型的数据仓库架构图。
isNotNullX·2023-08-16 07:09

Apache Hudi数据湖的Marker机制

目录1.目的2.Marker文件名称结构3.DirectWriteMarkers4.TimelineServerMarkers5.Marker配置参数1.目的一个write开始时，会先创建一个marker，等write完成时，会删除marker。如果marker未删除，表示write失败，会留下部分脏数据文件。标记的作用如下：marker用于清除脏数据文件marker用于数据rollback2.M
Bulut0907·2023-08-16 04:17

Apache Hudi表自动同步至阿里云数据湖分析DLA

Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型MetaStore中，如阿里云的数据湖分析
xleesf·2023-08-16 04:46

数据湖之Hudi基础：入门介绍和编译部署

主要记录下Hudi的概述和打包编译等内容，方便参考文章目录简介官网发展历史Hudi特性使用场景安装部署编译环境准备编译hudi1.源码包上传到服务器2.修改pom文件3.修改源码兼容hadoop34.手动安装kafka依赖（非必须）5.解决spark模块依赖冲突6.执行编译7.测试hudi-client简单测试编译后spark包可用性简介ApacheHudi（HadoopUpsertsDelete
小明同学YYDS·2023-08-16 04:44

【Hudi数据湖应用】Hudi-Spark-Bundle NoSuchMethodError(SessionHandler.setHttpOnly)异常修复

最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError:org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V异常。如果只是进行简单的createtable,然后进行select查询是没有问题的。但如果是createtabletes
大数据点灯人·2023-08-16 04:44

BI与ClickHouse：探索式BI的OLAP技术演进之路

BI之死为了解决传统早期IT系统在建设过程中“烟囱式”的发展模式，打通相互割裂的“数据孤岛”，让用户拥有站在企业全局鸟瞰一切数据的视角，BI(商业智能)系统的概念在20世纪90年代被提出，即一种统一面向数据仓库
登高且赋·2023-08-16 02:40

Jstorm到Flink 在今日头条的迁移实践 转

本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。
生活的探路者·2023-08-16 00:34

此文详解，数据仓库管理建设的经验

目前由于数据分散在不同的存储环境或数据库中，对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理，造成资源和人力的浪费。同时，目前的系统架构，无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上，以及不能支撑业务发展的问题。以此建设背景，建设新一代数据管理平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管理、数据资源管理。
派可数据BI可视化·2023-08-15 23:05

【大数据】一些基本概念

一、数据库、数据仓库、数据湖1.什么是数据库(Database,DB)数据库是指长期储存在计算机中的有组织的,可共享的数据集合就是存储数据的仓库数据库有三个特点:永久存储,有组织,可共享数据库是一种结构化数据存储技术
十叶知秋·2023-08-15 22:11

高达每秒100多个作业吞吐量，这一款IT运维国产神器，杀疯了！

在众多大大小小的数据仓库、数据集市以及各类数据池中，是批量调
·2023-08-15 19:44

数据治理：说一个90%的人没搞清的事

数据清理、数据整理也统称数据处理或数据准备，它是数据工作最基础的部分，不论数据仓库、数据治理、数据分析、数据挖掘，都离不开数据清理和整理，这也是每个数据项目耗费工作量最大的任务，平均占据了数据项目的60%
·2023-08-15 19:10

专家老师带教！现场答疑！阿里云实时计算 Flink 版线下训练营北京站来啦！

专家与传智教育高级顾问联合出品，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的FlinkCDC，Paimon，StarRocks等核心技术，收获完整实时数仓与流式数据湖构建经验
·2023-08-15 18:43

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

Apache Doris使用部分日期函数导致分区裁剪失效总结

ApacheDoris使用部分日期函数导致分区裁剪失效总结背景：ApacheDoris是一个分布式的MPP分析型数据仓库，能够实现数据的高并发查询和亚秒级响应需求。
码猿小站·2023-08-15 16:20

【数仓建设系列之一】什么是数据仓库？

一、什么是数据仓库？
码猿小站·2023-08-15 16:44
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他