041-数据仓库

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

Hive底层数据存储格式

前言在大数据领域，Hive是一种常用的数据仓库工具，用于管理和处理大规模数据集。Hive底层支持多种数据存储格式，这些格式对于数据存储、查询性能和压缩效率等方面有不同的优缺点。
笑看风云路·2023-08-18 11:26

数据湖与数据仓库差异

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析–从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事
数据智能谷·2023-08-18 10:15

数据仓库的两种建模方法（范式建模和维度建模）

数据仓库的两种建模方法范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。
Happybigman·2023-08-18 09:09

奥威BI数据可视化工具：360度呈现数据，告别枯燥表格

奥威BI数据可视化工具是一款基于数据仓库技术的数据分析工具，具有直观、灵活、可操作性强等特点。它能够帮助企业从多个角度、动态地分析业务数据，及时调整战略，提高决策效率。
qq_43696218·2023-08-18 09:33

大模型“搅局”，数据湖，数据仓库，湖仓选型会先淘汰谁？

事情总是这样：压力初露端倪，暗自考虑改变。压力高能爆表，立马做出改变。我们从一家叫做Databricks的美国知名公司聊起。这家Databricks公司很有创新基因。其创始人阿里·戈西（AliGhodsi）作为“2022年福布斯全球亿万富豪榜”排名第1645位的瑞典富豪，不缺钱，也舍得为公司花钱。他多次公开表示，不会考虑降低研发投入。此前（距大模型问世还有几年时间），Databricks就具备一种
亲爱的数据·2023-08-18 08:28

数据仓库 ODS-＞DWD-＞DWS-＞ADS

1.数据仓库DW1.1简介Datawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系
desmond_assis·2023-08-18 05:12

129页4万字某智慧能源集团数字化管理平台项目建议书WORD

目录数字化管控平台相关项目建议书目录：一、相关项目背景二、需求理解2.1需求理解三、方案设计3.1整体方案设计3.3.1整体架构3.3.2解决方案说明3.3.3需求应答3.2数据仓库3.2.1数据仓库架构
智慧城市2030·2023-08-17 23:33

第八章 维度设计之维度变化

这种方式直接覆盖原数据变化前变化后2）插入新维度行：可以保留历史数据，但不能将变化前后的事实数据归一化变化后3）添加维度列：添加一个新列表示当前类目变化后三种方式根据对历史数据的具体需求，选择相应的方法快照维表基于数据仓库的更新周期
被爱的天青色·2023-08-17 17:08

数据仓库架构和建设方法论

1.数据仓库概要1.1.数据仓库起因在建设数据仓库之前，数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。
此木Y·2023-08-17 12:52

大数据开发：数仓建模常见数据模型

在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。
加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程
warrah·2023-08-17 10:03

言简意赅，话说商业智能BI

商业智能BI的概念商业智能BI的定义其实很简单，简单概括一下就是，商业智能BI是一套完整的由数据仓库、查询报表、数据分析等组成的数据类技术解决方案，商业智能BI能够实现业务流程和业务数据的规范化、流程化
派可数据BI可视化·2023-08-17 09:21

经验分享：企业数据仓库建设方案总结！

导读在企业的数字化转型浪潮中，数据被誉为“新时代的石油”，而数据仓库作为数据管理与分析的核心基础设施，在企业的信息化建设中扮演着重要的角色。
云长歌·2023-08-17 06:22

数据分析岗笔面经及基础总结

每年都是最难申请季T^T前言基础知识总结数据结构二叉树脚本语言shellPython计算机网络TCP协议数据库索引数据库事务数据库设计范式大数据技术Hive数据仓库Hadoop数据挖掘技术机器学习算法和模型数据分析常见指标用户行为数据业务数据
GYHenryTT·2023-08-17 02:51

大数据——Hadoop一文全知道

Hadoop一般用于搭建大型数据仓库和PB级数据的存储、处理、分析和统计等业务。2、Hadoop核心组件Ha
AIGC人工智残·2023-08-17 00:07

大数据——Hive一文全知道

Hive是一款基于Hadoop的数据仓库工具，它将SQL语句转化为MapReduce任务运行，方便不熟悉MapReduce的用户也能够很好的利用HQL处理和计算HDFS上的数据。
AIGC人工智残·2023-08-17 00:06

计算机三级数据库复习12-数据仓库与数据挖掘

未来教育第十四章题目笔记_数据仓库与数据挖掘1、关联规则挖掘是发现交易数据库中不同商品之间的联系；无监督学习算法对类别并没有规定明确的前提条件。
TOPic666·2023-08-17 00:01

Amazon Redshift Serverless – 现已正式推出新功能

去年在re:Invent上，我们推出了AmazonRedshiftServerless的预览版，这是AmazonRedshift的无服务器选项，可让您分析任何规模的数据，而无需管理数据仓库基础设施。
·2023-08-16 23:38

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。
·2023-08-16 16:09

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

作者：肖圣龙|StoneData技术架构师审核：王博引言：随着数据分析在企业和组织中的重要性不断增加，数据仓库成为处理大规模数据集和支持复杂分析的首选解决方案，如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·2023-08-16 15:35

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

作者：肖圣龙|StoneData技术架构师审核：王博引言：随着数据分析在企业和组织中的重要性不断增加，数据仓库成为处理大规模数据集和支持复杂分析的首选解决方案，如何保障数据安全由此成为了在数据分析过程中不可忽视的重要问题
·2023-08-16 15:24

第一课：hive的入门使用

比如，现在我们碰到的这门技术，hive.hive其实是一种数据仓库，我们可以使用通用的SQL语法去使用它。现在，我将去hive的官网上学习并初步使用它。当然，我的公司已经搭建了支持hive的生产坏境。
Carter强·2023-08-16 14:58

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅴ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
·2023-08-16 13:58

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
·2023-08-16 13:22

Hive总结

hdfs存储位置3.2修改数据库3.3查看数据库信息3.4创建表并指定字段之间的分隔符4.Hive中的四种表结构4.1内部表4.2外部表4.3分区表4.4分桶表1.概念Hive是基于Hadoop的一个数据仓库工具
星是河的眼·2023-08-16 12:27

clickhouse原理解析与应用实践

一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流数据仓库在采集数据过程中，一次页面click,会产生一个event。
oldba.cn·2023-08-16 07:25

H13-922题库 HCIP-GaussDB-OLAP V1.5

当前版本V1.5考试前提：掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、掌握SQL编程课程内容+考点占比：第一章GaussDB(DWS)概述第二章SQL进阶第三章数据库
oldba.cn·2023-08-16 07:20

扫盲系列（2）：数据仓库之MPP架构&分布式架构

目录一、MPP架构MPP架构的优点MPP架构的缺点二、分布式架构分布式架构的优点三、MPP架构+分布式架构之前在《扫盲系列（1）：数据仓库之基本概述》中，我们详解了数据仓库的诞生原因、基本特点、数据仓库和数据库的区别
isNotNullX·2023-08-16 07:09

扫盲系列（3）：数据仓库架构详解

目录1、数据仓库ETL/ELTETL层建设遇到的挑战2、数据仓库ODS层3、数据仓库CDM层4、数据仓库ADS层这是一张典型的数据仓库架构图。
isNotNullX·2023-08-16 07:09

BI与ClickHouse：探索式BI的OLAP技术演进之路

BI之死为了解决传统早期IT系统在建设过程中“烟囱式”的发展模式，打通相互割裂的“数据孤岛”，让用户拥有站在企业全局鸟瞰一切数据的视角，BI(商业智能)系统的概念在20世纪90年代被提出，即一种统一面向数据仓库
登高且赋·2023-08-16 02:40

Jstorm到Flink 在今日头条的迁移实践 转

本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。
生活的探路者·2023-08-16 00:34

此文详解，数据仓库管理建设的经验

目前由于数据分散在不同的存储环境或数据库中，对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理，造成资源和人力的浪费。同时，目前的系统架构，无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上，以及不能支撑业务发展的问题。以此建设背景，建设新一代数据管理平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管理、数据资源管理。
派可数据BI可视化·2023-08-15 23:05

【大数据】一些基本概念

一、数据库、数据仓库、数据湖1.什么是数据库(Database,DB)数据库是指长期储存在计算机中的有组织的,可共享的数据集合就是存储数据的仓库数据库有三个特点:永久存储,有组织,可共享数据库是一种结构化数据存储技术
十叶知秋·2023-08-15 22:11

高达每秒100多个作业吞吐量，这一款IT运维国产神器，杀疯了！

在众多大大小小的数据仓库、数据集市以及各类数据池中，是批量调
·2023-08-15 19:44

数据治理：说一个90%的人没搞清的事

数据清理、数据整理也统称数据处理或数据准备，它是数据工作最基础的部分，不论数据仓库、数据治理、数据分析、数据挖掘，都离不开数据清理和整理，这也是每个数据项目耗费工作量最大的任务，平均占据了数据项目的60%
·2023-08-15 19:10

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

Apache Doris使用部分日期函数导致分区裁剪失效总结

ApacheDoris使用部分日期函数导致分区裁剪失效总结背景：ApacheDoris是一个分布式的MPP分析型数据仓库，能够实现数据的高并发查询和亚秒级响应需求。
码猿小站·2023-08-15 16:20

【数仓建设系列之一】什么是数据仓库？

一、什么是数据仓库？
码猿小站·2023-08-15 16:44

DTCC 2023即将启幕 明天见！

作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023，与广大数据库领域从业人士共同分享云原生数仓发展趋势，探讨数据仓库提升实时性的路径。精彩话题不容错过！
·2023-08-15 16:06

2018-04-09 数据仓库技能要求

一、基础技能1关系数据库基础1.1.关系数据库-mysql1.1.1mysql应用1.1.2mysqlsql优化1.2.非关系型数据库-Hive1.2.1.hivesql应用1.2.2Hivesql优化2ApacheHadoop基础2.1.Hadoop生态2.2MapReduce计算模型原理、开发及应用2.3HiveUDF开发及部署2.4HadoopYARN3存储过程4数据建模4.1维度建模基础理
dataMaster·2023-08-15 15:04

AIGC热潮涌动 HashData如何降低大模型应用门槛？

数据仓库是企业数据的存储、分析、加工、处理和计算的核心场所，为企业打造垂类模型、搭建面向场景的智能应用提供了天然的数据和计算环境。
HashData酷克数据·2023-08-15 12:00

基于Binlog与Flink实时同步数据仓库实践

转载：原文地址一、实时背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(OperationalDataStore)数据。
秋慕云·2023-08-15 09:55

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_77700816·2023-08-15 08:26

北京今天财富：电信运营商大数据变现关键技术环节

传统的电信经营分析系统主要处理计费清单、客户业务关系以及业务平台使用数据，采用文件批处理的方式进行数据仓库的ETL处理，不能适应整合接入毫秒级的网络侧海量信令与位置数据的要求。
何松岭1·2023-08-15 01:17

字节电商大数据开发一面，已过，面试题已配答案

46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量
蓦然_·2023-08-15 01:36

数仓建设保姆级教程，离线和实时理论+实战

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
灯惉·2023-08-14 23:57

ODPS基本概念

主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。ODPS的组成对象项目空间(Project)项目空间是MaxCompute
眼君·2023-08-14 20:59

数据仓库系列之元数据管理

元数据（MetaData），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
小黎子数据分析·2023-08-14 20:44
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他