041-数据仓库

第一课：hive的入门使用

比如，现在我们碰到的这门技术，hive.hive其实是一种数据仓库，我们可以使用通用的SQL语法去使用它。现在，我将去hive的官网上学习并初步使用它。当然，我的公司已经搭建了支持hive的生产坏境。
Carter强·2023-08-16 14:58

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅴ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
·2023-08-16 13:58

火山引擎ByteHouse：一套方案，让OLAP引擎在精准投放场景更高效

精细化营销意味着要在数以亿计的人群中优选出那些最具潜力的目标受众，这无疑对提供基础引擎支持的数据仓库能力，提出了极大的技术挑战。
·2023-08-16 13:22

Hive总结

hdfs存储位置3.2修改数据库3.3查看数据库信息3.4创建表并指定字段之间的分隔符4.Hive中的四种表结构4.1内部表4.2外部表4.3分区表4.4分桶表1.概念Hive是基于Hadoop的一个数据仓库工具
星是河的眼·2023-08-16 12:27

clickhouse原理解析与应用实践

一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流数据仓库在采集数据过程中，一次页面click,会产生一个event。
oldba.cn·2023-08-16 07:25

H13-922题库 HCIP-GaussDB-OLAP V1.5

当前版本V1.5考试前提：掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、掌握SQL编程课程内容+考点占比：第一章GaussDB(DWS)概述第二章SQL进阶第三章数据库
oldba.cn·2023-08-16 07:20

扫盲系列（2）：数据仓库之MPP架构&分布式架构

目录一、MPP架构MPP架构的优点MPP架构的缺点二、分布式架构分布式架构的优点三、MPP架构+分布式架构之前在《扫盲系列（1）：数据仓库之基本概述》中，我们详解了数据仓库的诞生原因、基本特点、数据仓库和数据库的区别
isNotNullX·2023-08-16 07:09

扫盲系列（3）：数据仓库架构详解

目录1、数据仓库ETL/ELTETL层建设遇到的挑战2、数据仓库ODS层3、数据仓库CDM层4、数据仓库ADS层这是一张典型的数据仓库架构图。
isNotNullX·2023-08-16 07:09

BI与ClickHouse：探索式BI的OLAP技术演进之路

BI之死为了解决传统早期IT系统在建设过程中“烟囱式”的发展模式，打通相互割裂的“数据孤岛”，让用户拥有站在企业全局鸟瞰一切数据的视角，BI(商业智能)系统的概念在20世纪90年代被提出，即一种统一面向数据仓库
登高且赋·2023-08-16 02:40

Jstorm到Flink 在今日头条的迁移实践 转

本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。
生活的探路者·2023-08-16 00:34

此文详解，数据仓库管理建设的经验

目前由于数据分散在不同的存储环境或数据库中，对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理，造成资源和人力的浪费。同时，目前的系统架构，无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上，以及不能支撑业务发展的问题。以此建设背景，建设新一代数据管理平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管理、数据资源管理。
派可数据BI可视化·2023-08-15 23:05

【大数据】一些基本概念

一、数据库、数据仓库、数据湖1.什么是数据库(Database,DB)数据库是指长期储存在计算机中的有组织的,可共享的数据集合就是存储数据的仓库数据库有三个特点:永久存储,有组织,可共享数据库是一种结构化数据存储技术
十叶知秋·2023-08-15 22:11

高达每秒100多个作业吞吐量，这一款IT运维国产神器，杀疯了！

在众多大大小小的数据仓库、数据集市以及各类数据池中，是批量调
·2023-08-15 19:44

数据治理：说一个90%的人没搞清的事

数据清理、数据整理也统称数据处理或数据准备，它是数据工作最基础的部分，不论数据仓库、数据治理、数据分析、数据挖掘，都离不开数据清理和整理，这也是每个数据项目耗费工作量最大的任务，平均占据了数据项目的60%
·2023-08-15 19:10

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

谈到数据仓库，必然都会涉及海量历史数据，但是对于历史数据有个共识，就是越近的数据访问频率越高，越久远的数据访问频率越低。
·2023-08-15 16:13

Apache Doris使用部分日期函数导致分区裁剪失效总结

ApacheDoris使用部分日期函数导致分区裁剪失效总结背景：ApacheDoris是一个分布式的MPP分析型数据仓库，能够实现数据的高并发查询和亚秒级响应需求。
码猿小站·2023-08-15 16:20

【数仓建设系列之一】什么是数据仓库？

一、什么是数据仓库？
码猿小站·2023-08-15 16:44

DTCC 2023即将启幕 明天见！

作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023，与广大数据库领域从业人士共同分享云原生数仓发展趋势，探讨数据仓库提升实时性的路径。精彩话题不容错过！
·2023-08-15 16:06

2018-04-09 数据仓库技能要求

一、基础技能1关系数据库基础1.1.关系数据库-mysql1.1.1mysql应用1.1.2mysqlsql优化1.2.非关系型数据库-Hive1.2.1.hivesql应用1.2.2Hivesql优化2ApacheHadoop基础2.1.Hadoop生态2.2MapReduce计算模型原理、开发及应用2.3HiveUDF开发及部署2.4HadoopYARN3存储过程4数据建模4.1维度建模基础理
dataMaster·2023-08-15 15:04

AIGC热潮涌动 HashData如何降低大模型应用门槛？

数据仓库是企业数据的存储、分析、加工、处理和计算的核心场所，为企业打造垂类模型、搭建面向场景的智能应用提供了天然的数据和计算环境。
HashData酷克数据·2023-08-15 12:00

基于Binlog与Flink实时同步数据仓库实践

转载：原文地址一、实时背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(OperationalDataStore)数据。
秋慕云·2023-08-15 09:55

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_77700816·2023-08-15 08:26

北京今天财富：电信运营商大数据变现关键技术环节

传统的电信经营分析系统主要处理计费清单、客户业务关系以及业务平台使用数据，采用文件批处理的方式进行数据仓库的ETL处理，不能适应整合接入毫秒级的网络侧海量信令与位置数据的要求。
何松岭1·2023-08-15 01:17

字节电商大数据开发一面，已过，面试题已配答案

46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量
蓦然_·2023-08-15 01:36

数仓建设保姆级教程，离线和实时理论+实战

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
灯惉·2023-08-14 23:57

ODPS基本概念

主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。ODPS的组成对象项目空间(Project)项目空间是MaxCompute
眼君·2023-08-14 20:59

数据仓库系列之元数据管理

元数据（MetaData），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
小黎子数据分析·2023-08-14 20:44

数据仓库ETL实战

数据仓库之ETL实战ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。
xiaoyanggege·2023-08-14 18:09

10个成语理解项目管理的价值观和方法论

现如今，大多数是围绕“数据”而立项，至于做啥已不那么重要了（主要好像大家都不知道要做啥），项目名响亮就行，别人叫数据分析平台，我就叫大数据分析平台，别人叫数据仓库，我就叫数据湖，别人叫数据治理平台，我就叫数据资产管理平台
产品经理自我修养·2023-08-14 05:45

3万字史诗级 Hive 性能调优(建议收藏)

前言Hive作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率。
公众号:肉眼品世界·2023-08-13 10:29

多源异构数据库实时同步解决方案

1需求概述将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台，通过对交易数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。
wahahaman·2023-08-13 08:07

商业智能BI，如何区别联机事务处理（OLTP）和联机分析处理（OLAP）

商业智能(BusinessIntelligence，简称：BI)，又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
派可数据BI可视化·2023-08-13 00:02

数仓学习（一）

数仓概述：数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
孟婆灬来碗汤·2023-08-13 00:54

你就业，我助力数据仓库工程师就业培训 开始数据生涯

《数据仓库工程师技能培训》，就业、转岗必备一对一培训，全网最高性价比。1.根据您的实际需求或问题出发，私人订制版教学。2.为您讲述数据仓库体系。3.为您讲解数据加工流程ETL。
爱诺森数据·2023-08-12 23:44

阿里员工讲数据库、数仓和报表平台的实施步骤，小白和进阶扫盲系列

建立数据仓库是一个解决企业数据问题应用的过程，是企业信息化发展到一定阶段必不可少的一步，也是发展数据化管理的重要基础。
Leo.yuan·2023-08-12 16:56

扫盲系列（10）：数据仓库实践之累积快照事实表的实现

目录什么是累计快照事实表实现方式一实现方式二实现方式三在文章《扫盲系列（9）：数据仓库实践之表的分类》中，我们对数据仓库中的表做了详细的分类和介绍。本文将介绍累积快照事实表的实现方式。
isNotNullX·2023-08-12 16:24

扫盲系列（11）：数据仓库实践之ETL同步

目录全量同步增量同步数据仓库ETL同步是数据仓库构建的核心过程，常用的数据仓库ETL同步策略分为两种：①全量同步②增量同步接下来逐一介绍。
isNotNullX·2023-08-12 16:24

扫盲系列（5）：数据仓库的数据集存和数据分析功能

目录一、数据集存功能之数据仓库ODS层二、数据分析功能之数据仓库DWD、DWS、ADS层1、DWD层2、DWS层3、ADS层之前在文章《扫盲系列（3）：数据仓库架构详解》中，我们详细介绍了数据仓库的架构
isNotNullX·2023-08-12 16:54

扫盲系列（6）：数据仓库建模之OLTP&OLAP

目录一、数据仓库OLTP系统建模方法二、数据仓库OLAP系统建模方法1、数据仓库ROLAP系统2、数据仓库MOLAP系统3、数据仓库HOLAP系统一、数据仓库OLTP系统建模方法数据仓库OLET（OnlineTransactionProcessing
isNotNullX·2023-08-12 16:54

扫盲系列（1）：数据仓库之基本概述

目录数据仓库的诞生原因数据仓库的基本特点数据仓库和数据库的区别数据仓库建设方案数据仓库的诞生原因随着互联网的普及，信息技术已经深入到各行各业，并逐步融入到企业的日常运营中。
isNotNullX·2023-08-12 16:53

扫盲系列（4）：数据仓库ETL流程和ETL工具推荐

目录1、数据抽取2、数据转换3、数据加载4、数据仓库ETL工具推荐结构化数据ETL工具非结构化/半结构化数据ETL工具1、数据抽取数据源是指存储数据的源头，包括结构化数据、半结构化数据、非结构化数据等。
isNotNullX·2023-08-12 16:53

【限时干货】数据圈火爆的数据&产品文章全集

今天给大家一个我的老朋友：「一个数据人的自留地」，数据人自留地是一个集数据产品、数据分析、数据仓库、产品策略与一体的数据人专属社群。创始人大鹏老师，拥
Python数据之道·2023-08-12 16:22

【大数据】数据仓库

1.前言小编最近接到一个任务是大数据方向的，业务是将mysql的数据同步到阿里云的MaxCompute(ODPS）数据仓库中。那么过程中会涉及到哪些知识呢？小编记录下了学习过程，欢迎大家指教。
binggetong·2023-08-12 16:22

ETL扫盲

3、实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。
郭首志·2023-08-12 16:51

数据仓库概念扫盲，kimball和Inmon两大派系在争什么？

本文，是为了让大家更好的理解大数据经典架构的补充内容，主要介绍一下数据仓库相关的内容。
arno_wzk·2023-08-12 16:51

大数据扫盲(1): 数据仓库与ETL的关系及ETL工具推荐

数据仓库和ETL工具作为数据管理和分析的核心，将帮助企业从庞杂的数据中提取有价值信息。一、ETL是什么？ETL代表“Extract,Transform,Load”，是一种用于数据集成和转换的过程。
苛子·2023-08-12 16:50

Mysql之安装-字符集设置-用户及权限操作-sqlmode设置

1、概述MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。使用标准的SQL数据语言形式。
Mavey__Loo·2023-08-12 13:33

Kettle构建Hadoop ETL实践（一）：ETL与Kettle

目录一、ETL基础1.数据仓库架构中的ETL2.数据抽取（1）逻辑抽取（2）物理抽取（3）变化数据捕获3.数据转换4.数据装载5.开发ETL系统的方法二、ETL工具1.ETL工具的产生2.ETL工具的功能
王知无(import_bigdata)·2023-08-12 13:51

数据分层（方法论）

如何设计数据分层数据仓库分为下面三个层：数据运营层（ODS）数据仓库层（DWD、DWB、DWS）数据产品层（APP）第1层：数据运营层(ODS:operationaldatastore)作用：数据抽取、
lhxsir·2023-08-12 11:34
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他