数据仓库数据中台数据湖第20页

数据中台是如何帮助企业做好数字化转型的？_光点科技

什么是数据中台没有数据中台，数字化经营是空谈。数据中台居于前台和后台之间，是企业级的数据共享、能力复用平台。

光点数据治理·2023-11-19 20:43

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践（下）

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

chuange6363·2023-11-19 19:05

轻量级数据中台，大中型企业数字化转型首选

而轻量级数据中台则是面对这种情况而言很好的一种解决方案。我们可以从以下几个方面来认识数据中台：一、轻量化数据中台是什么？

ETLCloud数据集成社区·2023-11-19 19:39

阿里巴巴电商搜索推荐实时数仓演进之路

作者：张照亮（士恒）阿里巴巴搜索事业部高级技术专家1.业务背景阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景，提供了包括实时大屏、实时报表、实时算法训练

阿里云Hologres·2023-11-19 18:38

4️⃣Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

WovJf·2023-11-19 17:39

数据仓库-数仓架构

1数据仓库建设方法论1.1项目背景数据仓库将建设成为融通全公司数据资产，提供便捷数据分析和数据服务，支持全公司数字化经营与创新。

终回首·2023-11-19 14:50

大数据发展历程及技术选型

大数据发展历程第一阶段2000年-2010年数仓提供方企业级数据仓库（EDW）IOT(IBM、Oracle、Teradata)提供数据仓库建设从硬件、软件到实施的整体方案需要购买大（中、小）型机配套商用的关系型数据库

平凡人笔记·2023-11-19 14:47

数据仓库之电商数仓-- 1、用户行为数据采集

目录一、数据仓库概念二、项目需求及架构设计2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群规模2.2.6集群资源规划设计三

FunnyPrince_·2023-11-19 14:10

构建数据湖上低延迟数据 Pipeline 的实践

T摘要·云原生与数据湖是当今大数据领域最热的2个话题，本文着重从为什么传统数仓无法满足业务需求?为何需要建设数据湖？

DolphinScheduler社区·2023-11-19 14:39

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、

000X000·2023-11-19 13:43

Hive 调优指南

Hive调优指南ApacheHive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高Hive查询性能和效率，本文将介绍一些Hive调优的策略和方法。

小泽长不胖·2023-11-19 13:41

本地数仓项目(四）—— 即席查询

本文基于文章《本地数据仓库项目(一)——本地数仓搭建详细流程》和《本地数仓项目(二)——搭建系统业务数仓详细流程》以及《本地数仓项目(三）——数据可视化和任务调度》2Presto2.1Presto概念Presto

不以物喜2020·2023-11-19 08:09

OLAP和OLTP

OLAP联机分析处理是数据仓库系统的主要应用强调SQL执行市场，强调磁盘I/O

任嘉平生愿·2023-11-19 06:05

计算机三级数据库知识点汇总附思维导图

数据库应用系统功能设计与实施第五章：UML与数据库应用系统第六章：高级数据查询第七章：数据库及数据库对象第八章：数据库后台编编址技术第九章：安全管理第十章：数据库运行维护与优化第十一章：故障管理第十二章：数据仓库与数据挖掘写在前面

cx330上的猫·2023-11-19 04:35

Spark学习——1.代表性大数据技术

HDFS分布式文件管理系统Hive数据仓库数据仓库，借助底层HDFS和HBase完成存

楓尘林间·2023-11-18 23:37

阿里云云原生一体化数仓 - 数据安全能力解读

MaxCompute产品简介MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能

阿里云云栖号·2023-11-18 21:28

数据治理概念解读

静态数据1、主数据2、基础数据3、静态数据四、数据标准、数据规范五、数据目录、数据分类、数据标签1、数据目录2、数据分类3、数据标签六、数据模型、数据结构、数据字典1、数据模型2、数据结构3、数据字典七、数据仓库

灯惉·2023-11-18 21:57

企业数字化过程中数据仓库与商业智能的目标

派可数据BI可视化·2023-11-18 18:27

智慧城市大脑数据中台解决方案：PPT全套37页，附下载

关键词：智慧城市大脑解决方案，数据中台解决方案，智慧城市建设，数据中台建设，智慧城市大脑建设，数据中台建设架构一、智慧城市大脑数据中台建设背景智慧城市大脑数据中台是一个面向城市级数据管理、开发和服务场景的重要平台

方案365·2023-11-17 16:03

Java 实现日志文件监听并读取相关数据

野生绿箭侠·2023-11-17 15:55

Prometheus MySQL 性能监控

MySQL数据库对于web应用程序、企业级应用程序和数据仓库等应用场景都非常适用。Prometheus提供了许多适用于

davidshiz·2023-11-17 13:52

什么是数据湖，数据湖和数据仓库的区别在哪

数据仓库是什么数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的清洗过结构化数据来自IoT设备、网站、移动应用程序、社交媒体和企业应用程序的原始数据架构设计在数据仓库实施之前（写入型Schema

我去探险了·2023-11-17 13:45

2.认识中台

Pingszi·2023-11-17 12:30

云上11.11｜腾讯云大数据产品双11盛惠爆品首单1折起大回馈

11.11云上盛惠多款大数据产品特惠专场腾讯云BI、ElasticsearchService、流计算Oceanus、腾讯云数据仓库TCHouse-D、移动推送、数据湖计算DLC首月秒杀1元起、新客首购1.2

腾讯云大数据·2023-11-17 11:24

CloudCanal和Canal的区别

研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品

ClouGence·2023-11-17 10:31

让数据中台“飞“起来— Quick BI性能优化解决方案及实践

1引言QuickBI“数据门户”在企业数据中台建设中的重要性企业在数据中台初步建设完成以后，怎样让客户直观感受到数据中台的价值？

瓴羊企业智能服务·2023-11-17 07:19

挖掘企业数据矿产，袋鼠云数栈(DTinsight)助力企业搭建数据中台

2017年5月，英国《经济学人》杂志发表文章，将数据比作“未来的石油”。自那以后，数据是“21世纪最宝贵的资源”这种观点便传播开来。石油在进入消费领域之前，往往要经历开采、储运、炼化等过程。同样，数据也要经过一系列的采集、加工、萃取，才能为业务赋能。那么，“数据原油”该怎么加工？谁来加工呢？作为国内领先的数据智能践行者，袋鼠云依托最新的数据采集、加工处理、数据挖掘、机器学习，深度学习等技术，并结合

袋鼠云技术团队·2023-11-17 07:47

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2

杰克jk船长·2023-11-17 07:15

数据中台外部演示脚本

作为一个以产品、方案为主要核心的公司，公司员工本身对于产品一定是不陌生的，但是做产品演示光了解产品是不够的，需要自身对演示过程反复的练习，能够突出产品的亮点，要能够调动客户的兴趣，在演示产品的同时还需要对行业内其它相同的产品有所了解，在演示过程中突出自身产品亮点，扬长避短。产品演示一般会分为三个阶段，分别为准备阶段、宣讲阶段、演示阶段和会后总结，准备阶段是在接到产品演示任务开始到正式演示开始前，对

数通畅联·2023-11-17 07:11

【数智化案例展】浙江电信——数据中台与BI技术助力通信行业驱动高质量数据价值的流通闭环...

网易数帆案例本项目由网易数帆投递并参与“数据猿行业盘点季大型主题策划活动——《2022中国企业数智化转型升级创新服务企业》榜单/奖项”评选。数据智能产业创新服务媒体——聚焦数智·改变商业对于通信行业而言，业务即数据。随着5G的逐步普及，再加上互联网的崛起，行业业务数据量骤增，对运营商网络能力的需求也越来越高，但用户数已趋于稳定，从而导致收入增长逐渐变缓。因此，以“数据密集”为突出特点的通信行业对数

数据猿·2023-11-17 07:41

zhixingheyi_tian·2023-11-17 07:55

KingbaseDTS数据库迁移工具人大金仓国产数据库同步工具Java版本使用方法

数据库迁移工具人大金仓国产数据库同步工具Java版本使用方法金仓数据库简介人大金仓数据库管理系统KingbaseES（KES）是面向全行业、全客户关键应用的企业级大型通用数据库管理系统，适用于联机事务处理、查询密集型数据仓库

技术很渣·2023-11-17 06:30

【clickhouse】clickhouse 表引擎之 AggregatingMergeTree

文章目录1.概述M.参考1.概述过数据仓库建设经验的读者一定知道“数据立方体”的概念，这是一个在数据仓库领域十分常见的模型。

九师兄·2023-11-17 05:16

华为云大数据智能数据湖FusionInsight

华为预计，到2025年全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。到2030年数据应用（包括大数据和AI）将会给全球带来13万亿美元的收益，为全球经济贡献16%的GDP增长。其中，传统行业将会成为未来10年数据应用增速最快、受益最大的主体。未来是一个高速发展的时代，掌握最新最有用的信息就能赶上时代的风口，这时候就需要大数据分析，华为云大数据满足你企业对数据分析的一切需求。通

硬核技术控·2023-11-17 04:03

大数据平台搭建之hive本地模式安装

Hive是一个开源的数据仓库基础设施，用于查询和分析大规模数据集。它建立在Hadoop上，并提供了类似于传统数据库的查询和分析功能。

bigdata从入门到放弃·2023-11-17 03:58

15万块机械硬盘最新质量报告：HGST零故障、可惜买不到了

三季度，BB总计拥有153727块机械硬盘，其中2780块是启动盘，数据仓库盘为150947块。剔除运行时间不足60天的硬盘，统计表中总计涵盖150757块。

程序员资源社区·2023-11-17 03:57

hive数仓-数据的质量管理

版本20231116要理解数据的质量管理，应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理：2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验

江南正晓时·2023-11-17 01:33

后季暖·2023-11-16 23:46

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。

泰迪智能科技·2023-11-16 19:23

中台产品经理宝典读后感（5）：数据指标体系建设思路

为后面的数据中台建设思路学习打好基础。1指标是什么首先我们需要搞清楚指标的定义。提起指标这个词，每个人似乎都可以说出几个指标，像经常在工作中会听到的日活、月活、注册率、转化率、交易量等。

《中台产品经理宝典》三爷·2023-11-16 18:38

天津市专业大数据培训班，大数据就业岗位的多样性

大数据就业岗位多样大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、等。

qq_38453958·2023-11-16 15:24

火山引擎ByteHouse：4000字总结，Serverless在OLAP领域应用的五点思考

作为一款火山引擎推出的云原生数据仓库，ByteHo

字节数据平台·2023-11-16 12:16

Flink 整合 hudi

它广泛应用于大数据领域，为数据湖环境下的数据操作提供了强大的支持。不仅可以存储数据，也可以将元数据存在在其中。

新手小农·2023-11-16 08:21

Databend 与海外某电信签约：共创海外电信数据仓库新纪元

为什么选择Databend海外某电信面临的主要挑战是随着业务量的增加，传统的Clickhouse+Hive方案在数据存储和处理上开始显露不足。原来的大数据分析采用的Clickhouse+Hive方案进行离线的实时报表。但随着业务量的上升后，Hive的数据存储压力变大，且Hive缺乏索引设计，导致存储压力巨大，每天需要进行大量的中转和数据比对工作。同时Clickhouse随着业量上升后单机已经扩容到

Databend·2023-11-16 07:49

中台：业务中台、数据中台、技术中台

什么是中台企业级能力复用平台为什么需要中台避免重复造轮子许多业务需求或功能需求高度类似、通用化程度很高，但是由于没有专门的团队负责规划和开发，大量的系统重复开发、重复建设，导致复用性低、效率低、产研资源浪费、用户体验不统一。烟囱式架构早期业务发展过程中，为了解决一些当下的业务问题，垂直的、个性化的业务逻辑与基础系统耦合太深，由于没有平台性质的规划，横向系统之间、上下游系统之间的交叉逻辑也非常多，这

lanicc·2023-11-16 05:00

数据湖实操讲解【 AI 训练加速】第十八讲：Fluid + JindoFS 对海量小文件的训练加速...

数据湖技术圈本期导读：【AI训练加速】第十八讲主题：Fluid+JindoFS对海量小文件的训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：海量小文件难题FluidJindoRuntime

Apache Spark中国社区·2023-11-15 22:41

数据湖实操讲解【 AI 训练加速】第十七讲：Fluid + JindoFS 对 HDFS 上的数据进行训练加速...

数据湖技术圈本期导读：【AI训练加速】第十七讲主题：Fluid+JindoFS对HDFS上的数据进行训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：什么是Fluid+JindoFS（JindoRuntime