数据仓库数据中台数据湖第41页

爱奇艺数据湖实战-广告数据湖应用

01背景广告数据主要包括效果、品牌和ADX等广告形式的请求和投放链路中产出的一系列日志，经过处理后，用于算法模型训练、广告运营分析、广告投放决策等场景。广告业务对数据的时效性、准确性以及查询性能要求较高。目前，广告数据链路整体采用Lambda架构，存在离线、实时两条链路，带来较高的使用成本和数据不一致性风险。为了解决这些问题，广告数据团队与爱奇艺大数据团队一起积极调研大数据前沿技术，很早就关注到数

爱奇艺技术产品团队·2023-08-29 03:58

爱奇艺数据湖实战 - 基于数据湖的日志平台架构演进

数据湖技术近几年快速发展，其采用了统一大数据存储底座和存算分离的架构，提供了一种适合于日志这种大量写入、少量查询场景的解决方案。因此，Ve

爱奇艺技术产品团队·2023-08-29 03:27

我从数据仓库的角度聊一聊

BI的作用与价值BI，BusinessIntelligence的简称，顾名思义，也叫做商业智能。其主要价值，在于通过一系列的数据技术，从数据中挖掘隐藏的客观规律，总结这些规律背后的原因，并用于指导公司业务的发展。大多数情况下，BI分析师的工作，就是通过SQL、Python等语言，将已经统计好的数据，结合数据模型或者是分析框架，来对业务进行各种分析，并做成有价值的报表或者报告的形式，供业务方进行分析

大数据的那些事·2023-08-28 23:17

信息系统项目管理师自学笔记（十七）——数据仓库与数据挖掘

为了满足中高层管理人员预测、决策分析的需要，在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境——数据仓库。

烧麦Sn0wSt@r·2023-08-28 22:05

什么是数据湖？全面解读数据湖与数据仓库的区别

从数据仓库（DataWarehouse），到如今如火如荼的数据湖（DataLake），都被机构广泛应用于大数据存储，但从结构和处理方式上都有很大的区别。

麦聪聊数据·2023-08-28 22:05

数据仓库是什么？和数据库有何区别？

在具体学习数据仓库之前先看一下数据中心的整体构架以及数据流向。DB是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。

heyedelweiss·2023-08-28 22:03

什么是数据仓库？数据仓库测试应该考虑什么？以及如何进行数据仓库的测试？

一、数据仓库（DataWarehouse）是一个面向主题、集成、非易失的数据存储，用于支持企业决策和分析。

打了鸡血的点狗·2023-08-28 22:03

新一代数据湖存储技术Apache Paimon入门Demo

目录前言1.什么是ApachePaimon一、本地环境快速上手1、本地Flink伪集群2、IDEA中跑PaimonDemo2.1代码2.2IDEA中成功运行3、IDEA中Stream读写3.1流写3.2流读（toChangeLogStream）二、进阶：本地（IDEA）多流拼接测试要解决的问题：note：1、'changelog-producer'='full-compaction'（1）mult

Leonardo_KY·2023-08-28 19:08

基于数据湖的多流拼接方案-HUDI概念篇

目录一、为什么需要HUDI？1.传统技术选型存在哪些问题？2.Hudi有什么优点？基于HudiPayload机制的多流拼接方案：二、HUDI的应用场景1.什么场景适合使用hudi？2.什么场景不适合使用hudi？三、什么是HUDI？HUDI能做什么？1.什么是HUDI？2.HUDI能做什么（特性）？四、HUDI的概念&原理1.概念2.原理五、流批一体一、为什么需要HUDI？1.传统技术选型存在哪些

Leonardo_KY·2023-08-28 19:36

BI产品未来的发展趋势由我们共同决定

项目周期长BI项目往往在ETL处理和数据仓库建模、性能优化等方面耗

思迈特Smartbi·2023-08-28 18:52

浅谈数据治理

愤怒的谜团·2023-08-28 16:49

一个免费好用的全域数据集成平台

产品架构一、数据源管理二、离线数据集成三、实时数据集成四、监控中心五、对比总结六、离线数据集成实战1.新建mysql数据源2.离线数据集成3.执行同步数据大家好，我是脚丫先生(o^^o)小伙伴们都知道，在之前数据中台的研发中

大数据指北·2023-08-28 15:10

利于搭建国内网站的免费CDN加速github和npm方式

记录下常用的免费cdn，以下链接可直接访问我部署的数据，那么根据这个格式可替换为你对应的数据仓库格式。建议有回源选回源。

木子欢儿·2023-08-28 13:42

软信天成：面对数据网格和数据湖，企业该如何取舍？

近年来，数据网格、数据湖这一类数据概念迅速蹿红，原因是它们可以有效解决数据管理所带来的挑战，使企业更加敏捷、智能地使用数据。但它们究竟是如何实现？之间有何区别？以及企业该如何选择？下文将为大家揭晓。

软信数据研究院·2023-08-28 11:17

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

摘要：本文整理自阿里云/数据湖Spark引擎负责人周克勇（一锤）在StreamingLakehouseMeetup的分享。

·2023-08-28 11:30

【进阶篇】找个饭店，聊聊数据分析架构

燕飞出稿，必属精品~作者简介：燕飞，Kyligence大数据老司机，拥有超过15年的大数据/数据仓库领域从业经验，对大数据/数据仓库的建设规划、架构设计、技术体系、方法论及主流厂商的产品和解决方案，均有深入的研究和实践

Kyligence·2023-08-28 11:08

数仓--------简单了解

是一位爱分享的博主，有兴趣的小可爱可以来互讨个人主页::小小页面gitee页面:秦大大一个爱分享的小博主欢迎小可爱们前来借鉴数仓**作者前言**什么是数仓数仓分层数仓类型数仓规范数据走向什么是数仓数仓，又称为数据仓库

老秦包你会·2023-08-28 08:38

数据仓库环境下的超市进销存系统结构

传统的进销存系统建立的以单一数据库为中心的数据组织模式，已经无法满足决策分析对数据库系统的要求，而数据仓库技术的出现和发展，为上述问题的解决提供了强有力的工具和手段。

a66889999·2023-08-28 05:31

基于数据仓库和多维分析技术的决策支持系统

1)降低库存成本通过数据仓库系统，将成千上万种货物的销售数据和库存数据集中起来，通过数据分析，对知识进行分类，可以知道库存中一段时间内，没有收到订单的货物，很少收到订单的货物和库存中周转很快的货物。

a66889999·2023-08-28 05:31

进销存系统的数据建模

1.1需求分析对于数据仓库系统而言，决策者最为迫切的需求在于更加准确的掌握超市的经营状况及进、销、存情况，主要包括：①进货趋势；②销售市场波动趋势；③企业存货情况。

a66889999·2023-08-28 05:28

SQL Server软件安装包分享（附安装教程）

它被设计用于存储、管理和查询数据，被广泛应用于企业级应用、数据仓库和电子商务等场景。

Roc-xb·2023-08-28 00:56

Hive原理剖析

一、简介Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。

Hello.Reader·2023-08-27 18:33

下一代存储解决方案：湖仓一体

文章首发地址湖仓一体是将数据湖和数据仓库相结合的一种数据架构，它可以同时满足大数据存储和传统数据仓库的需求。

Walter Sun·2023-08-27 17:12

数据湖：解锁数据价值的新时代

文章首发地址数据湖（DataLake）是一种数据存储和管理架构，它将不同类型的数据（如结构化数据、半结构化数据和非结构化数据）以原始形式保存在一个公共存储库中，而不强制执行预定义模式或数据结构。

Walter Sun·2023-08-27 17:11

hive数据调优

hive作为数据仓库工具，可以查看HDFS结构化文件内容，使用sql进行数据加工处理。

稻草人_d41b·2023-08-27 16:59

数据库系统

数据库系统数据库系统三级模式两级映像数据库设计真题数据模型概念数据模型逻辑数据模型在案例分析中也有考察数据库系统选择题考点：三级模式两级映像数据库设计（6个阶段）E-R模型关系模型关系代数函数依赖键与约束范式模式分解并发控制封锁协议分布式数据库数据仓库反规范化技术大数据

计算机CV民工·2023-08-27 15:26

基于DolphinScheduler的调度流程梳理及落地实践

目录01背景‍02主流调度引擎‍‍‍‍‍‍‍03DolphinScheduler核心概念及调度过程‍‍‍‍‍‍04开发实践01‍背景‍‍随着数据中台概念及相关技术逐渐成熟、落地，不断有企业将其应用到自身业务中

EAWorld·2023-08-27 13:04

数据中台产品经理初探五

2019年还剩两个半月，接触数据中台的概念将近一年，做数据中台PD有十个半月，感谢组织对我的信任，感谢领导同事对我的放心，让一个不懂数据库、一个不会数据仓库知识、一个不懂行业知识的人放手一搏。

Frank舟·2023-08-27 12:31

使用Flink将大数据写入AnalyticDB MySQL

AnalyticDBMySQL是一个高性能、高可用性的关系型数据库，适用于大数据分析和数据仓库场景。本文将介绍如何使用Flink将大数据写入AnalyticDBMySQL，并提供相应的源代码示例。

2301_78484069·2023-08-27 11:59

达梦数据库物化视图介绍

物化视图可以用于数据复制（DataReplication），也可用于数据仓库缓存结果集以此来提升复杂查询的性能。1

weixin_42942173·2023-08-27 02:57

Oracle sqlldr命令

SQL*LOADER是大型数据仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。

ooooooooooooooxiaosu·2023-08-27 02:47

OceanMind海睿思签约常州市建筑科学研究院，打造检验检测行业数字化转型标杆

双方将依托OceanMind海睿思提供的业内领先的业务驱动数据工程建设理念，为建科股份提供数据中台、主数据平台、智能数仓等产品与服务，从检验检测行业重点关注的多个维度入手，解

海睿思·2023-08-27 00:01

数仓建模综述

目前业界使用最多的模型是RalphKimball在《数据仓库工具》中提出的维度

精品资料学习库·2023-08-26 23:31

基于Apache doris怎么构建数据中台(三)-数据资产管理

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星前面我们讲了什么是数据中台，及数据中台的架构及功能规划，这次我们开始从数据资产开始拆解每个功能模块做的内容数据资产管理平台可以定量评估数据资产的成本

hf200012·2023-08-26 19:39

万字讲述如何通过Doris构建数据中台

目录基于Apachedoris怎么构建数据中台(一)-什么是数据中台基于Apachedoris怎么构建数据中台(二)-数据中台建设内容基于Apachedoris怎么构建数据中台(三)-数据资产管理基于Apachedoris

浪尖聊大数据-浪尖·2023-08-26 19:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

在2.0.0版本中，ApacheDoris在标准Benchmark数据集上盲测查询性能得到超过10倍的提升、在日志分析和数据湖联邦分析场景能力得到全面加强、数据更新效率和写入效率都更加高效稳定、支持了更加完善的

SelectDB技术团队·2023-08-26 19:08

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。

SelectDB技术团队·2023-08-26 19:08

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。

SelectDB技术团队·2023-08-26 19:37

三张图讲清楚大数据基础设施Hadoop、Lambda、kappa架构

关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。除了数据处理方式在演进之外，数据处理的基础措施也在不断的演进

AI课工场·2023-08-26 19:58

数据库与数据仓库的本质区别是什么

整理自知乎：https://www.zhihu.com/question/20623931逻辑层面/概念层面数据库和数据仓库其实是一样的或者及其相似的，都是通过某个数据库软件，基于某种数据模型来组织、管理数据

这个该叫什么呢·2023-08-26 16:10

使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎

在数据湖中，对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作，查找相似的列有着重要的应用。

亚马逊云开发者·2023-08-26 12:35

什么是数据中台？这些知识点必懂！

下面是关于数据中台的一些基本介绍，对于想要了解数据中台的朋友有一定的帮助！1、数据中台概念中台，是相较于“前台”和“后台”来说的。“前台”“中台”“后台”是在软件开发和系统架构领域经常被提到的概念。

捷码小编·2023-08-26 08:42

采集项目和数仓项目的关系

1.介绍采集项目和数仓项目采集和数仓是企业数据管理平台的2个核心功能模块,相对独立,所以可以独立开发区别功能采集:数据的采集和传输数仓:数据的存储流程数据库->数据采集->数据仓库->可视化界面2.数据仓库什么是数仓

叫我莫言鸭·2023-08-26 04:00

Hive面试自学版

Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

叫我莫言鸭·2023-08-26 04:30

工作中遇到的坑(六)

MVVMModel：数据模型以及Repository数据仓库（用于获取和组合来自网络，本地数据）View：界面ViewModel:内部会有一个LiveData，将Model的数据放到LiveData中，

云呆呆·2023-08-26 04:15

Informatica 9.1 开发实战应用-孙专-专题视频课程

数据仓库的建设目标，是利用组织里的数据，更加有效地辅助决策过程，而这一过程的核心是数据处理，数据处理阶段离不开ETL过程的实现。

大厂数据专家·2023-08-25 22:46

StarRocks 3.1重磅发布，云原生湖仓新范式再升级！

StarRocks自4月底发布3.0版本，拥抱云原生，开启极速统一的湖仓新范式；8月7日，StarRocks正式发布全新3.1版本，全面提升云原生存算分离构架、极速数据湖分析、物化视图等重量级特性，让用户更简单的实现极速统一的湖仓分析

StarRocks_labs·2023-08-25 19:15

直播｜深入解析 StarRocks 存算分离—云原生湖仓 Meetup#2

StarRocks3.0正式开启极速统一的湖仓新范式，借助云原生存算分离构架、极速数据湖分析、物化视图等重量级特性实现湖仓架构升级，兼具数据仓库查询高性能与数据湖低成本可扩展的优势，让用户更简单地实现极速统一的湖仓分析