数仓数据质量

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5
Apache Flink·2023-10-28 14:57

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或者检查任务，这样会比较费时费力。目前遇到的表大部分在几亿到几十亿的数据量之间，并且报表数量在不断增加
浪尖聊大数据-浪尖·2023-10-28 05:08

数据分析 - 基础原理 之 第三章：数据质量管理 - 第五节：数据质量监控

前言数据质量监控是容易被忽略的一个重要环节，我刚开始搞数据库时压根也没想到会有这档事，直到频繁出现几次数据“翻车”事故后，才感受到它的重要性与必要性；如果连数据源的状况都不能掌控，那么搞数据分析就像在“
开码牛·2023-10-28 05:33

数据仓库之数据质量监控

文章目录==数据质量的理解====数据质量维度====问题反馈流程====数据质量治理的三个阶段====数据质量产生的根本原因====数据质量治理的对象====数据质量战略====数据质量战略12条指令
往事随风_h·2023-10-28 05:01

实操指南 | Resource Queue如何实现对AnalyticDB PostgreSQL的资源管理？

在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势，在金融、物流、泛互联网等行业都有广泛的应用，是传统数仓上云、去O去T、替换自建Greenplum的标杆云上
阿里云云栖号·2023-10-28 03:59

Flink Streaming-Sink

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料100篇原创内容公众号圣诞节快乐该连接器提供了对Flink文件系统抽象支持的文件系统中的分区文件的访问.文件系统连接器本身就被包括在
hyunbar·2023-10-28 02:49

【遇见Doris】基于Doris的有道精品课数据中台建设实践

李荣谦有道精品课数据中台团队数据中台实时数仓负责人我们本次想要和大家分享一下有道精品课数据中台的架构演进过程，以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的
ApacheDoris·2023-10-28 02:44

如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数仓的构建至关重要。本文将分享如何基于ApacheDoris和ApacheFlink快速构建一个极速易
SelectDB技术团队·2023-10-28 02:40

搞流式计算，大厂也没有什么神话

只有一群年轻人，花了六年时间，一步一个脚印，从一开始的“不懂技术不懂业务”，最后承载起了字节内部流式计算平台以及应用场景的构建，支撑了机器学习平台、推荐、数仓、搜索、广告、流媒体、安全和风控等众多核心业务
字节跳动云原生计算·2023-10-27 23:23

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
字节跳动云原生计算·2023-10-27 23:18

对于提升团队研发效率的思考

|0x00研发效率提不上去的根因数据，通常也会视为“研发部门”的一部分，自然也面临需求交付效率、数据质量、稳定性等一系列问题，其实在研发眼中，一切问题的根因似乎可以总结为“需求多、压力大”，有充分的时间
晓阳的数据小站·2023-10-27 15:28

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。
蚂蚁_8173·2023-10-27 12:25

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银
GBASE数据库·2023-10-27 08:47

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题
大数据兵工厂·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。01什么是元数据管理1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。抽象的描述：一组用于描述数据的数据组，该数据组的一切信息都描述了该
大数据技术派·2023-10-27 02:54

Clickhouse实时数仓建设

今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。
程序猿小乙·2023-10-26 12:09

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
阿里云云栖号·2023-10-26 12:44

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
阿里云云栖号·2023-10-26 12:43

技术解读：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号·2023-10-26 12:43

技术分享：从双11看实时数仓Hologres高可用设计与实践

简介：本文将会从阿里巴巴双11场景出发，分析实时数仓面临的高可用挑战以及针对性设计。2021年阿里巴巴双11完美落下为帷幕，对消费者来说是一场购物盛宴，对背后的业务支撑技术人来说，更是一场年度大考。
阿里云云栖号·2023-10-26 12:43

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

简介：本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级，并成功大规模落地双11。
阿里云云栖号·2023-10-26 12:43

【附下载】实时数仓架构设计与选型

这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。
大数据架构师Evan·2023-10-26 12:12

实时数仓 Hologres 如何支持超大规模部署与运维

阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录
阿里云技术·2023-10-26 12:41

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
阿里云技术·2023-10-26 12:11

【Hologres】基于Hologres实时离线一体化数仓建设实践

0、案例业务背景在互联网大潮中，新东方在IT技术上也不断重构，持续投入大数据建设，研发大数据的相关技术和应用，从而快速而精准地响应业务需求，并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分：企业应用端的业务场景（B端）：包括交易，教学，人员等数据，数据规模为TB级。数据会被按照不同的条件和学校层级等，形成营收、教学、客服、财富人事等实时报表，为CRM系统的成千上万名业务顾问提供
Impl_Sunny·2023-10-26 12:39

实时数仓Hologres

1.概述Hologres是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（AdHoc
大数据开发工程师-宋权·2023-10-26 12:09

实时数仓Hologres 【快速了解】

什么是实时数仓HologresHologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-TimeDataWarehouse），支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL
一阵暖风·2023-10-26 12:38

【Hologres】实时数仓

Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时数仓发展背景介绍xxx实时数仓1.0从2019年开始搭建，基于KuduOLAP引擎构建，前期承载业务不多，任务量不大，运行稳定
奋斗者ing·2023-10-26 12:08

大数据实时（5）-Hologres实时数仓验证

目录：1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后，受到了很多关注，以几个方面的因素：1）Hologres作为MPP架构的一款大数据存储分析引擎，提供了很好的性能支撑；2）确实是解决了很多客户的问题，有一些大数据高并发的场景也能适用；3）是相较于ADB的产品，从官方资料方面，确实有很多的提升，但验证的结果如何，还是各有千秋；我们来看看官方的介
ly_zixuan·2023-10-26 12:08

从双11看实时数仓Hologres高可用设计与实践

在这场大考中，一站式实时数仓Hologres以每秒11.2亿条的高速写入，和每秒1.1亿次的查询峰值（包含点查和OLAP查询），交出了满意的答卷，稳定高效地支撑了阿里巴巴双11核心应用场景。
aliyunhologres·2023-10-26 12:37

实时数仓-Hologres介绍与架构

本文是向大家介绍Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。1.HSAP理念与产品首先介绍下大数据相关实时业务场景，一般有实时大屏、实时BI报表、用户画像和监控预
高阳很捷迅·2023-10-26 12:37

倾斜摄影三维模型的顶层构建的问题分析

倾斜摄影三维模型的顶层构建的问题分析在构建倾斜摄影超大场景的三维模型时，常见的顶层构建问题可能包括以下几个方面：1、数据质量问题：倾斜摄影所获取的原始数据可能存在噪点、缺失、重叠或者变形等问题，这些问题会直接影响到顶层构建的结果
3D探路人·2023-10-26 10:17

倾斜摄影三维模型转换3DTILTES格式遇到的常见问题

这可能是由于输入数据质量不佳、
3D探路人·2023-10-26 10:46

2023 Datawhale数据分析实习面经

了解数仓吗？4.编程题：(1)两数之和(2)求根号2，误差在0.01之内(二分)5.sql题：(1)行去重(2)求每个用户某一列的最大值6.业务场景题100万经费，给用户发优惠卷--->拉新或者
深度之眼·2023-10-26 07:13

AnalyticDB for PostgreSQL 6.0 新特性介绍

ADBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场景，同时通过事务锁等优化，完
阿里云技术·2023-10-26 03:07

Power BI 傻瓜入门 7. 清理、转换和加载数据

本章内容包括根据异常、属性和数据质量问题确定清理需求解决数据类型、值、键、结构和查询之间的不一致在数据加载之前根据查询和命名约定对数据进行流化处理要进行任何数据清理和转换，您的组织需要分析师、工程师和侦探
Martin-Mei·2023-10-26 03:02

尚硅谷大数据项目《在线教育之实时数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第7章数仓开发之ODS层P015第8章数仓开发之DIM层P016P017P018P01901、node001节点Linux
upward337·2023-10-26 02:44

我在叽里呱啦折腾 DolphinScheduler 的日子

前言“工欲善其事，必先利其器”在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区·2023-10-25 19:23

阿里云云原生一体化数仓 — 数据建模新能力解读

2020年之前，DataWorks支持的是开发视角、自底向上、小步快跑，快速满足业务需求为首要目标的数仓构建模式，然而随着内部数据模型越来越多，线下评审流程越来越复杂，淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和
阿里云技术·2023-10-25 14:35

Doris数仓的4大特点

Doris是一款基于MPP技术的SQL分析型数据库系统，能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。Doris的实现架构脱胎自ApacheImpala和GoogleMesa系统，并进行了大量的改造和优化，最终形成了今天大家看到的这款架构优雅、性能卓越、功能丰富、简单易用的OLAP数据库系统。0****1极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apach
Elivis Hu·2023-10-25 11:44

Databend 开源周报第 116 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-10-25 07:30

商业数仓的搭建【转载】

商业数仓的目的是为了构建面向分析的集成化数据环境，为企业的决策提供支持（DecisionSupport）。
为祁·2023-10-24 23:21

Flink实时写入Apache Doris如何保证高吞吐和低延迟

借助海量数据,实时数仓在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。
后季暖·2023-10-24 18:01

【数据仓库-零】数据仓库知识体系 ing

文章目录一.数仓基本概念二.离线数仓建设方法论三.etl流程四.数仓规范建设指南四.数据仓库架构五.数据可视化通过熟悉构建数仓整体的过程，可以系统的了解数仓构建理论：能够站在全局角度看数仓的运行架构，数仓执行流程
roman_日积跬步-终至千里·2023-10-24 16:41

实时数仓-Canal介绍

实时数仓中架构如下图：实时数仓架构图.jpg实时架构主要数据来源有3块日志文件（或设备上的心跳数据），由Flume或者Springboot程序直接写到kafka中接口API，使用程序调用接口业务数据库，
脆弱的天炎·2023-10-24 16:40

融云AIGC专题：高知识密度与大数据处理双向奔赴的「金融大模型」

如果以应用场景多样、市场空间巨大、行业数据质量高且规模大等条件来筛选，金融行业一定是排名靠前的赛道之一。世界金融中心从华尔街转向硅谷？以“
融云·2023-10-24 13:02

数仓建设保姆级教程，离线和实时理论+实战)

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
程序员的隐秘角落·2023-10-24 00:33

2022-02-11为了面试数据产品经理，我也是拼了

1、技术层面Q1：如何评估数据质量？从数据的
如月公子·2023-10-23 22:00

查询性能较 Trino/Presto 3-10 倍提升！Apache Doris 极速数据湖分析深度解读

在最初的概念里，数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策」，而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。
SelectDB技术团队·2023-10-23 22:46

Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时

导读：随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，使得实时数仓在这一过程中起到了不可替代的作用。
SelectDB技术团队·2023-10-23 22:45
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他