数仓数据质量第17页

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

网易Impala集群优化和高可用负载均衡配置和虚拟数仓①本文阅读了多篇文章整理润色而成，主要旨在解决impala分析型数仓在生产环境遇到的各种技术瓶颈。如何优化等一些列问题着手。

岁月的眸·2023-11-04 14:28

AWS组件使用

kafka或kinesis做数据收集S3+redshift做数仓EMR做计算RDS做数据市场AWSGlue/AWSDataPipeline做数据集成这些组件配合起来，几乎可以做各种方式的数据分析kinesis

Elivis Hu·2023-11-04 12:29

尚硅谷大数据项目《在线教育之实时数仓》笔记005

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P031P032P033P034P035P036P037P038P039P040第9章数仓开发之DWD

upward337·2023-11-04 10:05

数据仓库之面试

（如果这个问题回答的好，后面很多问题都不需要再问）业务调研需求调研数据调研业务域主题域/数据域CDM总线矩阵分层架构定制规范命名规范、开发规范、流程规范维度建模星座模型宽表粒度指标体系任务调度数据质量元数据管理血缘关系数据治理

2a0eebe006e6·2023-11-04 09:56

Hive 自定义函数

我们本篇就使用Hive中的自定义函数实现几种数仓搭建过程中的需求。Hive有哪些自定义函数？Hive中存在三种类型

Data-Developer·2023-11-04 06:52

Java数据结构Day3--用数组实现环形队列(实现复用性)

更新的晚了,这两天实时数仓已经开始着手了,代码量就不用提了,忙里偷闲.但是确实一点闲也没有,但是就凭着年轻,要挑战不可能.环形队列看了Day2的同学们肯定已经发现了,这个数组来实现的队列好像没有复用性,

徐一闪_BigData·2023-11-03 23:48

数据治理

为什么需要：野蛮式增长背后都是烟囱式的数据建设，随之而来，数据存储，数据模型建设（数据冗余，数据孤岛问题非常多），数据质量，使用规范上都会出现一些问题。业务对数据提出了准确性、及时性等要求。

洲洲洲xxx·2023-11-03 19:52

WMS系统之未来发展篇

目前，大多数仓储企业都已经采用了WMS系统，实现了仓库的自动化和信息化管理。然而，现有的WMS系统还存在一些问题，比如难以集成不同的硬件设备和软件系统，难以应对复

大连豪森智源·2023-11-03 09:15

数仓建模—数仓建设概论

数仓建设概论文章目录数仓建设概论什么是数据仓库数据仓库对企业的意义1.全面掌握企业数据2.支持企业的决策制定3.可靠性高怎么做数据仓库建1.需求分析2.设计数据仓库架构3.数据采集4.数据清洗5.数据结构设计

不二人生·2023-11-02 21:59

实时数仓-hologres使用总结

我们回顾下，Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。具备如下优势：说明分析服务一体化PointQuery(毫秒级，用于api服务，类hbase,redis场景

高阳很捷迅·2023-11-02 18:57

性能卓越全栈自主 HashData与华为金融数仓一体机联合方案全面解读

经过长期的服务与实践，HashData已形成面向金融核心业务的成熟数仓产品。

HashData酷克数据·2023-11-02 16:36

酷克数据出席永洪科技用户大会携手驱动商业智能升级

酷克数据作为国内云原生数仓代表企业，受邀出席本次大会，全面展示了云数仓领域最新前沿技术，并进行主题演讲。携手合作助力企业释放数据价值数据仓库是商业智能（BI）的核心组件，为BI提供高质量的数据支持。

HashData酷克数据·2023-11-02 16:33

大数据预处理及可视化分析复习

数据挖掘三者的概念，联系与区别：2、数据分析的步骤：第二章了解Python1、Python的历史：2、Python的特性：3、Python与数据分析的关系：第三章数据预处理1、数据的分类：2、数据的特征：3、数据质量

_雕尔塔_·2023-11-02 12:42

硬件成本节省60%，四川华迪基于OceanBase的健康大数据数仓建设实践

导语：本文为四川华迪数据计算平台使用OceanBase替代Hadoop的实践，验证了OceanBase在性能和存储成本方面的优势：节省了60%的硬件成本，并将运维工作大幅减少，从Hadoop海量组件中释放出来；一套系统处理HTAP场景需求，简化了运维复杂度。作者简介：向平，现任四川华迪信息技术有限公司智慧医养研发部技术总监，主要负责智慧医养板块大数据和人工智能相关架构设计和团队管理工作。随着老龄化

OceanBase数据库官方博客·2023-11-02 08:22

高效处理异常值的算法：One-class SVM模型的自动化方案

清洗数据可以提高数据质量，消除噪声和错误，从而确保后续分析和建模的准确性和可靠性。而异常值则可能对数据分析结果产生严重影响，导致误导性的结论和决策。

笑不语·2023-11-02 07:47

B站数据质量保障体系建设与实践

本文将分享B站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解B站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

疯狂创作者·2023-11-01 16:09

软信天成：数据质量管理对企业有什么意义？

然而，如果企业所获取的数据质量不佳，会对企业产生何种影响呢？事实上，有效而准确的数据可以揭示出潜在的业务机遇，反之，则会扰乱企业的发展，给企业带来不该有的经济损失。

软信数据研究院·2023-11-01 15:30

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化

代码讲故事·2023-11-01 13:11

SpringMVC Day 07 : 表单验证

通过表单验证，我们可以有效地捕获并处理用户输入中的错误或不正确的数据，从而提高应用程序的数据质量和用户体验。

zhizhiqiuya·2023-11-01 10:16

【Python确保爬取到的数据质量和准确性】

A.确保爬取到的数据质量和准确性确保爬取到的数据质量和准确性需要从以下几个方面入手：1.数据清洗在爬取到数据后，需要对数据进行清洗，去除重复、无效和错误的数据。

学地理的小胖砸·2023-11-01 08:05

恒驰服务 | 华为云数据使能专家服务offering之数仓建设

数仓建设-适用场景恒驰数据仓库服务主要针对有数据仓库不同业务诉求的客户，通过服务增购的形式，提供数据仓库咨询或数据迁移服务，协助客户优化业务以及

恒云联盟·2023-11-01 03:34

hive数仓数据跨集群迁移

当前集群是在局域网环境，按要求要迁到阿里云集群上（阿里云的服务器，自己搭建的大数据集群），所以要把hive中的数仓数据迁移到新的集群上。

码道功成·2023-10-31 22:15

Java8实现批量生成数仓日期维度数据

公司最近要开始数仓建设，那数仓的一些基础维度表要先生成，这里介绍最重要的维度表之一日期维度表的生成。

码道功成·2023-10-31 22:14

进击的 Flink：网易云音乐实时数仓建设实践

作者|汪磊（网易云音乐/数据平台开发专家）整理|杨涛（Flink社区志愿者）如何基于Flink的新API升级实时数仓架构？

Apache Flink·2023-10-31 20:03

大数据实时（2）-BK的FLink实时数仓实践

1、发展历史从业务团队和大数据团队烟囱式的开发，到构建大数据平台，18年开始行动，速度还是可以的。18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。随着任务增大，对于延迟、状态的管理、多任务的稳定性都有非常大的挑战，19年转向Flink，社区非常活跃，成果也非常多。在FLink的基础

天天沐沐·2023-10-31 16:08

大数据融合数仓场景化解决方案总结笔记

1.数据仓库与融合数仓数据库架构设计Shared-Disk各个处理单元使用自己的私有CPU和Memory，共享磁盘系统Shared-Everything一般是针对单个主机，完全透明共享CPU/Memory

BIN3399·2023-10-31 12:38

数据和数据预处理（ML&DM）

数据集的类型2.1记录数据2.1.1数据矩阵2.1.1文档数据2.1.3事务数据2.2图数据2.3有序数据2.3.1空间坐标数据2.3.3顺序数据/时间数据2.3.3序列数据2.3.4时间序列数据3.数据质量

一只黑猩猩·2023-10-31 04:11

时序图数仓AbutionGraph场景应用

问题导读：1.AbutionGraph的业务背景是什么？2.AbutionGraph在公安金融有哪些应用场景？3.文中时序特征有哪些价值？GraphOLAM时序图数据库-AbutionGraph在公安金融领域的应用案例分享经侦经典业务举例：打击she税、洗qian、du-博-q庄等，通过调度数据，发现团伙、资金链条（资金交易行为特征分析），刻画xi钱fan罪、团huo经营轨迹，生成资金链，定位金主

000X000·2023-10-31 02:37

浅谈OLAP系统核心技术点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，

大数据技术架构·2023-10-31 01:49

每个大数据工程师都应该知道的OLAP 核心知识点

OLAP系统广泛应用于BI,Reporting,Ad-hoc,ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器，

浪尖聊大数据-浪尖·2023-10-31 01:48

星环科技如何站稳脚跟？

2017-08-0808:00http://www.sohu.com/a/163011476_545428以Hadoop发行版起家的星环科技，已将产品线扩展到Hadoop生态下的全基础软件，分析型企业数仓和实时流处理是发力的重点

songroom·2023-10-31 00:40

hive一次补跑数据遇到的坑

补数是数仓从事人员经常会碰到的问题，比如修复了历史错误的逻辑，需要修复历史数据，这种行为称之为补数，首先补数一般针对的都是周期快照表，如果表无分区，压根就不需要补数。

愤怒的谜团·2023-10-30 23:53

分析师要懂的数仓知识

为什么学数据仓库工作中经常去数据库中找数据做分析，也和数仓同事对接过，做过一些表，但是只是对一些固定的事实和维度表熟悉，对数仓的整体架构、运作流程却没有一个大概的了解。

成鹏9·2023-10-30 22:57

奇富科技引领大数据调度革命：高效、稳定、实时诊断

刘坤元以一个数仓（数据仓库的简称，指用于存储、分析、报告的数据系统）同学熟知的起夜率指标开启了本次分

CSDN云计算·2023-10-30 21:09

量化评价和质化评价举例_数据质量量化评价研究与实现

伴随而来的是数据质量问题越来越凸显。本文在分析了当前数据质量评价标准的基础上，确定以GB/T25000.24为基础构建数据质量评价模型，并对指标权重进行研究。

weixin_39581972·2023-10-30 19:05

大数据企业面试真题汇总三

（4）实时部分，canal监控主机，然后主机挂了，从机上位，这个过程中的数据变化咋办三百零二、（1）hive的优化（2）数仓分层及能否应用到公司投资业务上，需求实现（3）集群架构（

wespten·2023-10-30 19:57

电商API接口——实现数据同步的实时数据封装接口

常见的数据同步/集成场景多发生于不同的存储系统、不同的存储格式，如从mysql同步数据至数仓、excel或csv导入数据库中，但是众多数据同步解决方案很少涉及从http接口同步数据。

电商数据girl·2023-10-30 15:06

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。

浮zai梦里·2023-10-30 03:29

基于Flink的实时计算平台的构建

消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。

美得冒泡oooo·2023-10-30 01:51

数仓知识04：行转列、列转行的含义及SQL示例

在构建数仓或做数据分析时，需要对原始数据的结构进行一定的处理，有时涉及到“行转列”，有时涉及到“列转行”，那么这两个转换的方式具体是什么，有什么差异，今天给大家做一下讲解。

维克先生·2023-10-29 16:33

2021-05-31 Extending Data Quality Management for Smart Connected Product Operations

这项研究提供了数据质量管理的替代框

dsemlina·2023-10-29 13:29

Spark系列 - 实时数仓之近1小时各个广告点击量实战（三）

为了资源共用，我们的数据和上一篇文章一样，这个实战案例的技术和思想在现实开发的需求中还是比较常见的，以广告为例子，需求是：需求：统计各广告最近1小时内的点击量趋势一、Kafka消费主题的数据[root@cdh101kafka]#bin/kafka-console-consumer.sh--bootstrap-servercdh101:9092,cdh102:9092,cdh103:9092--

小飞牛_666·2023-10-29 07:57

数字化转型系列主题：数据中台建设的一些思考

本文是一篇关于数据中台建设的一些思考供大家借鉴：一、什么是数据中台数据中台定义数据中台是一个企业级数据管理平台，集成了数据采集、数据存储、数据处理、数据分析和数据应用等功能，旨在解决传统数据孤岛、数据分散、数据质量不高等问题

LarryHai6·2023-10-29 06:28

数据人员常用名词解析：指标、标签、度量、口径、数据标准、血缘等

GOD_WAR·2023-10-29 04:19

大数据CDC技术

在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中，增量捕获能否实现更多依赖于源端系统。

shinelord明·2023-10-28 21:33

开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求

zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解

呆猛的呆呆小哥·2023-10-28 21:56

【大数据概述】Hadoop技术栈

与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库5.2.数仓

vk-fengz·2023-10-28 21:17

Adventure项目python、数仓实现可视化看板总结

1.2项目操作流程image.png1.3项目流程框架BI项目流程框架.pngAdventure—BI看板根据上述项目介绍，以下主要从数仓获取数据、自动化py脚本处理、可视化报表搭建、自动化更新看板数据四方面

包哥宝爷小威武·2023-10-28 19:26

如何保障单病种上报的填报效率、质量监控及数据安全

接口数据对接后通过前置机上报，有着在国家平台直报无法实现的优势，主要体现在填报效率、数据质量、数据监控及数据安全等方面。米软保

kamille123·2023-10-28 15:00

推荐频道

数仓数据质量