数仓数据质量

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现

这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件：数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈·2023-09-13 13:31

尚硅谷大数据项目《在线教育之实时数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录P001P002P003P004P005P001以在线教育采集系统和离线数仓为前置基础，分为三个部分讲解：实时数仓架构介绍
upward337·2023-09-13 13:00

数仓相关知识集合

数仓建模说到数仓建模，就得提下经典的2套理论：范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。维度建模Kimball提出的总线式的自下而上（DM-DW）的数据仓库架构。
zjy997·2023-09-13 11:37

Databend 开源周报第 110 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-09-13 09:31

自助式数据分析平台：JVS智能BI功能介绍（二）数据集管理

在整体的数仓架构中，数据集是在线加工的标准数据形态。实现从业务数据抽取到数据统计分析库中，在界面上完成数据加工的过程。数据集的创建选中对应要添加数据集的目录，点击“+”新增数
jonyleek·2023-09-13 07:38

自然语言处理——数据清洗

——百度百科二、为什么要数据清洗现实生活中，数据并非完美的,需要进行清洗才能进行后面的数据分析数据清洗是整个数据分析项目最消耗时间的一步数据的质量最终决定了数据分析的准确性数据清洗是唯一可以提高数据质量的方法
惑星撞地球·2023-09-12 17:03

FlowJo 10.4.0(流式细胞分析器工具)

FlowJoformac具有以下主要特点：数据导入和预处理：FlowJo支持从各种流式细胞仪设备导入数据，并提供丰富的预处理选项，如峰值检测、补偿和转换等，以确保数据质量和准确性。
创号很难·2023-09-12 16:31

自助式数据分析平台：JVS智能BI功能介绍（二）数据集管理

在整体的数仓架构中，数据集是在线加工的标准数据形态。实现从业务数据抽取到数据统计分析库中，在界面上完成数据加工的过程。数据集的创建选中对应要添加数据集的目录，点击“+”新增数
·2023-09-12 12:36

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性

【数仓建设系列之三】数仓建模方式及如何评估数仓完善性上篇文章我们对数仓的分层架构及核心概念做了简单介绍，同时也指明DW层是数仓建模的核心层。
码猿小站·2023-09-12 07:05

实时数仓方案五花八门，实际落地如何选型和构建！

编辑|韩楠约4,989字|10分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必要性四、从Lambda架构说起五、Kappa架构解决哪些问题0
浪尖聊大数据-浪尖·2023-09-12 07:34

【数仓建设系列之四】数据建设通用规范设计

上篇文章我们讲到了数仓建模中几种常见模型优劣势对比以及数仓完整性建设方案，相信大家对此已经有了初步的了解，本篇文章我们将继续对维度建模中一些通用规范展开讨论。
码猿小站·2023-09-12 07:34

一文彻底搞懂实时数仓如何选型和构建

目录前言01为何需要实时数仓架构02数仓如何分层&各层用途03数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入实时数仓架构方案1：Kappa架构方案2：基于标准分层+流计算方案
csdn-延·2023-09-12 06:33

【珍藏版】数仓平台、推荐系统架构选型及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_
大数据研习社·2023-09-12 06:02

【数仓建设系列之五】数仓选型架构概览

【数仓建设系列之五】实时数仓选型架构概览离线数仓（OfflineDataWarehouse）和实时数仓（Real-timeDataWarehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式
码猿小站·2023-09-12 06:30

Python点云处理（三）点云去噪算法基础篇

在点云数据中，通过适当的滤波和处理方法，去除无用或噪声点，以提高数据质量和准确性的过程。1半径滤波通过设定滤波半径，计算每个点在其
Auto工程师·2023-09-11 23:38

尚硅谷大数据项目《在线教育之离线数仓》笔记006

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第11章数仓开发之ADS层P087P088P089P090P091P092P093P094P095P096P097P098P099P100P101P102P103P104P105P106P107P108P109P110P111
upward337·2023-09-11 20:40

如何实现数据流畅转换？火山引擎ByteHouse推出ELT能力

这就要求企业数仓具备一定的数据转换能力。传统方式是采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的
·2023-09-11 15:03

赋能工业物联网 | 数据驱动，加速智能制造

与此同时，这些方向也为带来了诸如数据安全、数据质量、数据管理等在内的新挑战。痛点与挑战1.数据存储和管
·2023-09-11 11:17

数据治理-理论-1-基本概念

基本概念为什么需要数据治理数据治理概念数据治理的目标数据治理体系框架数据治理管理措施数据治理技术措施转载https://www.sohu.com/a/152614302_771430为什么需要数据治理目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现
Xu Kun·2023-09-11 06:40

【无标题】数据仓库-学习

1、数据仓库基础知识1.1什么是数仓数仓的概念：数据仓库简称数仓，在《建立数据仓库》中是这样定义数据仓库的：数据仓库是面向主题的，数据集成的，相对稳定的（非易失的），反映历史变化（时变）的数据集合，用于支持管理决策
白＆夜·2023-09-11 06:09

A. 数据仓库 --- 概述

数仓的需求DW/BI系统要能方便地存取信息DW/BI系统必须以一致的形式展现信息DW/BI系统必须能够适应变化DW/BI系统必须能够及时展现信息DW/BI系统必须成为保护信息财富的安全壁垒DW/BI系统必须成为提高决策制定能力的权威和可信的基础
micklongen·2023-09-11 06:08

数据仓库--DWM层

一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加
江淮杰·2023-09-11 06:07

离线数仓同步数据2

业务数据_全量表数据同步1gen_import_config.py脚本2gen_import_config.sh脚本3全量表数据同步脚本2.2.5.4DataX配置文件生成脚本方便起见，此处提供了DataX配置文件批量生成脚本，脚本内容及使用方式如下。1gen_import_config.py脚本1）在~/bin目录下创建gen_import_config.py脚本cd/home/gpb/bin[
program chef·2023-09-11 00:42

离线数仓同步数据3

业务数据_增量表数据同步1）Flume配置概述2）Flume配置实操3）通道测试4）编写Flume启停脚本1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel。需要注意的是，HDFSSink需要将不同mysql业务表的数据写到不同的路径，并且路径中应当包含一层日期，
program chef·2023-09-11 00:39

基于flink实时数据仓库-第一讲基本情况介绍

实时数据仓库1、电商实时数仓分层介绍1.1普通实时计算和实时数据仓库比较1.2实时数据仓库，项目分层2.实时需求概述2.1离线计算和实时计算比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者·2023-09-10 15:34

AWS Glue Pyspark+Athena基础学习汇总

Pyspark基础学习汇总篇一、AWS架构①AWSGlue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）②AmazonS3数据湖（数仓):
每日小新·2023-09-10 15:50

【小笔记】当一个算法性能不满意，可能是这几方面的原因

【学而不思则罔，思而不学则殆】2023.9.9原因一：数据质量有问题数据决定了算法的上限，在大模型时代，这句话仍然管用（比如openAI对数据的标注要求就非常高）数据的问题主要有这几方面：1.不同类别的样本数量很不平衡这是一个非常常见的问题
落叶阳光·2023-09-09 21:54

数仓学习之DWD学习

登录不是原子行为，而登录成功是，而支付也不是原子，也分成功失败。什么是原子型?一条线注意一下密码,mysql的密码是MD5加密,而MD5的长度为固定的321.怎么构建事务表?1.确定表名2.确定一行数据所表示的含义3.确定列定义4.确定度量值,就是可以统计的值,2.加购DWD表设置1.什么是加购?放入购物车或者增加数量2.表的思考1.对应物品购物车用户商品购物车ID用户ID商品ID商品数量2.度量
叫我莫言鸭·2023-09-09 11:28

『Newsletter 丨第二期』PieCloudDB Database 新增控制台、LDAP 支持、虚拟数仓日志等多项功能

PieCloudDBDatabase最新动态云上云版「控制台」功能上线PieCloudDB云上云版「控制台」功能全新上线，控制台集成了组织、数仓、用户、费用、权限等多方位管理功能，支持在一个组织下创建和管理多个数仓
OpenPie｜拓数派·2023-09-09 05:08

DTCC 2023丨云原生环境下，需要什么样的 ETL 方案？

2023年8月16日~18日，第14届中国数据库技术大会（DTCC2023）于北京隆重召开，拓数派受邀参与本次大会，PieCloudDB技术专家邱培峰在大会做了《云原生虚拟数仓PieCloudDBETL
OpenPie｜拓数派·2023-09-09 05:06

数仓总结

数仓总结数据开发的本质是理解业务，设计合适的数仓结构，数据模型问题往往是一环扣一环的，需要有足够的技术深度，将知识由点连接成面，而不是停留在相互孤立的知识点上。
Miracle_Data·2023-09-09 00:12

DTCC 2023 丨云原生环境下，需要什么样的 ETL 方案？

2023年8月16日～18日，第14届中国数据库技术大会（DTCC2023）于北京隆重召开，拓数派受邀参与本次大会，PieCloudDB技术专家邱培峰在大会做了《云原生虚拟数仓PieCloudDBETL
·2023-09-08 16:00

尚硅谷大数据项目《在线教育之离线数仓》笔记007

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第12章报表数据导出P11201、创建数据表02、修改datax的jar包03、ads_traffic_stats_by_source.json
upward337·2023-09-08 15:27

祝贺！Databend Cloud 入驻 AWS 云市场

关于DatabendCloudDatabendCloud是基于开源云原生数仓项目Databend打造的一款易用、低成本、高性能的新一代大数据分析平台，提供一站式SaaS服务，免运维、开箱即用。
Databend·2023-09-08 13:38

从“13天”到“0天”延时，揭秘幸福里离线SLA保障最佳实践

随着幸福里业务发展，为了满足业务对于数据使用、指标观测等需求，团队快速落地了数仓建设。但由于早期“先建后治”，导致现阶段数据治理难题频发。其中，异常突出的是离线数仓SLA延迟大，高达13天。
·2023-09-08 11:08

数仓|Hive性能调优指北

在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。
大数据技术与数仓·2023-09-08 06:40

线上问诊：可视化展示

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)线上问诊：数仓开发(三)线上问诊：可视化展示文章目录系列文章目录前言一、全流程调度1.生产新数据2
超哥--·2023-09-08 05:39

简单明了，介绍数据仓库

顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、CRM、存款业务等数据。用于企业做数据分析、出报告、做决策；在有些公司也作为各业务系统的数据来源。
派可数据BI可视化·2023-09-08 02:44

时序数据库插入性能评测：MatrixDB是InfluxDB的78倍，TDEngine的38倍

TDengine不能确保数据不错不重不丢MatrixDB在各种规模数据写入时，内存消耗小而且平稳；InfluxDB占用内存较多；TDengine占用内存最多MatrixDB支持冷热分级存背景在物联网和实时数仓场景中
YMatrix 官方技术社区·2023-09-07 20:25

企业数字化神经网络

业务系统是企业数据资源的源头，只有源头良好、数据标准化程度高以及数据质量优良，才能为数据的利用打下坚实的基础。
白牛DATA·2023-09-07 19:39

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
·2023-09-07 18:56

浅析数据标注的难点与解决方法丨曼孚科技

因此，针对现阶段数据标注存在的一系列问题，本文将从数据质量、成本效益、标注员自身素质与专业知识储备等方面探讨数据标注的难点，并提出解决这些问题的方法和技术。难点一：主观性与一致
·2023-09-07 16:48

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
·2023-09-07 15:41

【数学建模】数据预处理

以下是为什么要进行数据预处理的几个原因：数据质量：原始数据往往存在噪声、异常值、缺失值等问题，这些问题会对建模结果产生负面影响。通过数据预处理，可以去除噪声和异常值，填补缺失值，提高数据质量。
时雨h·2023-09-07 12:35

BI分析工具 Apache Superset 安装部署

superset能够对接常用的大数据分析工具，如Hive、Kylin、Durid等，支持自定义仪表盘，可作为数仓的可视化工具。2Supers
BoomLee·2023-09-07 07:52

DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用Doris的Datax扩展DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里2.编译DorisWriter这个的扩展的编译可以不在doris的docker
jerry-89·2023-09-07 06:03

使用 OAT 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

使用 ANTMAN 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

数据治理-数据质量-1

为什么要保证数据质量有效的数据管理涉及一系列复杂的、相互关联的过程，它使组织能够利用他们的数据来实现战略目标。
世润·2023-09-06 09:33

AI应用如何进行测试？

1.数据质量测试数据测试环节需要使
这我可不懂·2023-09-06 06:09
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他