数仓主要特征

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

第九章 《票据与支付结算》4

票据法律关系的正常行为票据法律关系的行为，它包括正常行为与特殊行为，今天主要学习正常行为；其它的主要特征是解释票据在什么情况是有效行为，什么是无效行为；一、票据特征1.形式要件（其必须要符合的行为，如有符合
心向往之TLJ·2024-01-30 13:57

简述神经纤维瘤的检查和治疗方法

神经纤维瘤专家讲解神经纤维瘤的主要特征：皮肤牛奶咖啡斑和周围神经多发性神经纤维瘤，外显率高，基因位于染色体17q11.2。NFⅡ又称中枢神经纤维瘤或双侧听神经瘤病，基因位于染色体22q。
乐一_d7c7·2024-01-30 13:13

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

韩国为何要废除汉字？他们废除汉字40年后，带来了四个麻烦

儒家文化圈的主要特征是：以汉字作为官方的交流工具，以儒家思想作为建构社会道德规范的基本准则，圈内的其它国家以藩属国自居，向中国学习先进的
鸿鹄迎罡·2024-01-30 01:10

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

【SLG副玩法融合之变：轻度化设计开启中小厂商新机遇】

SLG游戏最初起源于电脑端，主要特征是需要玩家进行资源管理、军事部署、战术规划等策略决策。经典的SLG游戏包括《文明》系列、《命令与征服》系列等。随着移动游戏的兴起与5G时代的
Unity游戏开发·2024-01-29 10:52

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

【期末必记】物联网无线接入技术

不推荐小抄哦~~~一、填空1.物联网的三大主要特征依次是全面感知，可靠传输，智能处理2.下列署于物联网短距离通信技术的是Bluetooth，ZigBee3.感知技术是物联网的底层技术，是联系物理世界和信息世界的纽带
青色_忘川·2024-01-29 10:35

算法-动态规划知识总结

下面是思维导图，基本包含动态规划的知识点现在给大家详细的介绍一下思维导图里的内容1.动态规划的基本思想2.动态规划的主要特征和适用条件整个求解过程是多步判断，从小到大依次求解每个子问题，最后求解的子问题就是原始问题
游走山水间·2024-01-29 07:29

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

转、垂、领、甩，反手拉球就这么简单！

口诀旨在抓住技术动作的主要环节进行一个粗略的描述，它所反映的是技术动作的主要特征，而不是全部，对于口诀，切勿机械理解，尤其在技术动作的细节上，更要注意自己去深入体验和加以琢磨。
高凤武·2024-01-28 21:21

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

2019年导游考试必过——地方导游基础知识——第二章 东北地区各省基本概况——黑龙江省基本概况

6、全省气候的主要特征是春季低温干旱，夏季温热多雨，秋季易涝早霜，冬季寒冷漫长，无霜期短，气候地域性差异大。【区
成为想成为的样子·2024-01-28 06:36

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

人工智能时代：让AIGC成为你的外部智慧源（文末送书）

2.1步骤一：收集数据2.2步骤二：模型训练2.3步骤三：内容生成2.4步骤四：反馈和改进三.AIGC的主要特征3.1文本生成3.2图像生成3.3语音生成3.4视频生成四.AIGC关键技术能力五.AIGC
聆风吟_·2024-01-27 12:30

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

1.0中性笔楷书第三十四天——不必强求

就像画漫画一样，先把主要特征掌握了，就容易神似。二是，平常写字的时候，还是自然一些。写得舒服顺畅就行。坚持练习，但是没必要每时每刻在日常中不断思考字怎么写，那样太累了，也没必要。
年更15万·2024-01-26 23:32

STM32第一节——初识STM32

以下是有关STM32的一些主要特征和信息：架构：STM32微控制器使用ARMCortex-M
语文同步练习·2024-01-26 08:28

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

自动弹性，QPS线性提升｜一文读懂云原生数仓AnalyticDB弹性技术原理

阿里云瑶池旗下的云原生数仓AnalyticDBMySQL湖仓版（以下简称AnalyticDBMySQL）在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库·2024-01-26 06:56

津巴多普通心理学第一章内容分享（2）

现代心理学以七种重要的观点为主要特征：生物学观点、发展观点、认知观点、临床观点、行为主义观点、特质观点和社会文化观点。这七种观点从略有不同的角度来审视心理学。
云水如天·2024-01-26 01:16

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

prometheus监控系统架构原理及组件介绍

目录1.prometheus介绍2.官网地址3.时间序列数据4.prometheus主要特征5.prometheus组件介绍6.prometheus原理及架构1.prometheus介绍prometheus
devops.·2024-01-25 17:49

大数据分析组件Hive-集合数据结构

Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张
Aimyon_36·2024-01-25 15:15

Java 的特征

以下是Java的一些主要特征，这些特征贯穿于整个语言设计和开发生态系统中。简单性（Simplicity）：Java被设计为一种简单易学的语言，摒弃了其他一些编程语言中繁琐的特性，例如指针和多重继承。
Itmastergo·2024-01-25 09:29

【并发】什么是 AQS

个人博客：个人主页个人专栏：JAVA⛳️功不唐捐，玉汝于成目录前言正文AQS的主要特征和方法包括：状态管理：等待队列：独占模式：共享模式：条件变量：结语我的其他博客前言在现代多核处理器和分布式系统的环境下
还在路上的秃头·2024-01-25 08:33

卒姆托

极少主义建筑大师，卒姆托，探索建筑本质，纯净形式的建筑师，简练的形式，纯净空间，精巧的结构为主要特征。
宋小羊咩·2024-01-25 01:36

无损音乐格式转换mp3软件哪个好？

从声学的分析角度，乐音有三个主要特征:即响度（又称音强），音调（又称音高）和音
科技的力量·2024-01-24 19:49

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

企业建数仓的第一步是选择一个好用的ETL工具

而选择合适的ETL工具是构建数仓的关键一步。因没有高灵活度的ETL就无法构建高质量的数仓。数据仓库的重要性数据仓库是企业将各个部门和系统中分散的数据进行整合、清洗和分析的基础
苛子·2024-01-23 20:36

《乡土中国》读后感

181343梁诗勤费孝通所著的《乡土中国》讲述了土地与农民不可分离的关系，从理论上概述和分析了中国基层社会的主要特征。
GY1813剑岭收白虹·2024-01-23 16:24

数据结构 - 第 6 章 树和二叉树

【考纲内容】（一）树的基本概念（二）二叉树；二叉树的定义及其主要特征；二叉树的顺序存储结构和链式存储结构；二叉树的遍历；线索二叉树的基本概念和构造（三）树、森林树的存储结构；森林与二叉树的转换；树和森林的遍历
yzr213·2024-01-23 11:28

用flinkcdc debezium来捕获数据库的删除内容

但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。
后季暖·2024-01-23 11:17

NOC总线(1)

1.背景SoC（systemonchip,片上系统）通常指在单一芯片上实现的数字计算机系统，总线结构是该系统的主要特征，由于其可以提供高性能的互连而被广泛运用。
biaobiao_hust·2024-01-23 09:05

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他