数仓技术知识

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

虚拟创业团队如何建设

同时，也要确保团队成员具备相应的技术知识和
华西建筑关联专业公司 华鲲智慧·2024-01-30 02:21

清洁也是一种素质

层次高低取决于人的单技术知识深度或多知识修养广度（专家和博学、反面是八卦和肤浅）、沟通方式的丰富性和准确性（如以前不识字的人用画画来代替完成书信），人生观价值取向（创造为乐或享受为乐），情商优劣等条件。
狐狸爱书生·2024-01-29 23:47

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

视频监控容量计算与硬盘参数

作为安防从业人员，技术知识是必须要掌握的！视频监控存储空间的计算方法是怎么计算的，对于一些工程师来说是经常遇到的问题，那么到底该怎么计算呢？
呉師傅·2024-01-29 02:02

微服务系列文章(三) 定义公共springboot starter 工具类实现接口幂避免重复提

微信公众号：[执着猿哥]记录和分享java、springcloud等企业级编码技术知识。有问题或建议和源码，请关注公众号。
我是城·2024-01-29 00:55

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

微信小程序之页面导航、生命周期和WXS脚本

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、页面导航1、什么是页面导航
哥的时代·2024-01-28 12:43

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

web服务和前端交互相关的上中游业务技术知识点梳理

文章目录前言一、业务API网关鉴权Cookie+Session实现API鉴权APIKey+APISecrettoken机制实现API鉴权二、Tomcat、Servlet、SpringMVC总结前言可能之前在学校里面做的很多东西是纯后端的，不会涉及到太多和前端交互的细节，很多新手对前后端交互以及上中游业务链路的整体流程不够清晰，做一些javaWeb项目可以让我们有机会对其进行更深入的研究，最近总结了
无一郎的技术圈·2024-01-27 12:13

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

2018年目标规划

——7:00上班路上：7:20——9:00：英语单词60个打卡午饭：12:00——12:30午休:12:30——13:00加班的情况下：总结：6:00——7:00总结整理充电：7:00——8:30学习技术知识下班路上
Bessie330·2024-01-26 14:58

【转】学习要讲方法

清华作为国内信息技术最顶尖的院校，一直都是爱好信息技术知识学生的首选，而在高一的时候就被录取的陈立杰，早在初中的时候，却是别人家举例的“反面教材”。从小陈立杰对一切关于电脑信息的东西都很感兴趣，但
吴庞炜·2024-01-26 08:36

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

自动弹性，QPS线性提升｜一文读懂云原生数仓AnalyticDB弹性技术原理

阿里云瑶池旗下的云原生数仓AnalyticDBMySQL湖仓版（以下简称AnalyticDBMySQL）在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库·2024-01-26 06:56

atm在计算机网络中是哪一层的东西,计算机网络实用技术知识点之ATM原理

1.AIM的定义与功能CCITr在I系列建议中给ATM下了这样的定义：ATM是一种转换模式(即前面所说的传输方式)，在这一模式中信息被组织成信元(Cell)，包含一段信息的信元并不需要周期性地出现在信道上，从这个意义上来说，这种转换模式是异步的。ATM的特点是进一步简化了网络功能。ATM网络不参与任何数据链路层功能，将差错控制与流量控制工作都交给终端去做。图5.3是分组交换、帧中继和ATM交换三种
王奥雷·2024-01-26 05:41

学习永远在路上（四班 八月份大作业）

2019年的暑假有幸再次接触互加计划，让我省去了舟车劳顿，足不出户就能学习到时代前沿的信息技术知识，教育信息化的大幕早已拉开，乡村教师一样不能落下。
通化1197沙丽娜·2024-01-26 02:34

URP下与Built-in的Light Color不一致

RenderTarget会对没开启MSAA的RenderTarget造成影响3）角色Mesh合并的优点与缺点4）NGUI渲染层级的原理5）Unity上App图标安装到设备上图标模糊，设置上的注意点这是第234篇UWA技术知识分享的推送
UWA·2024-01-25 23:10

Unity出AAB包资源加载过慢

Unity出AAB包资源加载过慢2）UnityIL2CPP打包，libil2cpp.so库中没有Mono接口3）如何在URP中正确打出Shader变体4）XLua打包Lua文件粒度问题这是第370篇UWA技术知识分享的推送
UWA·2024-01-25 21:22

通过CanvasRenderer.SetColor和Image.color修改UI组件颜色的区别

Image.color修改UI组件颜色的区别2）OPPO相关机型没法在Unity启用90或120FPS3）手机输入法中的emoji4）UnityApplicationPatching怎么用这是第369篇UWA技术知识分享的推送
UWA·2024-01-25 21:51

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

微信小程序之全局配置-window和tabBar

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、全局配置1、全局配置文件及常用的配置项二
哥的时代·2024-01-25 15:47

内网穿透、远程桌面、VPN的理解

然后想着在此处记录一下，各个的区别，这个纯粹是从技术层面的理解，此处不详细解释怎么去实现或者用什么工具去实现，此处只是从技术实现层面去记录我对这些功能的理解，希望通过简答白话文的方式记录，让没有多少技术知识的同学也能看明白这个技术到底是个什么东西
Jelly-小丑鱼·2024-01-25 15:34

大数据分析组件Hive-集合数据结构

Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张
Aimyon_36·2024-01-25 15:15

程序员面试技巧大揭秘：让你在众多竞争者中脱颖而出

同时，准备好自我介绍、项目经验、技术知识等内容的讲解。表达清晰：在面试中，要保持思路清晰，语言简洁明了，能够准确地回答面试官的问题。对于一些技术细
wd90119·2024-01-25 06:15

Vue实现rem自适应布局，无需安装插件，代码简单

作者：coderYYY个人简介：前端程序媛，目前主攻web前端，后端辅助，其他技术知识也会偶尔分享欢迎和我一起交流！（评论和私信一般会回！！）
coderYYY·2024-01-25 00:10

微信小程序分页加载功能，结合后端实现上拉底部加载下一页数据，数据加载中和暂无数据提示

作者：coderYYY个人简介：前端程序媛，目前主攻web前端，后端辅助，其他技术知识也会偶尔分享欢迎和我一起交流！（评论和私信一般会回！！）
coderYYY·2024-01-25 00:09

k8s图形化管理工具rancher

如果用户是自己手动部署K8s集群，流程还是比较复杂的，需要掌握一定的技术知识，所以为了简化Kubernetes操作，一些Kubernetes管理平台应运而生，例如Ranch
相遇蟹堡王，尽享蟹黄堡·2024-01-24 20:23

Android系统的JNI原理分析（5）- JNI函数解析

声明前阶段在项目中使用了Android的JNI技术，在此文中做些技术知识总结。此篇参考一些博客和书籍，不方便逐一列出，仅供学习、知识分享，代码基于Android7.1.1。
小馬佩德罗·2024-01-24 17:01

【好用的AI工具Kimi Chat】帮助提高面试效率

如何更高效的复习技术知识，以及特别是横纵向比对有总结性的问题。本文以面试【测试开发】的岗位为例，对面试题进行拓展，让AI帮助我们更快速地提高复习效率。
BruceHelloWorld·2024-01-24 13:03

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

情商|表达的重要性

图片来自小小群人际关系学家戴尔卡耐基说:“一个人的成功，15%靠技术知识，85%靠语言表达。”美国人类行为科学研究者汤姆森也说;“发生在成功人士身上的奇迹，至少有一年是口才创造的。”
牛奶葵·2024-01-24 05:30

Docker初步了解笔记

基于有打算自己学习区块链的开发，大概了解了下招聘需求，看到需要很多方面的技术知识，包括docker（虽然我还不知Docker在区块链用在何处。。。）
喵洛·2024-01-24 00:13

企业建数仓的第一步是选择一个好用的ETL工具

而选择合适的ETL工具是构建数仓的关键一步。因没有高灵活度的ETL就无法构建高质量的数仓。数据仓库的重要性数据仓库是企业将各个部门和系统中分散的数据进行整合、清洗和分析的基础
苛子·2024-01-23 20:36

微信小程序之WXSS模板样式、页面配置（.json）和网络数据请求

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、WXSS模板样式1、
哥的时代·2024-01-23 13:57

用flinkcdc debezium来捕获数据库的删除内容

但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。
后季暖·2024-01-23 11:17

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他