数仓技术知识

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

DDL 毫秒级同步，Light Schema Change 的设计与实现｜新版本揭秘

在OLAP的业务场景中，SchemaChange是一个相对常见的业务需求，当上游数据源维度发生变化时，通常需要将数仓中的表结构进行相应的变更。
·2024-02-19 15:19

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

个人简历补充

框架/架构角度深扒3.1前端3.1.1mPaaS（移动领域）3.1.2普通前端项目框架3.1.3微前端3.2后端持续更新1.对工作的认识2.八股文和知识面前端（基础知识/开发能力/总结输出能力）：前端技术知识
Xiaobaiforgod·2024-02-19 12:02

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·2024-02-19 11:45

揭秘JVS-智能BI数据集管理：让你的数据处理更高效！

数据集管理与界面介绍在整体的数仓架构中，数据集是在线加工的标准数据形态，数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程，建模完成后，可通过手动数据执行或者周期性的
·2024-02-19 11:41

Hive调优——count distinct替换

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。
爱吃辣条byte·2024-02-15 10:58

数仓面试

0.自我介绍答：1）.简单的自我介绍，突出自己优势2）.项目介绍3）.项目中承担的工作和模块。4）.长的帅或漂亮，前四条都可以忽略1.什么是数据仓库？如何构建数据仓库？可参考：漫谈|大牛带你从0到1构建数据仓库实战（如果这个问题回答的好，后面很多问题都不需要再问）答：数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反
China_mr001·2024-02-14 21:46

学海放舟 习为所用

真可谓是一场信息技术知识的盛宴，让我在现代信息技术的海洋里自由遨游，，从中不
通化922侯斌·2024-02-14 11:14

Docker技术知识分享（三） - 镜像

镜像是容器技术的基础，容器是镜像的实例，下面我们就具体来看下镜像是如何组成和运行的。一，镜像内部的结构我们日常使用已打好的镜像则下载配置就可以，而如何我们涉及项目中的开发和自制“烧制”镜像则需要更加深入的了解镜像的构成。通过镜像知识的学习，也可以进一步理解为什么镜像的运行仅需要占用相对较少的资源。1.1最小的镜像-HelloWorld类似于学习各门语言的课程中一样，我们从简单的HELLOWORLD
Paulin知行文集·2024-02-14 06:34

一起来学项目管理-6

项目经理无需承担项目中的每个角色，但应具备项目管理知识、技术知识、理解和经验。项目经理通过沟通领导项目团队进行规划和协调。
Oliver_G·2024-02-13 20:03

如何在使用Texture2DArray的时候开启Mipmap效果

CharacterController移动碰撞问题3）一个关于Shader下坐标系转换的问题4）加载配置内存过大问题5）关于UnityWebRequest的手机端Timeout无效的问题这是第280篇UWA技术知识分享的推送
侑虎科技UWA·2024-02-13 19:41

如何接手一个新系统

接手一个新系统，一般要从这几个方面来熟悉：一、业务知识；二、技术知识：1、逻辑架构逻辑架构主要要了解以下这几部分：1.1系统整体和每个子系统的架构图、核心领域模型；1.2几块核心模块和业务流程、时序图；
小强聊it·2024-02-13 15:10

产品经理内容分享(六)：AI产品经理需必备那些能力

目录必备的AI技术知识第一章：AI产品经理是否需要懂技术及其程度第二章：AI产品经理必备的AI技术基础知识——基础算法与机器学习方法第三章：AI产品经理必须要懂的AI技术知识——场景应用第四章：AI算法与模型的关系第五章
之乎者也··2024-02-12 20:45

年薪20W软件测试工程师必备的6大技能（建议收藏）

软件测试随着软件开发行业的日益发展，岗位需求量和行业薪资都不断增长，想要入行的人也是越来越多，但不知道从哪里下手，今天，就给大家分享一下，软件测试行业都有哪些必会的方法和技术知识点，作为小白该从哪里学起
测试界的彭于晏·2024-02-12 07:00

ClickHouse常用表引擎

有点像数仓中的缓慢变化维度。创建TinyLog引擎表只需要在
寒 暄·2024-02-11 22:23

Python数据挖掘指南

对于数据科学家来说，数据挖掘可能是一项模糊而艰巨的任务-它需要多种技能和许多数据挖掘技术知识来获取原始数据并成功获取数据。您需要了解统计学的基础，以及可以帮助您大规模进行数据挖掘的不同编程语言。
代码输入中...·2024-02-11 18:59

clickhouse 21.x生产实践优化

clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2024-02-11 18:28

Databend 开源周报第 131 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
·2024-02-11 18:59

限制Unity帧率的方式

Unity帧率的方式2）只在编辑器内，纹理不开启Read&Write情况下，如何获取纹理所有颜色值3）如何在FBX剔除Lit.shader依4）如何在iPhone12mini设备上禁止竖屏这是第373篇UWA技术知识分享的推送
·2024-02-11 18:12

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

徐光启论翻译 2022-04-19

没有翻译，我们就不可能获得西方的科学技术知识，也不可能对近代以来的中国语言和文化进行丰富、发展。翻译是一种中介和桥梁，搭起了知识传承、传递、传播
人生的磨刀石·2024-02-11 09:40

系统分析师考试大纲

(1)系统工程的基础知识；(2)掌握开发信息系统的综合技术知识（硬件、软件、网络、数据库）；(3)熟悉企业和政府信息化建设，并具有组织信息化战略规划的知识；(4)熟悉掌握信息系统开发过程和方法；(5)熟悉信息系统开发标准
小白兔爱吃胡萝卜·2024-02-10 15:17

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库
计算机毕业设计大神·2024-02-10 10:56

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计
Java架构师CAT·2024-02-10 09:20

网络安全中的“紫队”揭秘：定义与构建之道

紫方可以为蓝方提供有关红方的技术知识和工具，并同时可以帮助红方理解蓝方的安全防御措
知白守黑V·2024-02-10 09:23

HiveSQL——用户中两人一定认识的组合数

注：参考文章：SQL之用户中两人一定认识的组合数--HQL面试题36【快手数仓面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次，点赞3次，收藏12次。
爱吃辣条byte·2024-02-10 01:52

.360勒索病毒数据恢复|金蝶、用友、管家婆、OA、速达、ERP等软件数据库恢复

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种
wx_shuju315·2024-02-09 15:26

POPPPPPJ勒索病毒：了解最新POPPPPPJ，以及如何保护您的数据

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情况。
wx_shuju315·2024-02-09 15:56

限制Unity帧率的方式

Unity帧率的方式2）只在编辑器内，纹理不开启Read&Write情况下，如何获取纹理所有颜色值3）如何在FBX剔除Lit.shader依4）如何在iPhone12mini设备上禁止竖屏这是第373篇UWA技术知识分享的推送
UWA·2024-02-09 03:23

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。
zhang菜鸟·2024-02-08 22:19

如何动态使用烘焙出来的ReflectionProbe-0.exr信息

ReflectionProbe-0.exr信息2）相机拉远后，SpriteRenderer图有明显的锐利3）Unity版本升级后Text的颜色修改无效4）Shader中UNITY_REVERSED_Z的含义这是第273篇UWA技术知识分享的推送
侑虎科技UWA·2024-02-08 08:29

月薪20k以上的软件测试工程师的必备知识点?全部拿走吧！

由于文章的技术知识过多，建议收藏，我也另外整理了有工具+简历模板+最新面试真题等等，有需要的可以加我薇【
yoyo小小汐~·2024-02-07 17:58

光背面试题可没用，谈谈如何真正掌握一个技术知识点

作者：陆小凤来源：程序员江湖如何真正地掌握一个技术知识点，这是我一直在探索的一个问题，在秋招复习的那段时间，我主要通过阅读博客、整理博客等方式构建了自己的知识体系，所以也算是有了一些经验，在这里分享给大家
程序员黄小斜·2024-02-07 11:19

数仓：用户行为类指标一网打尽

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户，如果一个用户首次打
大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手·2024-02-07 09:35

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte·2024-02-07 08:26

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4
Mmj666·2024-02-07 00:01

细说开源软件的影响力分析

这种跨国界的协作不仅加速了软件开发进程，还促进了技术知识的全球传播。1.2鼓励技术实验和
卢卡上学·2024-02-06 19:00

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

【收藏】19张最全的架构师技术栈图谱

【收藏】19张最全的架构师技术栈图谱今天收集了19张关于软件架构师应该了解和掌握的技能图谱，希望这份技术知识图谱能够帮助到每一位奋斗在架构师技术路上的小伙伴。
程序员达芬奇·2024-02-06 12:05

#读书笔记#增长黑客#DAY1韦静

2.增长黑客方法打破了企业内部传统的“筒仓”结构，将数据分析、工程、产品管理和市场营销方面的员工凝聚起来组成跨职能通力协作的团队，使企业能够将强大的数据分析、技术知识和营销能力高效结合起来，迅速寻找更具潜力的增长手段
五月果果·2024-02-06 12:30

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41

JS数组：new Array() Array.of() Array.from()

发现使用newArray无法达到效果，假如创建单个元素[1],因为newArray(1)返回的也只是[empty×1]基于上述情况，个人觉得有必要巩固下基础知识，前端就是知识杂而多，本人最近一直在追求技术知识的广度
前端怎么个事·2024-02-06 05:29

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四
i7杨·2024-02-05 16:09

Text Mesh Pro图文混排如何对任何图片都能实现

2）UnityiOS平台的小图占用特别大的内存3）只在编辑器内，纹理不开启Read&Write情况下，如何获取纹理所有颜色值4）准备在海外发行游戏，有哪些比较常用的身份认证类SDK这是第372篇UWA技术知识分享的推送
UWA·2024-02-05 16:05

技术、实战、原理都全了！-阿里P8耗时三年整理出800页 Spring boot 内部实施手册

springboot技术维度针对性地介绍了SpringBoot入门、数据库的使用和访问性能提升、界面设计、安全设计等重要技术知识，以实用性为主，旨在帮助读者快速掌握SpringBoot开发方法和精髓，尽快融入生产实践中
架构师温以凡·2024-02-05 09:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他