时序图数仓

Databend 开源周报第 132 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
·2024-02-20 10:50

透彻理解实时数仓的支撑技术：Upsert Kafka 和 Flink 动态表（Dynamic Table）

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。动态表本质上是一条流（stream），upsert-kafka映射的数据表底层存储的
　Laurence·2024-02-20 10:23

JVS智能BI的ETL数据集实践：数据自动化分析的秘诀

数据集管理与界面介绍在整体的数仓架构中，数据集是在线加工的标准数据形态，数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程，建模完成后，可通过手动数据执行或者周期性的
jonyleek·2024-02-20 05:59

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

一、层出不穷的新名词现在各种新名词层出不穷：顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等。总之是你方唱罢他登场，各种概念满天飞…在比拼新经济的过程中，其实比拼的是流量也就是用
zl1zl2zl3·2024-02-20 05:30

什么是onedata？如何使用onedata？

这是数仓构建的基
时代新人0-0·2024-02-19 21:54

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
DolphinScheduler社区·2024-02-19 16:16

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

DDL 毫秒级同步，Light Schema Change 的设计与实现｜新版本揭秘

在OLAP的业务场景中，SchemaChange是一个相对常见的业务需求，当上游数据源维度发生变化时，通常需要将数仓中的表结构进行相应的变更。
·2024-02-19 15:19

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·2024-02-19 11:45

揭秘JVS-智能BI数据集管理：让你的数据处理更高效！

数据集管理与界面介绍在整体的数仓架构中，数据集是在线加工的标准数据形态，数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程，建模完成后，可通过手动数据执行或者周期性的
·2024-02-19 11:41

Hive调优——count distinct替换

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。
爱吃辣条byte·2024-02-15 10:58

STM32—DHT11温湿度传感器

文章目录一.温湿度原理1.1时序图二.代码一.温湿度原理1.1时序图(1).下图一是DHT11总的时序图。
沉眠温柔·2024-02-15 04:14

数仓面试

0.自我介绍答：1）.简单的自我介绍，突出自己优势2）.项目介绍3）.项目中承担的工作和模块。4）.长的帅或漂亮，前四条都可以忽略1.什么是数据仓库？如何构建数据仓库？可参考：漫谈|大牛带你从0到1构建数据仓库实战（如果这个问题回答的好，后面很多问题都不需要再问）答：数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反
China_mr001·2024-02-14 21:46

LVS/DR数据包流向分析

lengzijian/article/details/8089661先附上一张原理图：为了更清晰的表述lvs-dr原理，我们用tcpdump工具打印出tcp数据，查看mac地址的更改情况，绘制出如下的时序图
南柯一梦，笑谈浮生·2024-02-14 18:40

DDR原理详解

这部分的讲述运用DDR3的简化时序图。DDR3的内部是一个存储阵列，将数据“填”进去，你可以它想象成一张表格。和表格的检索原理一样，先指定一个行（Row），再指定一个列（Co
dl329·2024-02-14 02:30

如何接手一个新系统

接手一个新系统，一般要从这几个方面来熟悉：一、业务知识；二、技术知识：1、逻辑架构逻辑架构主要要了解以下这几部分：1.1系统整体和每个子系统的架构图、核心领域模型；1.2几块核心模块和业务流程、时序图；
小强聊it·2024-02-13 15:10

IM聊天系统为什么需要做消息幂等？如何使用Redis以及Lua脚本做消息幂等【第12期】

0前言消息收发模型第一张图是一个时序图，第二张图是一个标清楚步骤的流程图，更加清晰。消息的插入环节主要在2步。save部分。主要也是对这个部分就行消息幂等的操作。
呆呆呆呆梦·2024-02-13 14:20

【软件设计与体系结构】用例图、类图、时序图

引入：（将【泛化】的实线改为虚线则表示【实现】）（一条实线加一个菱形表示【聚合】）1、用例图1.用例图组成1.1图形符号1.2用例名称1.3参与者参与者所代表的角色有：人、硬件设备，或甚至是另一个系统。例如：如果你在银行工作，你可能是一个贷款员，如果你在该银行有存款，那么你同时也扮演一名顾客的角色。所以，一个参与者的一个实例代表以一种特定的方式与系统进行单独的交互。注意：尽管在模型中使用参与者，但
嗯诺·2024-02-12 02:59

ClickHouse常用表引擎

有点像数仓中的缓慢变化维度。创建TinyLog引擎表只需要在
寒 暄·2024-02-11 22:23

clickhouse 21.x生产实践优化

clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2024-02-11 18:28

Databend 开源周报第 131 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
·2024-02-11 18:59

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

【期末UML速成】UML各种类图、时序图、用例图+UML2面向对象分析与设计（第2版）谭火彬编著电子PDF+电子习题

《UML2面向对象分析与设计（第2版）谭火彬编著》+UML复习资料链接:谭火彬教材电子版+UML选择填空大题试卷资料（保有用）UML基础1.1UML是什么？UML（统一建模语言）是一种用于软件系统建模的标准化语言，它提供了一套丰富的符号和图表，用于描述软件系统的结构、行为和交互。UML通过图形化的方式帮助软件工程师和其他利益相关者更好地理解、设计、可视化和通信软件系统的各个方面。1.2UML的优势
阿贵学长·2024-02-10 18:17

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库
计算机毕业设计大神·2024-02-10 10:56

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计
Java架构师CAT·2024-02-10 09:20

HiveSQL——用户中两人一定认识的组合数

注：参考文章：SQL之用户中两人一定认识的组合数--HQL面试题36【快手数仓面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次，点赞3次，收藏12次。
爱吃辣条byte·2024-02-10 01:52

STM32控制JQ8400语音播报模块

串口两线操作接收引脚TX串口两线操作发送引脚GND电源地引脚DC-5V电源引脚，3.3-5VDAC-RDAC输出右声道引脚DAC-LDAC输出左声道引脚SPK-喇叭-引脚SPK+喇叭+引脚二、一线操作（1）时序图
KINO32·2024-02-09 07:41

UML基础(附绘制教程)

文章目录前言uml基本概念常见的uml图包括那些类图(classdiagram)例子基础类图样式类之间的关系泛化关系实现关系关联关系聚合关系组合关系依赖关系用例图(usercasediagram)时序图
shark-chili·2024-02-09 06:30

PlateUML绘制UML图教程

PlantUML是一款强大的工具，通过简单的文本描述，能够生成UML图，包括类图、时序图、用例图等。PlantUML是一款强大的工具，用于绘制UML图和其他类型的图表，包括系统架构图。
Damon小智·2024-02-09 05:27

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。
zhang菜鸟·2024-02-08 22:19

WifiConfigStore初始化读取-Android13

WifiConfigStore初始化读取1、StoreData创建并注册2、WifiConfigStore读取2.1文件读取流程2.2时序图2.3日志1、StoreData创建并注册packages/modules
xhBruce·2024-02-08 11:10

AD9361纯逻辑控制从0到1连载4-AD9361数据接口

如下图所示：收数据接口时序图如下：发
冰冻土卫二·2024-02-08 07:40

IDEA 推荐插件

grep-console输出日志换颜色MybatisLogFormat直接复制mybatis的日志成完整的SQLSequenceDiagram生成时序图
LaLaLa_OvO·2024-02-08 06:32

【ADI PLL 】时序小结

要注意的是：在ADI的PLL产品中，大多数的时序图如图上所示，该图是错误的，正确的时序图如图下的图所示，LE的上升沿应跟Clock的上升沿对齐，而非
hcoolabc·2024-02-08 03:31

数仓：用户行为类指标一网打尽

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户，如果一个用户首次打
大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手·2024-02-07 09:35

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte·2024-02-07 08:26

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

人生绕不开一台LCD1602，虽然它比较丑，接的线也比较多。#非标协议【上】

1.4LCD1602的指令说明2.LCD在一个位置显示一个字母的逻辑2.1在哪里显示2.2显示的是什么2.4如何解决D0到D7既要传输字符位置信息又要传输字符数据信息3.LCD1602写时序分析3.1写时序图与写时序参数
马哥成长记·2024-02-07 04:44

“掌握温度，感知湿度，一触即知！”DHT11温湿度传感器，为您的生活增添一份关怀与精准。#非标协议【下】

1.3数据传送逻辑和数据格式2.发送时序检测DHT11温湿度传感器模块是否存在2.1发送时序检测模块是否存在核心思路2.2定义DHT11温湿度传感器数据接线2.3根据手册检测DHT11温湿度传感器模块时序图配置检测函数
马哥成长记·2024-02-07 04:43

30分钟学会UML类图（转）

一般说来，在UML图中，只要掌握类图、用例图、时序图的使用，就能完成大部分的工作。也就是说，掌握UML的20%，就能做80%的事情。对于程序员来说，最频繁使用的莫过于类图。
走在路上的低级弟弟·2024-02-07 01:41

python绘制每日的时序图_Python-100-Days

Python-100天从新手到大师作者：骆昊说明：从项目上线到获得8w+星标以来，一直收到反馈说基础部分(前15天的内容)对新手来说是比较困难的，建议有配套视频进行讲解。最近把基础部分的内容重新创建了一个名为“Python-Core-50-Courses”的项目，用更为简单通俗的方式重写了这部分内容并附带了视频讲解，初学者可以关注下这个新项目。国内用户如果访问GitHub比较慢的话，也可以关注我的
weixin_39553423·2024-02-07 01:57

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4
Mmj666·2024-02-07 00:01

STA | 什么是时序图？

1逻辑图芯片设计离不开时序分析。时序分析的对象是如下图这种电路图。这种电路图被称为逻辑图。为了分析方便，用编号在图中标出各个节点。这样就能方便地指出不同的时序路线。时序分析针对的是一段段时序路线。因此，首先需要定位出起始点和终点。什么样的节点可以作为起点和终点呢？2起点和终点起点通常有三种。第一种：芯片的数据输入端口。第二种：时序单元的数据输出端口。第三种：存储器的数据输出端口。类似地，终点也有三
准备钟·2024-02-06 20:42

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他