时序图数仓

Hologres + Flink 流式湖仓建设

Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时数仓分层方案
Direction_Wind·2024-01-18 21:56

白山云基于StarRocks数据库构建湖仓一体数仓的实践

背景随着每天万亿级别的业务数据流向数据湖，数据湖的弊端也逐渐凸显出来，例如：数据入湖时效性差：数据湖主要依赖于离线批量计算，通常不支持实时数据更新，因此无法保证数据的强一致性，造成数据不及时、不准确；查询性能差：在传统架构下，数据湖的查询速度较差，小时粒度的数据查询往往需要数分钟才能得到响应，在多个业务方同时执行数据湖查询任务时，查询响应慢的劣势更加明显；查询体验差：数据存储在多个地方，在进行联邦
StarRocks_labs·2024-01-18 17:04

uni-app+springmvc调用JSAPI完成H5微信公众号内支付

1.微信服务号商户的申请流程以及后台的开发配置略，按照提示来做就OK了，重点是开发流程2.开发流程流程图：时序图：开发使用框架：H5端用uni-app框架实现，后台采用java语言，由springmvc
积累从点滴开始·2024-01-18 15:58

Android WiFi Service启动-Android13

AndroidWiFiService启动-Android131、SystemServer中入口2、WifiService启动2.1关键类概要2.2启动时序图AndroidWiFi基础概览AOSP>文档>
xhBruce·2024-01-18 14:07

测试驱动开发：基于Jenkins+GoTest+HTML的持续化集成

目录前言一、项目框架1.项目迭代2.项目时序图3.项目测试执行二、项目具体实现1.创建流水线2.拉取代码3.执行测试代码4.生成测试报告5.报告内容解读6.数据统计7.邮件通知8.企业微信通知三、项目遇到的问题
SuperStar77·2024-01-18 12:15

UML之类图

UML从目标系统的不同角度出发，定义了用例图、类图、对象图、状态图、活动图、时序图、协作图、构件图、部署图等9种图。
夜雨微澜°·2024-01-18 11:37

技术选型｜开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
浪尖聊大数据-浪尖·2024-01-18 08:14

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本fenfa，放在~/bin下,chmod777fenfa给权限#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoXXXXXXXXXNoArguementXXXXXXXXX!
Int mian[]·2024-01-18 06:57

如何设计实时数据平台（设计篇）

在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问
longLiveData·2024-01-18 05:11

USB设备管理过程

驱动关于usb整体流程时序图：drivedevice分别attach到bus总线上，probe用来使drive驱动device可以看到，attach后的device会找到对应的drive，并调用相应的probe
inquisiter·2024-01-18 04:36

离线数仓二

数据仓库维度模型设计维度建模基本概念维度模型是数据仓库领域大师RalphKimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。
pauls·2024-01-18 00:26

尚硅谷离线数仓之采集平台

1.用户行为日志数据流向流程图如下，其中红框表示用户行为日志数据的流向图。1.1行为日志内容行为日志主要包括以下几个内容页面浏览记录动作记录曝光记录启动记录错误记录页面浏览记录动作记录曝光记录启动记录1.2用户行为日志格式页面日志启动日志页面日志，以页面浏览为单位，即一个页面浏览记录，生成一条页面埋点日志。一条完整的页面日志包含，一个页面浏览记录，用户在该页面所做的若干个动作记录，若干个该页面的曝
韩顺平的小迷弟·2024-01-17 21:56

数据仓库面试题

1思维导图&数仓常见面试题2题目1.数据仓库是什么？  
韩顺平的小迷弟·2024-01-17 21:53

2024.1.16 用户画像day01 - 项目介绍

技术选型:技术架构:项目架构:二.名词解释一.项目介绍整体流程:项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发
白白的wj·2024-01-17 15:40

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。
weixin_34075551·2024-01-17 15:31

数仓数据含有特殊字符，如何更方便的导出成excel文件

如果遇到数据中含有特殊字符,"\n","\r","\t",或者其他的特殊分隔符在数据导出时造成错位，都用sql替换，但是需求是导出的数据要保持原有内容格式，就不能替换剔除这些特殊字符，这种情况下使用json方式1，在hive数仓建一个临时的
第一次看海·2024-01-17 15:00

spark sql实践开发后端引擎

-------------“何以解忧，唯有暴富”需求开发一个系统，主要是将数仓中治理完用于检索的数据灌入Elasticsearch中，一般情况，开源的一些系
第一次看海·2024-01-17 14:28

amd平台的amd芯片组的时序。

1.,南桥有两个待机电压VDDCR_11_S和VDDIO_33_S，这和上面的光达的时序图的名字有一点不一样，不管了。
a03910·2024-01-17 12:29

UML建模（五）--时序图

UML建模（五）--时序图1、概述1.1时序图的定义在UML的表示中，时序图将交互关系表示为一个二维图。其中，纵向是时间轴，时间沿竖线向下延伸。横向代表了在协作中各独立对象的角色。
liumw1203·2024-01-16 22:48

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

ClickHouse - 01

批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive数仓中
ArthurHC·2024-01-16 02:17

数据库, 数据仓库, 数据集市，数据湖，数据中台

数据仓库和数据库的区别作者：南宫蓉出处：简书第一篇：数据仓库概述第二篇：数据库关系建模作者：穆晨出处：CNBLOS数据仓库、数据湖、数据集市、和数据中台的故事作者：Murkey学习之旅出处：csdn数据中台和数仓的关系作者
cxzhq2002·2024-01-16 01:26

mysql/oracle 数据库delete操作太慢（where ... in ...），不加索引，一招让性能提升百倍

比如在数仓项目中，软删虽然更快更安全，但是缺点也很多：1、软删造成数据冗余，甚至快速膨胀的后果。比如一些中间表，只是作为中转站，过两天数据就分配其他表了，不硬删的话就会造成数据快速膨胀。
大壮001·2024-01-15 23:30

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub源码地址https://github.com/apache/incubator-dorisApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持1
IT小神·2024-01-15 13:45

数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)

实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下：而新一代日志监控选型如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从ES迁移到了Clickhouse，将日志从ES迁移到ClickHouse可以节省更多的服务器资源，总体运维成本更低，
IT小神·2024-01-15 13:45

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

概述背景ApacheDoris官方地址ApacheDorisApacheDorisGitHub源码地址GitHub-apache/incubator-doris:ApacheDoris(Incubating)isanMPP-basedinteractiveSQLdatawarehousingforreportingandanalysis.ApacheDoris是一个现代化的MPP分析型数据库产品。
Firstlucky77·2024-01-15 13:42

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:29

终于明白六大类UML类图关系了

而UML图分为用例图、类图、对象图、状态图、活动图、时序图、协作图、构件图、部署图等9种图。在面向对象语言中，我们经常看到有用UML类图去表示各种接口和类之间关系的。
烟雨星空·2024-01-15 05:44

项目实战-知行教育大数据分析平台-01

目录一、业务流程二、项目架构流程三、clouderamanager（CM）基本介绍四、项目环境搭建五、维度分析六、数仓建模1、维度建模2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型
吆喝的翅膀·2024-01-15 04:22

clickhouse常规的优化方法

一、建表优化1.1日期字段避免使用String存储建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
运维仙人·2024-01-15 01:08

Markdown高级用法——mermaid

Markdown高级用法——mermaid起初是写文章，其中有时序图流程图等一般是processOn或者draw.io画截图粘过去的，工作中又是腾讯文档，上面也能画图，但假如我笔记软件用语雀之类的又要把一张图反复粘贴
eck_燃·2024-01-15 01:49

linux i2c 设备驱动开发

设备驱动读函数编写i2c设备驱动写函数编写i2c设备树配置i2c板级信息设置i2c驱动框架实例i2c测试工具-i2cdetecti2c通讯错误用户态实现设备驱动方式i2c读时序i2c读时序如图所示，通过时序图可以发现
帅的没朋友~·2024-01-15 00:20

[NAND Flash 6.6] NAND FLASH Multi Plane Program（写）操作_multi plane 为何能提高闪存速度

专栏《深入理解NANDFlash》<<<<返回总目录<<<时序图MultiPlane提速机理MultiPlaneProgram状态检查前言上一篇我们介绍了
元存储·2024-01-14 23:22

[NAND Flash 6.1] 怎么看时序图 | 从时序理解嵌入式 NAND Read 源码实现

专栏《深入理解NANDFlash》<<<<返回总目录<<<<前言每次看到NAND说明书都脑袋大，时序图看了脑壳就疼。时序图怎么看呢？本文就和大家一起学习下。
元存储·2024-01-14 21:34

SDRAM小项目——SDRAM初始化配置

主要写了SDRAM的初始化模块，注重文档信息的查找，时序图的设计，SDRAM仿真插件的使用。
小天才dhsb·2024-01-14 18:16

SDRAM小项目——写模块

阅读文档信息：首先阅读文档信息，了解SDRAM写过程的状态转换和时序图SDRAM整体状态流程如图所示：在SDRAM整体系统中，若要进入写模块，则需要从idle状态首先激活一行（row_acttive），
小天才dhsb·2024-01-14 18:57

RocketMQ源码阅读-Message消息存储

RocketMQ源码阅读-Message消息存储1.CommitLog的作用2.CommitLog存储消息3.时序图4.小结在Broker消息接收一篇中，分析到Broker接收到消息，最终会调用CommitLong
迷思特王·2024-01-14 18:38

RocketMQ源码阅读-Broker消息接收

RocketMQ源码阅读-Broker消息接收1.从单元测试入手2.Broker启动流程3.Broker接收消息4.Broker接收消息时序图5.小结Broker接收Producer发送的消息。
迷思特王·2024-01-14 18:07

统一OLAP查询平台之语义层

产品和应用讨论分析指标，并拉上数仓和业务一起确认指标。数仓理解指标，并开始数据加工。首先，从ODS层开
XianMing的博客·2024-01-14 11:27

数据仓库（1）-总览

整体大纲如下，分为8个部分，包括认识数仓，数仓模型建设，元数据管理，指标体系，数据质量，数据安全，数据治理，实时技术。
XianMing的博客·2024-01-14 11:27

数据仓库（2）-认识数仓

1、数据仓库是什么数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有
XianMing的博客·2024-01-14 10:53

【PlantUML】- 时序图

写在前面  本篇文章，我们来介绍一下PlantUML的时序图。这个相对类图来讲，比较简单，也不需要布局。读完文章，相信你就能实际操作了。
宝总.·2024-01-14 07:57

长龙航空HTAP实践：统一技术栈，高效构建在线服务与轻量实时数仓

浙江长龙航空有限公司（以下简称“长龙航空”）是浙江省唯一的本土总部型客货综合公共运输航空公司，拥有国内国际、客运货运全牌照航空运输资质，属于中大型航空公司，居民营航空公司前列，自2011年成立至今，累计开通国内外客货运航线近600条，覆盖全国并通达日韩、港澳、东南亚、中亚等“一带一路”沿线国家和地区的170余个城市。在现代航空业运营中，高效的数据管理和可靠的数据库系统是成功运营的关键要素之一。长龙
OceanBase数据库官方博客·2024-01-14 07:30

数仓搭建——DWD层

1DWD层（用户行为日志）1.1日志解析思路页面埋点日志启动日志思路1.2get_json_object函数使用数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]取出第一个json对象hive(gmall)>selectget_json_object('[{"name":"大郎","sex":"男",
丝丝呀·2024-01-14 06:10

数据仓库-离线数仓（基于物流数仓）

1、数据仓库概述1.1、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2、数据仓库核心架构2、数据仓库建模概述2.1、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它
小鱼干换酒钱·2024-01-14 06:39

数仓学习笔记(5)——数仓搭建(DWD层)

目录一、数仓搭建——DWD层1、DWD层(用户行为日志)1.1日志解析思路1.2get_json_object函数使用1.3启动日志表1.4页面日志表1.5动作日志表1.6曝光日志表1.7错误日志表1.8DWD
默萧756·2024-01-14 06:35

数仓笔记（五）-DWD层，DWS层

数仓搭建DWD层1）对用户行为数据解析2）对业务数据采用维度模型重新建模6.1DWD层（用户行为日志）1）日志结构回顾（1）页面埋点日志（2）启动日志2）日志解析思路6.1.2get_json_object
芝士雪豹.·2024-01-14 06:33

离线数仓 (十三) --------- DWD 层搭建

目录前言一、DWD层(用户行为日志)1.日志解析思路2.get_json_object函数使用3.启动日志表4.页面日志表5.动作日志表6.曝光日志表7.错误日志表8.DWD层用户行为数据加载脚本二、DWD层(业务数据)1.评价事实表(事务型事实表)2.订单明细事实表(事务型事实表)3.退单事实表(事务型事实表)4.加购事实表(周期型快照事实表，每日快照)5.收藏事实表(周期型快照事实表，每日快照
在森林中麋了鹿·2024-01-14 06:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他