大数据架构数据仓库消息队列

浅谈ETL

前言ETL开发是数据工程师必备的技能之一，在数据仓库、BI等场景中起到重要的作用。但很多从业者连ETL对应的英文是什么都不了解，更不要谈对ETL的深入解析，这无疑是非常不称职的。
秋夜雨凉·2024-02-08 21:15

进程间通信(4)：消息队列

函数：msgget(搭配ftok)、msgsnd、msgrcv、msgctl实现流程：1、创建消息队列IPC对象msgget2、通信(内置函数：msgsnd、msgrcv)3、删除消息队列IPC对象msgctlwrite.c
cxy255256·2024-02-08 21:01

Java面试题2024(Java面试八股文)

文章目录基础SpringspringMybatis数据库Mysqlredis并发编程网络通信消息队列MQ分布式分布式事务设计模式更新中基础Java基础Java对象的创建集合HashMap详解HashMap
思静语·2024-02-08 20:17

双非本科准备秋招（20.1）—— 并发编程之生产者消费者

生产者仅负责产生结果数据，不关心数据该如何处理，而消费者专心处理结果数据JDK中各种阻塞队列，采用的就是这种模式代码实现：首先，设计消息队列类MessageQueue，需要指定容量capacity，用双向链表
随心自风流·2024-02-08 20:26

消息队列MQ 介绍

System.out.println(“嗨，大家好，我是代码不会敲的小符，双非大四，Java实习中…”);System.out.println(“如果文章中有错误的地方，恳请大家指正！共同进步，共同成长✊”);System.out.println(“如果文章对您有所帮助，希望您可以三连支持一下博主噢”);System.out.println("正在完成计划中：接下来的三个月里，对梦想的追逐");文
代码不会敲·2024-02-08 19:09

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

消息队列消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。
Kingairy·2024-02-08 18:33

redis基本数据结构介绍

这些数据结构为开发者提供了丰富的数据操作方式，使得Redis在缓存、消息队列、排行榜等场景中有着广泛的应用。1.字符串（Strings）字符串是Redis最基本的数据结构。
一杯可乐、·2024-02-08 17:03

通过消息队列实现进程之间通信代码示例

宏定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//创建key值以便创建消息队列
施纪·2024-02-08 15:23

消息中间件（消息队列）简介

MQ（messagequeue）消息队列，也叫消息中间件。消息队列已经逐渐成为企业IT系统内部通信的核心手段。
xmh-sxh-1314·2024-02-08 15:45

Spring事件发布机制

大家细品，是不是有点消息队列的味
遇见更好的自己、·2024-02-08 14:43

2.5 通过消息队列实现进程之间通信代码示例

宏定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//1、创建key值以便创建消息队列
Sinbia_Lurika·2024-02-08 13:52

SQL在云计算中的新角色：重新定义数据分析

文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界·2024-02-08 13:01

Apache Doris 用户案例库

物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的数据仓库建设货拉拉基于
hf200012·2024-02-08 11:03

Redis学习笔记-3.慢查询和其他高级数据结构

2.3与原生M操作的对比原生M操作是原子操作pipeline非原子操作2.4使用建议3.发布订阅功能3.1角色3.2通讯模型3.3APIpublishsubscibeunsubcribe其他功能3.4消息队列
天生我才~~·2024-02-08 10:21

13 数据仓库设计

1.数据仓库分层该项目数据分层如下：2.数据仓库构建流程2.1数据调研数据调研重点做两项工作，分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io·2024-02-08 10:32

数据库学习笔记

数据库学习笔记数据库系统概述基本概念关系型数据库和非关系型数据库redis数据库引擎MyISAM与InnoDB的区别OLTP联机事务处理onlinetransactionprocessingOLAP联机分析处理数据仓库
三流淼货·2024-02-08 08:10

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（一）1.前置知识ODPS（OpenDataPlatformandService）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存储的产品
涤生大数据·2024-02-08 08:55

HCIA-HarmonyOS设备开发认证V2.0-3.轻量系统内核基础

(待续)4.3、中断管理(待续)4.4、软件定时器(待续)五、内存管理5.1、静态内存(待续)5.2、动态内存(待续)六、内核通信机制6.1、事件event(待续)6.2、互斥锁Mux(待续)6.3、消息队列
嵌入式底层·2024-02-08 08:41

消息队列使用的四种场景介绍

一、简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。
Bin哥厉害7·2024-02-08 03:19

假期day3,三种进程间通信代码实现(2024/2/4)

消息队列#includestructmsgbuf{longmstype;chartext[1024];};#defineSIZE(sizeof(structmsgbuf)-sizeof(long))intmain
明渐·2024-02-08 01:42

数据仓库入门介绍框架（附带完整项目实战）

一、诞生背景企业数据分析需要：各个部门自己建立独立的数据抽取系统，导致数据不一致概述数据仓库是一个面向主题的、集成、非易失的且随时间变化的数据集合主要用于组织积累的历史数据，并使用分析方法（OLAP、数据分析
麻辣清汤·2024-02-07 23:34

2021，Java最全的分布式面试题合集附答案，共2w字！

分布式分为分布式缓存（Redis）、分布式锁（Redis或Zookeeper）、分布式服务（Dubbo或SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka、RabbitMq
码农突围·2024-02-07 21:52

RabbitMQ之七生产集群部署

个人专题目录1.RabbitMQ集群搭建实际生产应用中都会采用消息队列的集群方案,出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑，在生产环境上一般都会考虑使用RabbitMQ的集群方案
Java及SpringBoot·2024-02-07 21:21

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

通过消息队列实现进程之间通信代码

定义一个消息大小#defineMSGSIZEsizeof(structmsgbuf)-sizeof(longint)intmain(intargc,constchar*argv[]){//1、创建key值以便创建消息队列
Huai1230·2024-02-07 13:03

整合RabbitMQ实现消息异步发送

消息队列中间件消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。
刚满十八工地搬砖·2024-02-07 12:13

【作业day2】

2.消息队列：优点：异步通信，提高系统性能，支持多对多通信。3.信号：优点：轻量级通信，适用于简单的通知机制。4.共享内存：优点：高效，直接访问共享数据，适用于大量数据的高速交换。
唠个锤子·2024-02-07 12:40

牛逼哄哄的消息队列到底有什么用？

在面试大型互联网公司的时候，经常被问到消息队列的三个问题：1、在何种场景下使用了消息中间件？2、为什么要在系统里引入消息中间件？3、如何实现幂等？想解决这些问题？那咱们继续看下看。
Java机械师·2024-02-07 10:13

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。
大数据左右手·2024-02-07 09:35

即席查询框架怎么选？

即席查询与批处理的区别批处理在数据仓库系统中，根据应用程序的需求，需要对源数据进行加工，这些加工过程往往是固定的处理原则，这种情况下，可以把数据的增删改查SQL语句写成一个批处理脚
大数据左右手·2024-02-07 09:32

一篇文章理解 “进程间通信“

一个进程需要向另一个或一组进程发送消息，通知它（它们）发生了某种事件（如进程终止时要通知父进程）进程控制：有些场景下需要一个进程去控制另外一个进程进程间通信的分类管道匿名管道pipe命名管道SystemVIPCsystemV消息队列
高高__·2024-02-07 09:04

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。
爱吃辣条byte·2024-02-07 08:26

RocketMQ消息发送的设计

具体的可查看：RocketMQ的主要组件及其功能在接下来的关于RocketMQ的消息发送的文章中，可以带着几个问题来阅读：1、RocketMQ的消息队列是如何负载的？
NullzzZ·2024-02-07 07:53

数据湖与数据仓库

一、数据湖的定义维基百科上定义，数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储：结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）二进制数据（如图形、音频、视频）。但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓
四月天03·2024-02-07 05:36

绕过去除 union 和 select 的 SQL 注入

环境准备：构建完善的安全渗透测试环境：推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客一、基础知识MySQL是一个流行的开源关系型数据库管理系统（RDBMS），广泛用于Web应用、数据仓库、嵌入式应用等场景
狗蛋的博客之旅·2024-02-07 05:33

写出三种进程间通信的代码示例

目录无名管道共享内存消息队列无名管道#includeintmain(intargc,constchar*argv[]){//定义进程号变量pid_tpid=-1;//定义存放管道文件描述符的数组intpipefd
腾飞810·2024-02-07 05:37

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

IdleHandler的简单认识

主线程的空闲时间通常是在处理完当前的UI事件和消息队列后，等待下一个事件到来之前的时间段。IdleHandler适用于一些不紧急、不影响用户体验的后台任务。
呆咖啡·2024-02-07 02:08

【云栖风向标】VOL.5：横空出世！热修复方案Sophix

【资料合集】2017云栖大会·上海峰会回顾合集：PDF下载+现场视频3.CCAI讲师专访|TobyWalsh：用AI提高器官移植的成功率4.Aliware-MQ消息队列
weixin_34228617·2024-02-07 00:09

开发中Docker常用容器记录

开发中Docker常用容器记录概览分享工作学习中常用的Docker容器使用：比如常用数据库的使用消息队列类的使用用于服务发现的容器使用还有其他工作学习中使用到的持续更新：https://juejin.cn
_萧_·2024-02-07 00:37

ETL是什么，有哪些ETL工具？就业前景如何？

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
得帆云·2024-02-06 23:46

Apache Kafka: 强大消息队列系统的介绍与使用

在这样的背景下，诞生了一系列分布式消息队列系统，其中ApacheKafka无疑是最受欢迎和广泛应用的之一。本文将深入介绍ApacheKafka的基本概念、核心架构以及在实际应用中的使用。一、
达芬奇要当程序员·2024-02-06 22:53

消息队列：分布式系统中的重要组件

目录摘要引言1.1什么是消息队列1.2消息队列的重要性消息队列的特点2.1异步通信2.2解耦合2.3持久性消息队列的应用场景3.1异步任务处理3.2系统解耦3.3流量削峰常见的消息队列系统4.1RabbitMQ4.2ApacheKafka4.3ActiveMQ
达芬奇要当程序员·2024-02-06 22:52

RabbitMQ：分布式系统中的高效消息队列

目录摘要RabbitMQ简介1.1背景与起源1.2核心概念RabbitMQ的基本工作原理2.1生产者和消费者2.2队列2.3交换机和绑定RabbitMQ的使用3.1安装与配置3.2生产者示例3.3消费者示例3.4异常处理与监控RabbitMQ在实际应用中的场景4.1消息通知4.2任务队列4.3日志收集RabbitMQ的优势与挑战5.1优势5.2挑战未来展望6.1发展趋势6.2社区和生态系统结论摘要
达芬奇要当程序员·2024-02-06 22:22

初识RabbitMQ

一、消息队列1、消息队列的介绍在介绍RabbitMQ之前，首先来介绍下消息队列。消息队列是生产者-消费者模型的一个典型的代表，由一端往消息队列中不断的写入消息，而另一端则可以读取或者订阅队列中的消息。
姚舜禹_12140·2024-02-06 21:33

Redis 持久化对性能有何影响？

Redis持久化对性能的影响Redis是一个高性能的内存数据存储系统，通常被用于缓存、消息队列和数据存储等方面。由于Redis是基于内存的，因此它的读写速度非常快，可以满足高并发、低延迟的应用需求。
恒创HengHost·2024-02-06 21:54

数据仓库

数据仓库（DataWarehouse）是一个面向主题（SubjectOriented)）的、集成（Integrate）的、稳定（Non-Volatile）的、反映历史变化（TimeVariant）的数据集合
茶盏浮花·2024-02-06 20:47

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

第3节-Redis数据类型介绍以及应用

RedisStream主要用于消息队列（MQ，Message
白给的阿威·2024-02-06 14:53

Spring和Spring Boot的区别

复杂性：Spring是一个庞大且功能丰富的框架，它提供了大量的功能和模块，包括依赖注入、AOP、JDBC、消息队列、事务管理等等。
独木人生·2024-02-06 12:58
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他