大数据架构数据仓库消息队列

大数据开发（Kafka面试真题-卷一）

2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？3、解释以下ApacheKafka的作用以及它与常见消息队列系统（如RabbitMQ）之间的区别？
Key-Key·2024-03-18 23:05

Redis 的数据类型及使用场景

List使用List的数据结构，可以做简单的消息队列的功
程序员JavaWind·2024-03-18 15:24

数据挖掘-数据预处理的必要性及主要任务

(2)数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。(3)数据归约：可以通过如狙击、删除冗余特征或聚类来降低数据的规模。(4)数据变换：
嘣嘣嚓·2024-03-17 10:16

MySQL建表以及excel内容导入

一个数据库从逻辑上来说是由一个或多个表空间所组成，表空间是数据库中物理编组的数据仓库。每一个表空间是由段所组成，一个表空间存放一个或多个数据库的物理文件。一个数据库中的
jameszjd·2024-03-17 00:03

数据仓库的设计开发应用（三）

目录五、数据仓库的实施（一）数据仓库的创建（二）数据抽取转换加载六、数据仓库系统的开发（一）开发任务（二）开发方法（三）系统测试七、数据仓库系统的应用（一）用户培训（二）决策支持（三）维护评估 五、数据仓库的实施
Francek Chen·2024-03-16 14:22

JVM对象创建与内存分配机制分析

、执行方法六、对象内存分配七、对象内存回收可达性分析算法：总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列
旺仔爱Java·2024-03-15 15:16

Redis 除了做缓存，还能做什么？

消息队列：Redis自
舍人_1·2024-03-15 11:39

JVM级缓存本地缓存Caffeine

的优化方面淘汰算法W-TinyLFU三、Caffeine的业务使用总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列
旺仔爱Java·2024-03-15 06:32

03hive数仓安装与基础使用

hiveHive概述Hive是基于Hadoop的一个数据仓库工具。
daydayup9527·2024-03-14 13:39

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20

深入理解Redis:工程师的使用指南

作为一款开源的、轻量级的NoSQL数据库，Redis在缓存、消息队列、会话存储等场景中得到了广泛应用。本篇博客将以高级工程师的视角，深入介绍Redis的特性、优势以及如何在实际项目中进行使用。
腹有诗书气自华777·2024-03-10 13:12

ETL策略

数据仓库平台，ETL是很重要一环，看ETL的发展史，最初使用表格，人工从系统下载，在excel匹配，然后加载到数据仓库平台，到后来开始出现ETL工具，大概分为两个派别，以ETL架构的datastage，
朱先生_hfm·2024-03-10 13:11

浅谈消息队列

消息队列由哪些角色组成？生产者（Producer）：负责产生消息。消费者（Consumer）：负责消费消息消息代理（MessageBroker）：负责存储消息和转发消息两件事情。
爱码的嘉·2024-03-09 13:11

RabbitMQ、kafaka、rocketmq等消息队列MQ消息堆积如何解决

文章目录概述解决方案消息堆积如何处理如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，怎么办？
思静语·2024-03-08 16:11

使用 Redis 进行高效数据缓存的 C# 实践

StackExchange.Redis2.连接到Redis服务器3.常用数据类型的操作4.数据缓存实践5.高级特性和性能优化6.错误处理和异常处理三、总结前言Redis是一种开源的内存数据库，广泛应用于缓存、会话管理和消息队列等场景
仰望大佬007·2024-03-06 21:18

【数据仓库作业】第1章 绪论

三、简述数据仓库的定义。四、简述数据仓库的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九、下列活动是否属于数据挖掘任务，并简述其理由。
Francek Chen·2024-03-06 06:28

幂等性设计

目录前言幂等性设计幂等性设计处理流程HTTP幂等性消息队列幂等性基于kafka前言幂等性设计，就是说，一次和多次请求某一个资源应该具有同样的副作用。为什么我们要有幂等性操作？
风清扬-独孤九剑·2024-03-05 04:25

Handler消息机制（四）：子线程可以创建Handler吗

默认情况下，ActivityThread类为我们创建的了主线程的Looper和消息队列，所以当你创建Handler之后发送消息的时候，消息的轮训和handle都是在ui线程进行的。
bug樱樱·2024-03-04 12:47

redis常见面试问题合集

Redis是一个开源的、基于内存的数据结构存储系统，它可以用作数据库、缓存和消息队列。Redis支持多种数据类型，包括字符串、列表、集合、有序集合和哈希表。Redis支持的数据类型有哪些？
V火居道士V·2024-03-04 01:20

Linux进程通信之共享内存

与其他IPC机制（如消息队列和信号量）不同，共享内存直接将一块内存映射到多个进程的地址空间中，使得它们可以
Tyro_wang·2024-03-03 18:10

分布式事务

分布式事务是指在分布式系统中，涉及多个参与者（数据库、消息队列等）的跨多个节点的事务操作。
你不懂、、、·2024-03-03 03:51

让数据用起来：数据中台建设的评估与选择（第4章）

开始构建企业级数据仓库，使用BI工具、大屏等。第三个阶段：数据驱动。加强业务与数据融合，利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段：运营优化。
小阳阳兄·2024-03-03 02:20

物联网常见协议之MQTT 详解

一、简述MQTT（MessageQueuingTelemetryTransport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于
BY组态·2024-03-01 23:39

分布式和微服务

每个微服务都专注于解决特定的业务问题，并通过消息队列进行互相通信。微服务架构的目标是提高系统的
你小汁完了·2024-02-28 14:56

消息队列-kafka

kafka和redis的区别数据类型和用途：Kafka：Kafka是一个分布式消息队列系统，主要用于高吞吐量的消息发布和订阅。它可以用于构建实时流处理应用、日志收集和传输、事件驱动架构等场景。
百晓生612·2024-02-28 08:48

Hive数据仓库行转列

查了很多资料发现网上很多文章都是转发和抄袭，有些问题。这里分享一个自己项目中使用的行转列例子，供大家参考。代码如下：SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu·2024-02-28 07:47

数据仓库和数据湖的区别

数据仓库和数据湖是两种不同的数据存储和管理架构，它们有以下区别：1.数据结构：数据仓库采用结构化的数据模型，通常是规范化的关系型数据库，其中数据以表格形式组织，使用预定义的模式和架构。
图灵追慕者·2024-02-28 02:10

在消息队列kafka多消费者组消费同一Topic场景下的idea调试debug断点进不去的解决方案

2.解决思路你在生产者端发送一条消息进入到kafka消息队列，
小白菜儿929·2024-02-26 09:21

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

数据仓库服务：在冗余海量数据中找到正确决策目前数据仓库分析解决方案在金融，电信，零售等多个行业发展迅速，很多企业在关键决策中需要对自身海量数据进行多样化，深层次的分析。
舒意从生·2024-02-24 07:21

每天一个数据分析题（一百六十四）

关于OLAP系统，下列选项不正确的是（）A.是基于数据仓库的信息进行分析处理过程B.用户数量相对较少，其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙·2024-02-22 22:43

大数据计算技术秘史（上篇）

其实在大数据技术兴起之前，对于用户来讲并没有存储和计算的区分，都是用一套数据库或数据仓库的产品来解决问题。而在数据量爆炸性增长后，情况就变得不一样了。
·2024-02-22 20:33

Docker安装RabbitMQ

RabbitMQ是实现高级消息队列协议(AMQP)的开源消息代理软件（有时称为面向消息的中间件）。RabbitMQ服务器是用Erlang编程语言编写的，并建立在OpenTel
tag心动·2024-02-22 13:01

详解SpringCloud中RabbitMQ消息队列原理及配置

运用消息队列之后，用户下单完之后，下单信息写入数据库，再写入消息队列，发送邮件和发送短信各自去消息队列进行读取，节省时间，提高效率。2、应用解耦场景：用户下单后，订单系统需要多渠道通知用户。
珍奇国英·2024-02-20 22:22

RabbitMQ配置、底层、使用一套打通，由繁到简

#《RabbitMQ(MessageQueue，消息队列)》一、什么是消息中间件●消息中间件是软件和软件之间发送消息的软件●消息中间件最大的作用就是异步处理和系统解耦●另外消息中间件还有消息收集广播、流量控制等功
·菠萝皮~·2024-02-20 22:22

SpringBoot整合RabbitMQ

/queues默认账号密码：guestguestOverview模块可以看到监听端口信息和访问web的端口Exchanges模块可以看到配置的交换机QuequesandStreams模块可以看到配置的消息队列
刚入门的白·2024-02-20 22:18

Mysql第一关之常规用法

模糊简记为DCMQ，看起来像一个消息队列。
大&迈·2024-02-20 22:09

开源ETL工具

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将
SkTj·2024-02-20 20:15

Java使用Redis实现消息队列

近期刷Java面试题刷到了“如何使用Redis实现消息队列”，解答如下：一般使用list结构作为队列，rpush生产消息，lpop消费消息。当lpop没有消息的时候，要适当sleep一会再重试。
谦风（主Java）（接口开发）·2024-02-20 20:06

美团面试：Kafka如何处理百万级消息队列？

美团面试：Kafka如何处理百万级消息队列？在今天的大数据时代，处理海量数据已成为各行各业的标配。
·2024-02-20 20:07

【Redis】基于Docker安装Redis（详细步骤）

一、Redis简介Redis，英文全称是RemoteDictionaryServer（远程字典服务），是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。
Crazy keyboard·2024-02-20 19:30

ETL、ELT区别以及如何正确运用

这种方法适用于需要对数据进行加工和整合后再加载到目标系统的场景，如数据仓库构建、商业智能报表制作等。相比之下，ELT(Extract,Load,Transform)则是先将数据从源系统抽取出来，直
·2024-02-20 18:00

消息队列RabbitMQ-使用过程中面临的问题与解决思路

消息队列在使用过程中会出现很多问题首先就是消息的可靠性，也就是消息从发送到消费者接收，消息在这中间过程中可能会丢失生产者到交换机的过程、交换机到队列的过程、消息队列中、消费者接收消息的过程中，这些过程中消息都可能会丢失
sunyunfei1994·2024-02-20 18:07

消息队列RabbitMQ入门与使用

目录一、消息中间件概述1.1、为什么学习消息队列1.2、什么是消息队列1.3、应用场景1.3.1、QPS/PV1.3.2、什么是PV，UV，PR1.4、AMQP和JMS1.4.1、AMQP1.4.2、JMS
sklit88·2024-02-20 18:36

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
云智慧AIOps社区·2024-02-20 17:32

RabbitMQ学习笔记

1消息队列基础1.1同步异步同步调用时效性强拓展性差性能下降级联失败异步调用业务解耦，拓展性强无需等待，性能好故障隔离缓存信息，流量削峰填谷时效性差不确定执行是否成功1.2MQ技术选型2安装2.1安装步骤
hhf的博客·2024-02-20 17:53

SpringBoot集成和使用消息队列

前言SpringBoot中使用消息队列无非就是集成消息队列的客户端，这里主要有有两种方式，一种是使用消息队列提供的原生API，但是需要手动经历创建连接工厂、创建连接、创建信道，以及配置主机、配置端口等等一系列比较繁琐的过程
不摸鱼的程序员·2024-02-20 15:24

SpringAMQP开启“可靠性”机制

前言上一篇介绍了如何在《SpringBoot中集成和使用消息队列》，看过这一篇就基本上可以在SpringBoot中使用消息队列了，但是消息队列他归根结底是一个客户端服务器模式的中间件，面对复杂的网络环境和分布式使用环境
不摸鱼的程序员·2024-02-20 15:52

分布式秒杀系统的设计

本篇博客根据大神们的梳理的体系并结合自己实际的项目经验，大致描述我们在设计分布式秒杀系统需要关注的核心内容——分布式锁、分布式限流、消息队列等等，希望可以帮助同学们可以在面试中更加从容地回答这个问题。
请叫我刘星·2024-02-20 13:59

RabbitMQ与Spring Boot如何集成？

一、RabbitMQRabbitMQ是一个开源的消息队列中间件，它实现了高效可靠的消息传递机制，可以在分布式系统中进行异步通信。
张燕沨·2024-02-20 11:54

MessageQueue --- RabbitMQ

RabbitMQRabbitMQIntroRabbitMQ核心概念RabbitMQ分发类型Deadletter(死信)保证消息的可靠传递RabbitMQIntro2007年发布，是一个在AMQP（高级消息队列协议
马达加斯加D·2024-02-20 10:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他