【分布式-消息队列Kafka】

STM32 消息队列处理串口发送的报文

文章目录概要整体流程具体实现小结概要本文写自正在做的项目，需要使用串口2处理EasyModBus传输的报文，原本采用中断处理的方式，在屏幕，按键，感应器同时传输下，产生了丢包现象，偶发性的死机问题，所以改用消息队列进行缓存
S安东尼·2024-03-27 07:25

【循环神经网络rnn】一篇文章讲透

RNN的基本原理代码事例三、RNN的优化方法1长短期记忆网络（LSTM）2门控循环单元（GRU）四、更多优化方法1选择合适的RNN结构2使用并行化技术3优化超参数4使用梯度裁剪5使用混合精度训练6利用分布式训练
CX330的烟花·2024-03-27 04:51

关于HDP的20道高级运维面试题

以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
编织幻境的妖·2024-03-26 15:34

Redis+Lua脚本实现分布式服务的限流

背景限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务。开始打算使用GuavaRateLimiter来实现限流，但RateLimiter是局限于单机中使用，然后打算使用Redis+Lua脚本实现限流。1提供调用的接口@Slf4j@RestController@RequestMapping("/rateLimter")publiccl
henry_2016·2024-03-26 11:58

分布式应用下登录检验解决方案

优缺点JWT是一个开放标准，它定义了一种用于简洁，自包含的用于通信双方之间以JSON对象的形式安全传递信息的方法。可以使用HMAC算法或者是RSA的公钥密钥对进行签名。说白了就是通过一定规范来生成token，然后可以通过解密算法逆向解密token，这样就可以获取用户信息。生产的token可以包含基本信息，比如id、用户昵称、头像等信息，避免再次查库，可以存储在客户端，不占用服务端的内存资源，在前后
敲键盘的小夜猫·2024-03-26 11:57

RabbitMQ的安装

例如秒杀活动，在短时间内访问量急剧增加，使用消息队列，当消息队列满了就拒绝响应，跳转到错误页面，这样就可以使得系统不会因为超负载而崩溃Linux下安装#拉取镜像dockerpullrabbitmq:3.8
白泽27·2024-03-26 00:44

分布式：这里详细的说一下分布式

分布式系统是由多台计算机节点协同工作的系统，节点之间通过网络进行通信和协调。每个节点可以独立执行任务，但它们共享资源和数据，相互之间通过消息传递进行通信。在分布式系统中，通信和协调是实现分布式的关键。
独木人生·2024-03-25 20:39

ELK离线安装和配置流程

Elasticsearch是一个基于Lucene库的分布式搜索和分析引擎；Logstash是一个用于收集、处理和转换数据的数据管道，它可以从各种来源读取数据，包括日志文件、系统事件、网络流量等；Kibana
GB9125·2024-03-25 19:39

MQ横向对比：RocketMQ、Kafka、RabbitMQ、ActiveMQ、ZeroMQ

前言本文将从多个角度全方位对比目前比较常用的几个MQ：RocketMQKafkaRabbitMQActiveMQZeroMQ下文单独说明。
namelessmyth·2024-03-25 19:08

Maxwell监听mysql的binlog日志变化写入kafka消费者

utf8mb3字符的解码问题，需要对原码中加上一个部分内容：具体也给大家做了总结：关于v1.29.2版本的Maxwell存在于mysql8.0后版本部分源码字符集处理确实问题-CSDN博客二.程序这里还是那一个kafka
澄绪猿·2024-03-25 06:23

常见物联网模型优缺点简介

分布式模型：优点：提高了系统的可靠性和容错性，因为数据和处理能力分散在各个节点。
成都亿佰特电子科技有限公司·2024-03-24 15:04

Spark面试整理-Spark是什么？

ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。
不务正业的猿·2024-03-24 13:02

认识Java语言（一）

Java语言的背景(0.1)在数字化的时代浪潮中，Java显得尤为璀璨，它不仅仅是由SunMicrosystems公司孕育而出的一种编程语言，更是一种融汇简洁性、面向对象的设计、分布式编程能力、稳健与安全性
小魏冬琅·2024-03-24 12:01

skynet cluster集群笔记

skynetcluster集群笔记前言cluster相关方法说明集群设计方案：集群中常遇到的问题：注意事项：前言skynet是一个基于事件驱动的分布式游戏服务器框架，支持构建高性能、高并发的网络程序。
半夏知半秋·2024-03-24 10:29

高可用系统有哪些设计原则

1.降级主动降级：开关推送被动降级：超时降级异常降级失败率熔断保护多级降级2.限流nginx的limit模块gatewayredis+Lua业务层限流本地限流gua分布式限流sentinel3.弹性计算弹性伸缩
没有女朋友的程序员·2024-03-24 10:29

Debezium日常分享系列之：Debezium2.5稳定版本之MySQL连接器配置示例和Connector参数详解

添加连接器配置三、连接器属性四、必须的连接器配置属性五、高级MySQL连接器配置属性六、Debezium连接器数据库架构历史配置属性七、用于配置生产者和消费者客户端的传递数据库架构历史属性八、Debezium连接器Kafka
最笨的羊羊·2024-03-24 08:56

什么是高防CDN？

以下是它的一些主要优势：01分布式防护高防CDN通过在全球各地设立大量的节点，以实现流量的分发和冗余。
江苏冬云云计算·2024-03-24 01:46

Flink 批作业 消费kafka

文章目录示例代码原理总是kafka数据源可以是有界数据源，也可以是无界数据源示例代码publicstaticvoidmain(String[]args){StreamExecutionEnvironmentenv
wending-Y·2024-03-22 08:25

春招面试高频题目总结

消息队列如何保证这个消息一定执行？不会丢失？持久化消息
小杰312·2024-03-22 03:19

DDoS和CC攻击的原理

DDoS攻击DDoS攻击（分布式拒绝服务攻击）指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力DD
a'ゞ云防护游戏盾·2024-03-20 19:01

服务器虚拟化和云平台,云平台和服务器虚拟化区别

云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统
木子Hui·2024-03-20 05:14

云钱包：账号即区块，技术以人为本

美国人愤怒了，有人谴责华尔街的贪婪，有人占领华尔街，有人开始尝试通过分布式记账技术实践，寻找替代华尔街记账体系的路径。因此，首先我们要明确：第一，区块链这个后来总结出来的概念，它
紫气东来101·2024-03-19 21:25

Go 简单设计和实现可扩展、高性能的泛型本地缓存

缓存大体分为两类：本地缓存和分布式缓存（如Redis）。本地缓存适用于单机环境下，而分布式缓存适用于分布式环境下。
程序员榕叔·2024-03-19 18:01

Kafka主题二三事

客户端如果订阅了多次主题，则以最后一次为主，例如consumer.subscribe(Arrays.asList(topic1));consumer.subscribe(Arrays.asList(topic2));则订阅的只有topic2。消费者订阅主题是支持正则表达式，这样如果有新topic上线，并且匹配正则，则也会消费到这个新topic的内容，比如consumer.subscribe(Pat
慢一点，细一点·2024-03-19 11:22

MySQL 中的“两阶段提交”机制

两阶段提交是一种分布式事务处理策略，在MySQL中主要用来保证redolog和binlo
好奇的菜鸟·2024-03-19 05:14

大数据开发（Kafka面试真题-卷一）

大数据开发（Kafka面试真题）1、请解释以下ApacheKafka是什么？它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？
Key-Key·2024-03-18 23:05

什么是分布式搜索引擎

什么是分布式搜索引擎搜索引擎所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。
罗彬桦·2024-03-18 20:00

Redis 的数据类型及使用场景

List使用List的数据结构，可以做简单的消息队列的功
程序员JavaWind·2024-03-18 15:24

SpringBoot整合Hazelcast实现分布式缓存

一.分布式缓存代码实现步骤1.创建web项目我们按照之前的经验，创建一个web程序，并将之改造成SpringBoot项目，具体过程略。
已转行此号停用·2024-03-18 14:53

鸿蒙内核系统

一、系统设计总纲1.1鸿蒙战略设计目标全场景1.2鸿蒙操作系统目标实现的技术支撑1.2.1分布式设计1.2.2一次开发，多端部署1.2.3系统与硬件解耦，弹性部署1.3鸿蒙操作系统技术架构1.3.1内核层
junwua·2024-03-18 14:53

区块链技术的应用场景和优势

区块链技术是一种去中心化、安全、透明的分布式数据库技术，被广泛应用于各个行业。
田木木·2024-03-18 13:21

Java面试题总结18之springcloud四种分布式事务解决方案

XA规范：分布式事务规范，规定了分布式事务模型四个角色：事务管理器（协调者TM），资源管理器（参与者RM），应用程序AP，通信资源管理器CRM全局事务：一个横跨多个数据库的事务，要么全部提交，要么全部回滚
陈平安＂·2024-03-18 00:05

Kafka-SSL笔记整理

创建密钥仓库以及CA创建密匙仓库,用户存储证书文件keytool-keystoreserver.keystore.jks-aliashello_kafka-validity100000-genkey创建
yicj·2024-03-17 14:21

机器学习常用框架

它支持分布式计算，能够在大规模数据集上训练复杂的模型。PyTorch：由Faceboo
碧落&凡尘·2024-03-17 12:48

【Docker】Jaeger 容器化部署

Jaeger是受到Dapper和OpenZipkin启发的由UberTechnologies作为开源发布的分布式跟踪系统，兼容OpenTracing以及Zipkin追踪格式，目前已成为CNCF基金会的开源项目
轻云UC·2024-03-17 08:14

ZooKeeper 概述

定义和功能ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会托管。它主要用于解决分布式应用中遇到的一些复杂问题，如命名服务、状态同步服务、集群管理、分布式锁和队列管理等。
龙大.·2024-03-16 03:32

基于ElasticSearch存储海量AIS数据-架构设计篇

面向海量AIS数据，提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计，通过对时间维按月切分，以及对空间范围聚类切分，构造了索引时空立方体，
iOS逆向·2024-03-15 23:58

分布式id生成方案

全局唯一性：算法设计确保了即使在分布式系统中也能生成全局唯一的ID。优缺点优点：实现简单，无需网络交互，保证了ID的全球唯一性。缺点：通常不能保证顺序性，ID较长，可能导致存储和索引效率低下。
陈平安＂·2024-03-15 15:17

JVM对象创建与内存分配机制分析

分配内存1）内存划分2）本地线程分配缓冲三、初始化四、设置对象头五、执行方法六、对象内存分配七、对象内存回收可达性分析算法：总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式
旺仔爱Java·2024-03-15 15:16

Redis 除了做缓存，还能做什么？

分布式锁：通过Redis来做分布式锁是一种比较常见的方式。通常情况下，我们都是基于Redisson来实现分布式锁。
舍人_1·2024-03-15 11:39

JVM级缓存本地缓存Caffeine

GuavaCache前言一、创建缓存的代码逻辑二、Caffeine的优化方面淘汰算法W-TinyLFU三、Caffeine的业务使用总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式
旺仔爱Java·2024-03-15 06:32

Spring Cloud面试系列-01

SpringCloud是一系列框架的有序集合，它利用SpringBoot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用SpringBoot
梦睡了·2024-03-15 02:57

架构:Apache Kafka Connect实现sqlserver数据实时同步

实现ApacheKafkaConnect与SQLServer之间的实时数据同步，您可以使用KafkaConnect的JDBCSourceConnector。
管理大亨·2024-03-14 16:13

flume集成kafka

2019独角兽企业重金招聘Python工程师标准>>>1.kafka的配置参照https://my.oschina.net/u/1591525/blog/22519102.flum配置在flume的conf
weixin_34112181·2024-03-14 16:12

探秘Elasticsearch：高性能搜索引擎的原理与应用场景（一）

首先我们将介绍Elasticsearch的基本原理，包括分布式架构、倒排索引和分片等核心概念。然后我们将深入探讨Elasticsearch的搜索原理，包括查询解析、相似度计算和布尔搜索等关键技术。
凛鼕将至·2024-03-14 13:09

Redisson

Redisson1什么是Redisson2.SpringBoot整合Redisson1什么是RedissonRedisson是一个基于Redis的java框架,用于简化Redis的操作.它提供了丰富的功能,包括:分布式集合
sp_wxf·2024-03-14 13:09

【分布式websocket】聊天系统消息加密如何做

前言先介绍一下对称加密算法，在介绍一下加密流程，然后是介绍一下查询加密消息的策略。然后结合现有技术架构然后去选型。决定采用客户端解密。简而言之就是采用对称服务端加密。然后将加密内容存储到消息表的content字段。然后客户拉取content字段然后解密。拉取到消息解密后进行展示。客户存储的时候进行加密。目前已经写的文章有。并且有对应视频版本。git项目地址【IM即时通信系统（企聊聊）】点击可跳转s
呆呆呆呆梦·2024-03-14 10:34

阿里云分布式深度学习训练架构Whale

阿里云分布式深度学习训练架构Whale阿里云分布式深度学习训练架构Whale参考文献Whale基于Tensorflow深度学习分布式训练框架|学习笔记Whale:EfficientGiantModelTrainingoverHeterogeneousGPUs
qwfys200·2024-03-14 07:30

redis实现分布式锁

分布式锁介绍在java的开发中，我们一般在需要并发访问的资源上使用加锁Lock或者synchronized来同步访问，但是只能针对单个jvm内的加锁，当系统需要在多个系统之间访问同一个受保护的资源时，就需要用到分布式锁的机制了
yongbuyanqi9467·2024-03-14 06:57

项目示例 - 3.降级熔断 - 2.Sentinel

项目示例-3.降级熔断-2.Sentinel关联知识：分布式微服务-3.降级熔断-3.Sentinel内容提要：注册、持久化授权注册到sentinel建Module：微服务起名为sentinel-provider
keipace·2024-03-13 07:58
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他