中间件-Kafka

在windows初装kafka

1.下载kafka:http://kafka.apache.org/downloadsimage.png2.解压image.png3.运行CMD到这里：image.png1).启动zookeeper.
小狼在IT·2024-01-22 17:37

启动YonBIP中间件控制台日志

一月18,202410:36:53上午WebContainerstarting..1705545413175警告:上下文路径必须是空字符串或以'/'开头，而不能以'/'结尾。路径[/]不符合这些条件，已更改为[]一月18,202410:36:54上午WebContainerstarting..1705545414511信息:初始化协议处理器["http-nio-5300"]一月18,202410:
fzh0793·2024-01-22 13:25

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。
码农小旋风·2024-01-22 12:44

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

分布式环境下流控技术汇总

本篇主要是对分布式环境流控技术、原理、使用场景做个简要的汇总，包括：固定时间窗口算法，滑动时间窗口算法，漏桶算法，令牌桶算法，分布式消息中间件，流控与熔断利器Sentinel。
隐墨星辰·2024-01-22 07:19

Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
necessary653·2024-01-22 07:49

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free
老耿·2024-01-22 06:02

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_·2024-01-22 00:08

MQ与RabbitMQ面试题（持续更新...）

你们公司生产环境用的是什么消息中间件？使用RabbitMQ的场景？如何确保消息正确地发送至RabbitMQ？如何确保消息接收方消费了消息？如何保证消息不被重复消费？或者说，如何保证消息消费时的幂等性？
心安成长·2024-01-21 23:17

架构08- 理解架构的模式2-管理和监控

进程外的代理服务（之前介绍中间件的时候也提到了，很多框架层面的事情可以以软件框架的形式寄宿在进程内，也可以以独立的代理形式做一个网络中间件）。
我还是个少年·2024-01-21 22:31

K8S Informer机制原理解读 | 架构设计

在Kubernetes系统中，组件之间通过HTTP协议进行通信，在不依赖任何中间件的情况下需要保证消息的实时性、可靠性、顺序性等。那么Kubernetes是如何做到的呢？答案就是Informer机制。
云原生实战指南·2024-01-21 22:57

大牛们经常说的中间件

什么是中间件？估计很多程序猿都不太清楚中间件，那我今天就来说下中间件是什么，怎么来的。中间件的起源2.1中间件发展的历史事情从1946年说起，世界上第一台电子计算机埃尼阿克诞生，人类进入信息时代。
行者_zm·2024-01-21 22:28

intellij idea 编译 kafka 源码

以下是针对kafka1.1.1版本编译流程及在idea中启动的步骤从GitHub网站，gitclonekafka源码下载安装好gradle，scala进入kafka项目目录，执行gradleidea如果出现如下
专职掏大粪·2024-01-21 20:52

Kafka事务分析

Kafka幂等性Kafka幂等性含义幂等性起初是在HTTP协议中定义，是指一次和多次请求同一个资源对资源本身应当具有同样的效果。
WestC·2024-01-21 17:26

Flink容错机制（二）

状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink和Kafka
大数据阿嘉·2024-01-21 17:12

Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。
coffee_babe·2024-01-21 16:36

消息中间件之RocketMQ(一)

1.简介RocketMQ是阿里巴巴于2012年开源的分布式消息中间件，后来捐赠给Apache软件基金会，并于2017年9月25日称为Apache的顶级项目.作为经历多过多次阿里巴巴双11这种超级工程的洗礼并有稳定出色表现得国产中间件
coffee_babe·2024-01-21 16:05

Kafka 消息不能正常消费问题排查

订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了，而订单数据是从mysql的order_search_info查询的，order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志（看着像是消息丢
Java识堂·2024-01-21 16:05

消息中间件之Kafka(二)

1.Kafka线上常见问题1.1为什么要对topic下数据进行分区存储?
coffee_babe·2024-01-21 16:04

技术分享 | 探索测试：MySQL 遇到 Too many open files 时，哪项配置在生效？

作者：红红DBLE项目测试负责人，主导分布式中间件的测试，在测试中不断发现产品和自身的bug。迭代验证，乐在其中。
爱可生开源社区·2024-01-21 15:21

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。
超越不平凡·2024-01-21 15:27

什么是中间件？

文章目录为什么需要中间件？
善守的大龙猫·2024-01-21 15:44

爬虫进阶之selenium模拟浏览器

爬虫进阶之selenium模拟浏览器简介环境配置1、建议先安装conda2、创建虚拟环境并安装对应的包3、下载对应的谷歌驱动以及与驱动对应的浏览器代码setting.py配置scrapy脚本参考中间件middlewares.py
氏族归来·2024-01-21 14:09

【系统架构】消息中间件的架构和原理

消息中间件的作用就是用来异步化并发能力的一个载体，不仅如此，它仍然需要在架构上保证很多能力，高可用，高并发，可扩展，可靠性，完整性，保证顺序等，光是这些都已经让各种设计者比较头疼了；更有一些变态的需求，
禅与计算机程序设计艺术·2024-01-21 14:32

kafka 同步、异步发送

kafkaproducer默认是异步发送：在初始化producer实例时，会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区，消息根据topic-partition分类缓存消息达到
陆阳226·2024-01-21 13:59

阿里云部署项目系列（二）以docker方式安装并设置密码elasticsearch

中间件版本elasticsearch:7.4.2/canal:1.1.51.拉取elasticsearch并运行dockerpullelasticsearch:7.4.2mkdir-p/mydata/elasticsearch
酒肯定是昨日的·2024-01-21 13:46

使用 Express 写接口

创建基本的服务器constexpress=require('express');constcors=require('cors');constapp=express();//配置解析表单数据的中间件app.use
果冻~·2024-01-21 11:56

Node.js 使用 cors 中间件解决跨域问题

CORS跨域资源共享什么是CORScors是Express的一个第三方中间件。通过安装和配置cors中间件，可以很方便地解决跨域问题。
果冻~·2024-01-21 11:22

流量控制与熔断利器：Sentinel介绍

1.前言在流量控制系列文章中的前五篇，分别介绍了固定时间窗口算法、滑动时间窗口算法、漏桶原理、令牌桶、消息中间件如何应用到分布式环境下流量与并
隐墨星辰·2024-01-21 11:27

docker 安装 mysql、redis、rabbitmq、RocketMQ、Nacos 等中间件

docker用宝塔进行管理比较方便，如果想外部访问，一定要用宝塔在安全那里打开对应端口一、docker安装使用宝塔直接安装即可二、mysql安装#1.删除原来的MySQL容器dockerrm-fmysql#2.进入root目录cd~#3.创建并运行新mysql容器，挂载本地目录dockerrun-d\--namemysql\-p3306:3306\-eTZ=Asia/Shanghai\-eMYSQ
牙否·2024-01-21 09:09

Java8 异步非阻塞做法：CompletableFuture 两万字详解！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
Java基基·2024-01-21 09:32

【ASP.NET Core 基础知识】--路由和请求处理--Attribute路由

路由中间件会按照定义的路由规则，将传入的HTTP请求匹配到正确的路由路径，进而执行对
喵叔哟·2024-01-21 09:26

【转载】《软件性能测试、分析与调优实践之路》学习

书中的内容涵盖了性能测试基础、linux和windows服务器的性能分析、web和应用中间件的性能分析、java应用程序的性能分析、数据库的性能分析、安卓APP的性能分析以及具体的性能分析案例实践。
来自火星的我哈哈·2024-01-21 09:51

gin中间件篇

1.全局中间件所有请求都经过此中间件packagemainimport("fmt""time""github.com/gin-gonic/gin")//定义中间funcMiddleWare()gin.HandlerFunc
leellun·2024-01-21 08:45

gin渲染篇

/gin-gonic/gin""github.com/gin-gonic/gin/testdata/protoexample")//多种响应方式funcmain(){//1.创建路由//默认使用了2个中间件
leellun·2024-01-21 08:12

web安全之weblogic漏洞总结

Weblogic简介1.1叙述Weblogic是美国Oracle公司出品的一个应用服务器(applicationserver)，确切的说是一个基于JavaEE架构的中间件，是用于开发、集成、部署和管理大型分布式
Stephen Wolf·2024-01-21 08:58

kafka（一）——简介

简介Kafka是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。
却道天凉_好个秋·2024-01-21 07:21

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
Key-Key·2024-01-21 07:19

kafka入门(九)：kafka分区分配策略

kafka分区分配策略参数：Kafka提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。
乐之者v·2024-01-21 07:19
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他