Kafka原理解析

Kafka 集群如何实现数据同步？

哈喽大家好，我是咸鱼最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka，于是决定写篇跟Kafka相关的文章（文中有不对的地方欢迎大家指出）考虑到有些小伙伴可能是第一次接触
咸鱼Linux运维·2023-11-21 18:36

消息队列讲解

目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。
leetcode每日一题写了吗·2023-11-21 16:25

kafka权威指南 第一章翻译 Meet Kafka

https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch01.html企业由数据所驱动的，
mydearplease·2023-11-21 15:33

大数据基础设施搭建 - Kafka（with ZooKeeper）

文章目录一、简介二、单机部署2.1上传压缩包2.2解压压缩包2.3修改配置文件（1）配置zookeeper地址（2）修改kafka运行日志(数据)存储路径2.4配置环境变量2.5启动/关闭2.6测试（1
m0_46218511·2023-11-21 15:57

log4j2发送消息至Kafka

title:自定义log4j2发送日志到Kafkatags:log4j2,kafka为了给公司的大数据平台提供各项目组的日志，而又使各项目组在改动上无感知。
Java大生·2023-11-21 14:55

kafka动态认证 自定义认证 安全认证-亲测成功

kafka动态认证自定义认证安全认证-亲测成功背景Kafka默认是没有安全机制的，一直在裸奔。用户认证功能，是一个成熟组件不可或缺的功能。
beyond阿亮·2023-11-21 14:24

MacBook Linux安装Kafka

Kafka简单介绍ApacheKafka是一个分布式的发布-订阅消息传递系统和一个强大的队列，Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统
beyond阿亮·2023-11-21 14:24

Linux解压安装Kafka

Linux解压安装KafkaMacBookLinux安装zookeeperMacBookLinux安装KafkaKafka依赖ZookeeperKafka依赖Zookeeper,可以单独安装Zookeeper
beyond阿亮·2023-11-21 14:24

kafka max.poll.records用法介绍

一、max.poll.records是什么max.poll.records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目。
黑帽子技术·2023-11-21 14:53

java kafka权限_kafka权限控制-Acl

介绍Acl表示对一个资源的访问权限。它由Resource和Acl组成。Resource表示一个具体的资源。Acl表示权限，由主体principal，是否允许permissionType，主机host，操作operation组成。Resource//ResourceType表示资源类型，name则表示资源标识符caseclassResource(resourceType:ResourceType,n
weixin_39610807·2023-11-21 14:52

python调用kafka_python 实例权限认证连接 Kafka

背景：为保证kafkatopic生产和消费的安全，需增加权限认证功能问题的解决：step1：kafkaserver增加权限认证配置：链接step2:代码实例中增加认证参数1.生产者importtimefromkafkaimportKafkaProducertopic_name
weixin_39846289·2023-11-21 14:52

【小爱学大数据】FlinkKafkaConsumer

今天小爱学习FlinkKafkaConsumer。ApacheFlink是一个流处理和批处理的开源框架，它提供了数据流程序设计模型，以及运行环境和分布式执行引擎。
爱开发V·2023-11-21 14:16

kafka权限认证 topic权限认证 权限动态认证-亲测成功

kafka权限认证topic权限认证权限动态认证-亲测成功kafka动态认证自定义认证安全认证-亲测成功MacBookLinux安装KafkaLinux解压安装Kafka介绍1、Kafka的权限分类身份认证
beyond阿亮·2023-11-21 14:13

Kafka Broker组件的功能以及设计原理剖析

Kafka组件包括Producer、Broker、Consumer以及ZooKeeper。如下图所示：Kafka组件本文将介绍KafkaBroker组件的功能以及设计原理剖析。
皮皮杂谈·2023-11-21 13:57

从今天开始写博客

毕业四年，经历两家大公司，一直在学习各种东西，简单的看过Java底层的源码，对Java的集合，并发等等基本上已经做到透彻理解，同时也通过各种书籍/课程/文章，学习了redis，mysql，zk，kafka
Android_Strange·2023-11-21 13:14

超级好用的Kafka GUI客户端

分享一个Kafka可视化工具，颜值不错，小巧干净，提供实时监控功能。想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？
bilibili_877b·2023-11-21 13:54

python爬虫分析_爬虫原理解析

本文将从何为爬虫、网页结构、python代码实现等方面逐步解析网络爬虫。1.何为爬虫如今互联网上存储着大量的信息。作为普通网民，我们常常使用浏览器来访问互联网上的内容。但若是想要批量下载散布在互联网上的某一方面的信息（如某网站的所有图片，某新闻网站的所有新闻，又或者豆瓣上所有电影的评分），人为的使用浏览器挨个打开网站搜查则过于费时费力。人为统计过于耗时耗力。因此，编写程序来自动抓取互联网上我们想要
weixin_39641334·2023-11-21 12:21

python爬虫的原理以及步骤-爬虫原理解析

本文将从何为爬虫、网页结构、python代码实现等方面逐步解析网络爬虫。1.何为爬虫如今互联网上存储着大量的信息。作为普通网民，我们常常使用浏览器来访问互联网上的内容。但若是想要批量下载散布在互联网上的某一方面的信息（如某网站的所有图片，某新闻网站的所有新闻，又或者豆瓣上所有电影的评分），人为的使用浏览器挨个打开网站搜查则过于费时费力。人为统计过于耗时耗力。因此，编写程序来自动抓取互联网上我们想要
weixin_37988176·2023-11-21 12:21

python程序运行原理_Python爬虫程序架构和运行流程原理解析

Python爬虫程序架构和运行流程原理解析1前言Python开发网络爬虫获取网页数据的基本流程为：发起请求通过URL向服务器发起request请求，请求可以包含额外的header信息。
weixin_39659748·2023-11-21 12:21

Python爬虫原理解析

笔者公众号：技术杂学铺笔者网站：mwhitelab.com本文将从何为爬虫、网页结构、python代码实现等方面逐步解析网络爬虫。1.何为爬虫如今互联网上存储着大量的信息。作为普通网民，我们常常使用浏览器来访问互联网上的内容。但若是想要批量下载散布在互联网上的某一方面的信息（如某网站的所有图片，某新闻网站的所有新闻，又或者豆瓣上所有电影的评分），人为的使用浏览器挨个打开网站搜查则过于费时费力。人为
M小白是小白·2023-11-21 12:50

万字长文：从 C# 入门学会 RabbitMQ 消息队列编程

目前社区上比较流行的消息队列有kafka、ActiveMQ、Pulsar、RabbitMQ、RabbitMQ等。笔者也编写了一系列的Kafka教程，欢迎阅读：Introduction·从C#入门Ka
快乐非自愿·2023-11-21 12:16

百度爬虫的工作原理解析

百度作为中国最大的搜索引擎，其工作原理备受关注。本文将深入探讨百度爬虫的工作原理，介绍其基本流程以及关键技术，帮助读者更好地理解搜索引擎背后的技术核心。百度爬虫是百度搜索引擎的重要基石，它们被广泛用于收集互联网上的网页信息。这些爬虫程序通过跟踪网页链接，不断地深入互联网的各个角落，尽可能地收集和索引互联网上的网页信息。在收集网页信息的过程中，百度爬虫会根据特定的规则和算法对网页进行评估和分类，以确
快乐非自愿·2023-11-21 12:42

别给我讲源码，告诉我Moshi是如何实现反序列化的！

序列化和反序列化的开源库大名鼎鼎的Gson大家肯定都知道，Moshi本质上就是干了和他一样的事(本文是建立在对Moshi使用有一些简单了解的基础上，如果还没有了解过Moshi，建议看下这篇文章新一代Json解析库Moshi使用及原理解析
半壶雪·2023-11-21 12:36

网约车系统的高并发设计与优化：使用消息队列kafka、以及PriorityQueue来处理下单进行派单以及优化建议

使用消息队列kafka来处理下单进行派单以及优化建议1、将订单信息发送到司机服务2、进行派单2.1、验证乘客信息2.2、计算预计费用2.3、派单给合适的司机3、优化建议和完整示例3.1、使用PriorityQueue
java编程：架构设计与企业真实项目案例·2023-11-21 11:25

win10系统kafka_2.12-3.1.0创建topic命令

win10系统kafka_2.12-3.1.0创建topic命令进入到kafka安装目录的\bin\windows下，执行命令kafka-topics.bat--create--bootstrap-serverlocalhost
随时看·2023-11-21 11:23

Java常用软件默认端口号

tomcat8080oracle1521zookeeper2181mysql3306rabbitMQ5672redis6379eureka8761nacos8848kafka9092es9200rocketMQ9876nginx80
Tripmonster·2023-11-21 09:52

Thingsboard 消息队列 kafka topic 设计

欢迎Star该github，长期更新IoT服务器设计的相关文章（后续该文章的优化修改只会该git）本文解释为什么Thingsboard微服务分布式下-设备控制的数据流-架构与可用性分析（有架构图）的图中，topic有"tb_rule_engine.main.3"，"tb_core.notification.tb-core-1"这两种的格式.3是指partition是3因为TB（Thingsboar
码届小王·2023-11-21 09:56

Unity Shader 法线贴图原理解析

法线贴图的作用是在平面上模拟凹凸效果，以达到节省模型资源的目的的。所以要理解法线原理，就要先理解人眼是如何识别凹凸效果的。这并不是什么复杂的科学知识，只要你还记得初中物理的基础光线反射原理就能理解接下来我们叙述的事情。我们可以模拟一个镜面反射的平面，或者你也可以理解为我们用了一个BLIN材质球，因为它能很好的反射光线，如下图：那么当我们为平面增加一个凸起结构时候，光线的反射发生了变化，如下图：我们
一零壹0·2023-11-21 07:52

Zookeeper实现分布式队列

常见的消息队列有:RabbitMQ，RocketMQ，Kafka等。Zookeeper作为一个分布式的小文件管理系统，同样能实现简单的队列功能。
jockerwu·2023-11-21 05:15

Linux：快速安装Kafka

开始安装1、opt目录下新建kafka目录，本地下载kafka（下载地址），通过winscp传输到/opt/kafka目录下并解压kafka压缩包tar-zxvfkafka_2.11-2.4.0.tgz2
--流星。·2023-11-21 05:09

Kafka 使用java实现，快速入门

一、kafka的生产者和消费者1.生产者发送消息的流程2.消费者接收消息的流程二、java代码实现1.添加依赖：org.apache.kafkakafka_2.122.实现生产者publicclassNormalProducer
Java知者·2023-11-21 05:28

快速使用 Kafka

目录快速使用Kafka步骤1：安装Kafka步骤2：创建一个主题（Topic）步骤3：生产者发送消息步骤4：消费者接收消息使用Go语言kafka客户端库-Sarama进行生产者和消费者的基本示例使用Sarama
小小小熊猫5·2023-11-21 05:26

丰富你的日志信息：从Python调用堆栈获取行号等信息

程序中的日志打印，或者消息上传，比如kafka消息等等。经常上传的消息中需要上传堆栈信息中的文件名、行号、上层调用者等具体用于定位的消息。Python提供了以下两种方法：sys.
职场亮哥·2023-11-21 03:04

Flink SQL 性能优化实战

首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。但是发现某些作业的追数过程十分缓慢，要运行一晚上甚至三四天才能追上最新数据。
坨坨的大数据·2023-11-21 02:54

Kafka—topic的查询和创建

记录常用的kafka常用的topic相关命令查看topic列表[root@shtest01~]#/usr/lib/kafka/bin/.
Hughman·2023-11-21 00:55

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看
都教授2000·2023-11-20 23:32

记一次面试

面试官：使用Kafka，如何保证消息的顺序性？我：设置partition为1，同一个partition肯定是能保证顺序的，多个partition就保证不了了。
陈宏斌9527·2023-11-20 23:34

对象分配规则

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-20 22:33

为什么使用消息队列？ 消息队列有什么优点和缺点？

Kafka、ActiveMQ、RabbitMQ、RocketMQ都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看：第一，你知不知道你们系统里为什么要用消息队列这个东西？
java神龙飞仙·2023-11-20 21:40

Kafka性能测试初探

相信大家对Kafka不会陌生，但首先还是要简单介绍一下。Kafka是一种高性能的分布式消息系统，由LinkedIn公司开发，用于处理海量的实时数据流。
潇潇说测试·2023-11-20 21:43

hive01--hive的安装及配置

如果hadoop没有安装的请参考：hadoop01--Hadoop伪分布式集群搭建_码到成龚的博客-CSDN博客hive不像hadoop，Kafka，zookeeper那样需要搭建集群，我们只需要在两个安装即可
码到成龚·2023-11-20 20:58

你在使用大数据技术的时候，你知道大数据语言的工具与框架吗？

Python，Spark，Kafka随着大数据和对人工智能AL/机器学习ML的推动，Scala和Python语言以及ApacheSpark中越来越受欢迎。对OLAP数据仓库的迁移，如果用Python
yoku酱·2023-11-20 19:25

python 有ide吗_python有什么ide吗

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？
Kingston Chang·2023-11-20 18:11

基于springcloud的简单易用的java分布式日志组件

一、项目简介基于springcloud的简单易用的java分布式日志组件二、实现功能支持基于traceId的日志记录支持日志查询支持日志缓冲队列redis或者kafka支持错误报警模块支持内容组合查询功能支持日志分应用统计条数功能支持扩展字段功能支持用做
程序员小美·2023-11-20 18:06

flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序zookeeper->kafka->flink->flink提交的job->flumekafka的快照保存时间的设置log.retention.hours
Nryana0·2023-11-20 18:38

二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流（附流程截图）

一、目的Flume采集Kafka的数据流需要实时监控，这时就需要用到监控工具Ganglia二、Ganglia简介Ganglia由gmond、gmetad和gweb三部分组成。
天地风雷水火山泽·2023-11-20 17:16

学了这篇 Zookeeper，分分钟钟写出分布式应用程序

实现自己的分布式应用程序，相信大家也都了解过zookeeper，比如我们使用的分布式框架——Dubbo，就是用zookeeper实现的注册中心，再比如Hadoop用它来实现集群中的高可用，当然，包括耳熟能详的Kafka
you的日常·2023-11-20 16:20

flink消费kafka细节

#flink消费kafka细节Apachekafkaconnector提供对Kafka服务的事件流的访问。Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。
ink时光·2023-11-20 16:24

Kafka再平衡机制详解

所谓的再平衡，指的是在kafkaconsumer所订阅的topic发生变化时发生的一种分区重分配机制。
wrr-cat·2023-11-20 15:41

KafKa快速入门

一、为什么使用消息队列1.使用同步的通信方式来解决多个服务之间的通信同步的通信方式会存在性能和稳定性的问题2.使用异步的通信方式针对于同步的通信方式来说，异步的方式，可以让上游快速成功，极大提高了系统的吞吐量，而且在分布式系统中，通过下游服务多个服务的分布式事务的保障，也能保障业务执行之后的最终一致性。二、什么是消息队列三、消息队列的流派目前消息队列中间件选型有很多种rabbitMQrocketM
weixin_45977450·2023-11-20 15:40
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他