Kafka深度剖析

在 idea 中以 yarn-client 远程提交 Spark 作业

示例代码RemoteSubmitApp主类packagecom.clouderaimportorg.apache.kafka.clients.consumer.ConsumerConfigimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.log4j.Loggerimportorg.apach
lei_charles·2023-12-17 13:41

【算法Hot100系列】最长回文子串

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-17 12:26

Kafka-Kafka核心参数详解

Kafka的HighLevelAPI使用是非常简单的，所以梳理模型时也要尽量简单化，主线清晰，细节慢慢扩展。Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。
长情知热爱·2023-12-17 11:54

恢复Django 项目

你可以使用以下命令来检查pip是否已安装2.2安装Packages2.2.1安装Django2.2.2安装pymysql2.2.3安装kafka2.2.4安装requests2.2.5安装simplepro2.2.6
芝麻馅汤圆儿·2023-12-17 11:51

kafka学习笔记--节点的服役与退役

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个
向着百万年薪努力的小赵·2023-12-17 10:25

kafka3.0创建topic出现zookeeper is not a recognized option

在linux云服务器上搭建了一套kafka3.0集群，然后安装以前的创建topic指令，例如这样——.
朱季谦·2023-12-17 09:58

电商数仓项目----笔记三(用户行为数据同步)

在前面的笔记一和笔记二中，我们已经分别将用户行为数据和业务数据采集到kafka中了：在实时数仓中，由于Flink会从kafka中读取数据，也无需我们再同步数据了，因此同步数据是我们离线数仓的事。
zmx_messi·2023-12-17 08:43

服务总线SpringCloudBus

SpringCloudBus可选的消息代理有RabbitMQ和Kafka。2集成SpringClou
黄晶谛·2023-12-17 08:21

Kafka Avro序列化之三：使用Schema Register实现

为什么需要SchemaRegister注册表无论是使用传统的AvroAPI自定义序列化类和反序列化类还是使用Twitter的Bijection类库实现Avro的序列化与反序列化，这两种方法都有一个缺点：在每条Kafka
跟着大数据和AI去旅行·2023-12-17 06:46

消息队列(MQ)

对于MQ来说，不管是RocketMQ、Kafka还是其他消息队列，它们的本质都是：一发一存一消费。下面我们以这个本质作为根，一起由浅入深地聊聊MQ。
荒~·2023-12-17 06:11

Bifrost 中间件 X-Requested-With 系统身份认证绕过漏洞复现

0x01产品简介Bifrost是一款面向生产环境的MySQL，MariaDB，kafka同步到Redis，MongoDB，ClickHouse等服务的异构中间件0x02漏洞概述Bifrost中间件X-Requested-With
OidBoy_G·2023-12-17 06:02

【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka

【Flink-cdc-Mysql-To-Kafka】使用Flinksql利用集成的connector实现Mysql数据写入Kafka1）环境准备2）准备相关jar包3）实现场景4）准备工作4.1.Mysql4.2
bmyyyyyy·2023-12-17 05:04

【Flink-Sql-Kafka-To-ClickHouse】使用 FlinkSql 将 Kafka 数据写入 ClickHouse

【Flink-Sql-Kafka-To-ClickHouse】使用FlinkSql将Kafka数据写入ClickHouse1）需求分析2）功能实现3）准备工作3.1.Kafka3.2.ClickHouse4
bmyyyyyy·2023-12-17 05:57

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

阿里云centos8.1 Docker+Kafka安装使用

环境&软件包阿里云centos8.1dockerzookeeperkafka安装zookeeperkafka依赖zookeeper，通过zookeeper管理broker，需先安装zookeeper#拉取镜像
artCoding·2023-12-17 05:23

容器架构深度剖析：从部署到微服务的实战指南

目录1.IaasPaasSaas(了解)2.什么是dcoker3.Docker的网络模式有那些4.Docker极速上手指南1）配置docker源（用于安装docker）2）docker下载镜像加速的配置3）自动补全4）载入镜像大礼包5.Docker的镜像管理⭐1）下载nginx：alpine镜像并查看2）sl大法3）删除镜像4）镜像清理用的命令prune清除无效的镜像5）给镜像设置标签6）查看镜像
小孟多·2023-12-17 04:49

把所有Java知识操作都写出来了-Github上收获45K+star的阿里P8整理的新版手抄本

该文档在Github上收获45K+star的Java核心神技（这参数，质量多高就不用我多说了吧）非常全面，包含基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty与RPC、Kafka
构架师鱼鱼·2023-12-17 03:32

dcoker-compose一键部署EFAK —— 筑梦之路

简介EFAK（EagleForApacheKafka，以前称为KafkaEagle）是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存
筑梦之路·2023-12-17 03:40

Python分支结构深度剖析

我的博客文章首发于公众号：小肖学数据分析Python中的分支结构通过if语句实现。本文将深入探讨Python中的分支结构，包括它们的应用场景、条件表达式、缩进规则，以及如何利用流程图设计清晰的逻辑流程。分支结构的应用场景在Python程序中，分支结构广泛应用于：条件判断-根据不同的条件执行相应的代码段。数据验证-校验输入的数据是否符合预期条件。控制程序流程-根据程序的当前状态决定其后续的执行步骤。
小肖学数据分析·2023-12-17 01:32

消息队列zookeeper集群+kafka

消息队列zookeeper集群+kafkakafka3.0之前依赖于zookpeeperzookeeper开源分布式架构，提供协调服务（Apache项目）基于观察者模式设计的分布式服务管理架构存储和管理数据
m0_52416577·2023-12-17 01:24

Flink 有状态流式处理

传统批次处理方法【1】持续收取数据（kafka等），以window时间作为划分，划分一个一个的批次档案（按照时间或者大小等）；【2】周期性执行批次运算（Spark/Stom等）；传统批次处理方法存在的问题
程序猿进阶·2023-12-17 00:30

TDengine Kafka Connector将 Kafka 中指定 topic 的数据（批量或实时）同步到 TDengine

教程放在这里：TDengineJavaConnector，官方文档已经写的很清晰了，不再赘述。这里记录一下踩坑：1.报错java.lang.UnsatisfiedLinkError:notaosinjava.library.pathatjava.lang.ClassLoader.loadLibrary(ClassLoader.java:1860)atjava.lang.Runtime.loadLi
谢小鱼·2023-12-16 23:56

Kafka的安装介绍

1.准备工作准备三台服务器kafka1:192.168.36.242kafka2:192.168.36.243kafka3:192.168.36.244三台服务器关闭防火墙和selinuxsystemctlstopfirewalld
一个小宏混·2023-12-16 23:59

Kafka中的fetch-min-size、fetch-max-wait和request.timeout.ms配置

当前kafka的版本为2.8.11，SpringBoot的版本为2.7.6，在pom.xml中引入下述依赖：org.springframework.kafkaspring-kafka2.8.11然后在yml
y_bccl27·2023-12-16 21:12

Kafka中的enable-auto-commit和auto-commit-interval配置

当前kafka的版本为2.8.11，SpringBoot的版本为2.7.6，在pom.xml中引入下述依赖：org.springframework.kafkaspring-kafka2.8.11提前说明
y_bccl27·2023-12-16 21:36

深度剖析:中央银行数字货币VS全球流通的加密货币

随着大众对现金的依存度越来越低，中央银行发行的法币所谓是夹缝中生存。不少国家政府因为担心加密货币流通的影响，都在考虑是否需要建立一个中央银行数字货币(CBDC)。因为央行意识到加密货币会对政策制定带来经济风险，所以关于中央银行数字货币利弊的争论日渐成为决策者和投资者的议事日程，目的是为了加强了政府对私人区块链和公共区块链加密货币的监管。主流媒体没有界定央行数字货币这个概念，因此经常将央行数字货币和
LUBANSO·2023-12-16 20:43

Kafka Avro序列化之二：使用Twitter的Bijection 类库实现

KafkaAvro序列化之一：使用自定义序列化比较麻烦，需要根据schema生成实体类，需要调用avro的API实现对象到byte[]的序列化和byte[]到对象的反序列化转化，而那些方法看上去比较繁琐
跟着大数据和AI去旅行·2023-12-16 20:34

Kafka内容分享(四)：Kafka 架构和幂等性与事务

目录一、架构1.1、Kafka重要概念1.1.1、broker1.1.2、zookeeper1.1.3、producer（生产者）1.1.4、consumer（消费者）1.1.5、consumergroup
之乎者也··2023-12-16 18:44

【星环云课堂大数据实验】kafka消息发布与订阅

文章目录一、Kafka概述二、实验环境三、实验准备四、实验目的五、实验步骤5.1、创建KafkaTopic5.2、Kafka消息发布5.3、Kafka消息订阅六、实验感悟一、Kafka概述Kafka是由
生生不息~·2023-12-16 17:12

Kafka学习（二）-------- 什么是Kafka

通过Kafka的快速入门https://www.cnblogs.com/tree1123/p/11150927.html能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？
大数据流动·2023-12-16 17:17

Java面试题及答案整理（ 2022 年 2 月最新版，持续更新）

Java工程师面试题包括了：MyBatis、ZK、Dubbo、EL、Redis、MySQL、并发编程、Java面试、Spring、微服务、Linux、Springboot、SpringCloud、MQ、Kafka
大老高程序员·2023-12-16 17:01

SpringCloudStream实战拆解以及3.1后新版本特性分析

2.2:一秒切换对接kafka2.3：一秒切换对接RocketMQ三、详解SCS三神器3.1Binder3.2Binding3.3Message四、SCS提供的高级功能4.1消息分组消费机制4.2个性化使用五
roykingw·2023-12-16 17:20

消息通知泛型版

最近在做一个项目，项目内部需要使用消息通知系统，由于只是单机内部消息通知，使用类似kafka这样的消息队列就太重量级了。所以设计了一个简单的消息通知功能。
天地一蜉蝣_6e86·2023-12-16 15:18

消息队列kafka详解：Kafka架构介绍

一.工作流程Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。
码农小旋风·2023-12-16 14:20

Kafka Avro序列化之一：使用自定义序列化

定义Schema通过ApacheAvro编程快速入门，我们定义了User实体类。user.avsc{"namespace":"org.example.avro","type":"record","name"
跟着大数据和AI去旅行·2023-12-16 14:50

本地 idea 连接操作服务器上的 kafka，配置内外网映射

主要就是内外网映射的配置在Kafka的安装目录中的config/server.properties文件中注释掉原来的advertised.listeners和listeners添加以下内容，将下面内容中的
超爱慢·2023-12-16 14:18

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

KafKa基本原理

分布式，分区，多副本，zk协调的分布式消息系统使用日志收集消息系统用户活动跟踪运营指标概念Brokertopicproducerconsumerconsumergrouppartition通信基于tcp协议很多集群信息记录在zk里保证自己的无状态，方便水平扩容leader处理partition的读写请求，followers被动复制leader,不提供读写保证多副本与消费一致性一个partition
小淘淘喵的主人·2023-12-16 13:59

kafka配置多个消费者groupid kafka多个消费者消费同一个partition（java）

目录1-单播模式，只有一个消费者组2-广播模式，多个消费者组3-Java实践kafka是由Apache软件基金会开发的一个开源流处理平台。
KG大数据·2023-12-16 13:56

kafka常用命令

/bin/kafka-console-producer.sh--broker-listdn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667
wind_103·2023-12-16 12:23

扫盲Kafka？看这一篇就够了！ | 京东云技术团队

kafka的使用场景为什么要使用Kafka消息队列？解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。
京东云技术团队·2023-12-16 11:02

Logstash输入Kafka输出Es配置

Logstash介绍Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶
有梦想的攻城狮·2023-12-16 11:24

【Kafka】Kafka 实现 Exactly-once

本篇结构：Kafka三种语义Kafka故障保证Exactly-once参考博客一、Kafka三种语义在分布式系统中，构成系统的任何节点都是被定义为可以彼此独立失败的。
w1992wishes·2023-12-16 10:59

统一日志管理方案：Spring项目logback日志与logstash和Elasticsearch整合

原创/朱季谦最近在做一个将分布式系统的日志数据通过logstash传到kafka的功能，做完之后决定业余搭一个ELK日志分析系统，将logstash采集到的日志传给Elasticsearch。
朱季谦·2023-12-16 10:06

深入理解Dubbo-7.服务消费调用源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:33

深入理解Dubbo-8.Dubbo的失败重试设计

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-16 09:33
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他