E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka深度剖析
DelayQueue和时间轮
www.jianshu.com/p/e0bcc9eae0aehttps://blog.csdn.net/dkfajsldfsdfsd/article/details/88966814时间轮,基于槽的DelayQueue;
kafka
NazgulSun
·
2023-12-26 00:04
Kafka
日志文件存储
日志文件
kafka
在server.properties配置文件中通过log.dir属性指定了
Kafka
的日志存储路径核心文件1.log文件实际存储消息的日志文件,大小固定1G(参数log.segment.bytes
kk_0910
·
2023-12-25 23:09
kafka
阿里资深架构师整理春招最新面试题汇总:208页核心体系
、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、
Kafka
写代码的珏秒秒
·
2023-12-25 23:34
java
面试
开发语言
分布式
跳槽
rocketmq
Kafka
、RabbitMQ以及RocketMQ的调研对
我的心上人骑着七彩祥云会掉
·
2023-12-25 23:19
面试
RocketMQ 简单原理
但是,如今例如RocketMQ、
Kafka
这些优秀的消息中间件不仅仅是通过一个队列来实现消息存储的。队列模型就像我们理解队列一样,消息中间件的队列模型就真的只是一个队列(类似blockQueue?)
球磨川禊
·
2023-12-25 23:49
rocketmq
kafka
队列
分布式
中间件
消息队列
Kafka
生产环境问题总结与性能优化实践
Kafka
可视化管理工具
kafka
-manager安装及基本使用可参考:httos://wwwcnbloas.com/dadonaaa/o/8205302.html线上环境规划1.消息丢失情况:消
光芒软件工匠
·
2023-12-25 21:26
kafka
数据库
分布式
Kafka
、RocketMQ、RabbitMQ消息丢失可能存在的地方,以及解决方案
这里主要对比:
Kafka
、RocketMQ、RabbitMQ介绍一下消息生产、存储、消费三者的架构形式。
程序员中的吴彦祖
·
2023-12-25 17:30
kafka
rocketmq
rabbitmq
消息队列消息丢失
MQ丢失消息
mq
大白话带你认识
Kafka
前言
Kafka
是我在疫情期间在游戏之余学的。虽然之前用过ActiveMQ和RabbitMQ,但是在
Kafka
这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。
Guide哥
·
2023-12-25 14:25
SpringBoot整合
Kafka
现在大多数公司都是使用SpringBoot技术,所以使用SpringBoot整合
Kafka
是比较重要的。接下来我们就来使用SpringBoot整合
Kafka
。
萧 炎
·
2023-12-25 14:12
#
kafka
java
spring
boot
Kafka
设计原理详解
Kafka
核心总控制器(Controller)在
Kafka
集群中,通常会有一个或多个broker,其中一个会被选举为控制器(
Kafka
Controller),其主要职责是管理整个集群中所有分区和副本的状态
光芒软件工匠
·
2023-12-25 14:42
kafka
debian
分布式
Kafka
入门及可视化界面推荐
Kafka
官方文档:https://
kafka
.apache.org/documentation/
Kafka
中文文档-ApacheCN快速开始vimconfig/server.propertieslog.dirs
沉梦听雨.
·
2023-12-25 14:10
微服务生态
kafka
分布式
Kafka
生产问题总结及性能优化实践
Kafka
可视化管理工具
kafka
-manager安装及基本使用可参考:https://www.cnblogs.com/dadonggg/p/8205302.html
Kafka
可视化管理工具kafdorp
Memory_2020
·
2023-12-25 12:26
kafka
性能优化
分布式
Kafka
操作指令笔记
/
kafka
-consumer-groups.sh--bootstrap-server{
kafka
集群地址}--describe--group{消费组名称}bin/
kafka
-consumer-groups.sh
是二狗诶
·
2023-12-25 12:22
linux
笔记
kafka
笔记
flink 读取
kafka
数据写入mysql
创建flink环境:StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);EnvironmentSettingsbuild=EnvironmentSettings.newInstance().useBlinkPlanner().inStream
赤土 炙焱
·
2023-12-25 12:20
flink
kafka
mysql
Python编程-万字长文
深度剖析
迭代器与生成器+迭代底层代码审计
Python编程-
深度剖析
迭代器与生成器+迭代底层代码审计感谢前面大佬的学习成果,本文基于python3.11.6如果你的验证出错,那有可能是版本问题或者我debug后忘记修改代码参考资料:https:
半只野指针
·
2023-12-25 11:15
python
开发语言
Kafka
下沉到HDFS报错
错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64)-Serializer=TEXT,UseRawLocalFileSystem=false24十二月202312:38
Stephen6Yang
·
2023-12-25 07:12
hadoop
kafka
hdfs
Kafka
高效读数据
https://blog.csdn.net/qq_33342248/article/details/107901838
不可一世的绵羊
·
2023-12-25 07:07
安装Hadoop 3.3.5
Hadoop架构设计论述
kafka
依赖Zookeeper管理自身集群(Broker、Offset、Producer、Consumer等),所以先要安装Zookeeper。
IT WorryFree
·
2023-12-25 06:03
hadoop
大数据
分布式
6.Redis发布订阅(Redis Pub/Sub)
6.Redis发布订阅(RedisPub/Sub)专业的事情你就交给专业的人做,MQ、RabbitMQ、
Kafka
人就是专门做消息队列的,Redis还来掺乎一脚。是什么?
凇:)
·
2023-12-25 06:11
Redis
java
redis
【Flink】 Flink实时读取mysql数据
准备你需要将这两个依赖添加到pom.xml中mysqlmysql-connector-java8.0.0读取
kafka
数据这里我依旧用的以前的student类,自己本地起了
kafka
然后造一些测试数据,
奔向理想的星辰大海
·
2023-12-25 05:58
大数据
云原生
flink
mysql
linq
Linux虚拟机、JDK、zookeeper、
Kafka
的安装
我注意到zookeeper和
kafka
的视频教程总是跳过了环境配置这个地方,自己去安装虚拟机遇上一些坑,浪费很多时间,因此写一篇从虚拟机安装-jdk安装-zk安装-kfk安装的流程化教程。
PuppyCoding
·
2023-12-25 04:26
Java
java
zookeeper
kafka
[Suricata]结果写入
kafka
目前是公司正在搞得项目,所以只说思路,具体代码就不贴了修改配置中的写出类型suricata.yaml配置中,修改eve.json的filetype为
kafka
,并在下面新增几个配置传入
kafka
的broker
LzSkyline
·
2023-12-25 03:41
kafka
-安装与简单使用-01
一、基础概念
Kafka
是什么
Kafka
是一个分布式流数据系统,使用Zookeeper进行集群的管理。
伍六七_ba5e
·
2023-12-25 02:27
【Linux系统基础】(2)在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、
Kafka
、NoSQL等各类软件
实战章节:在Linux上部署各类软件前言为什么学习各类软件在Linux上的部署在前面,我们学习了许多的Linux命令和高级技巧,这些知识点比较零散,同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用,但是并没有一些具体的实操能够串联起来这些知识点。所以,现在我们设计了各类软件在Linux上部署安装的实战章节,可以让同学们:对前面学习的各类操作命令进行复习和练习,从而深度掌握它们本章
老牛源码
·
2023-12-25 01:38
Linux教程
linux
运维
服务器
Spring Cache --- @Cacheable/@CachePut/@CacheEvict注解的原理
深度剖析
和使用【享学Spring】
前言上篇文章介绍了@EnableCaching,用它来开启Spring对缓存注解的支持。本篇文章将继续分析SpringCache,并且讲解的是我们最为关心的:缓存注解实操方面的原理支持和使用。开发过程中因注解的优雅、使用简单使得这种方式广泛被大家所接受和使用,本文将按照先原理,再实操的步骤,一步步解惑Spring缓存注解的原理缓存注解关于Spring的缓存注解,一共有如下5个:@Cacheable
yichen_china
·
2023-12-25 00:49
【微服务】springboot整合
kafka
-stream使用详解
目录一、前言二、
kafka
stream概述2.1什么是
kafka
stream2.2为什么需要
kafka
stream2.2.1对接成本低2.2.2节省资源2.2.3使用简单2.3
kafka
stream特点
小码农叔叔
·
2023-12-24 21:04
分布式技术
技术总结
架构技术栈
kafka
stream使用
kafka
stream
kafka
stream详解
Kafka
单节点安装部署
本文主要是基于
Kafka
最新版
kafka
_2.12-2.8.0进行配置,这里ZooKeeper服务器的搭建主要是用
kafka
内置的ZooKeeper便捷脚本来快速简单地创建一个单节点ZooKeeper实例
程序员储物箱
·
2023-12-24 19:28
安装教程
kafka
big
data
Start
kafka
connect
启动
kafka
broker先下载从官网下载
kafka
console包,wget"https://archive.apache.org/dist/
kafka
/0.11.0.1/
kafka
_2.12-0.11.0.1
yehongyu_2018
·
2023-12-24 17:50
docker-compose搭建
kafka
单机集群环境
1.配置网络(复用已有网络)1.1创建docker虚拟网络#创建一个名为clickhouse的桥接(bridge)虚拟网络,网关172.26.0.1,网段为172.25.0.0dockernetworkcreate-dbridge--subnet=172.26.0.0/16--gateway=172.26.0.1clickhouse2.启停命令在docker-compose.yml路径下:构建开启
销毁first
·
2023-12-24 12:05
k8s日志收集方案及实战
kibana安装配置2.1kibana安装2.2kibana配置2.3启动kibana3、zookeeper安装配置3.1zookeeper安装3.2启动zookeeper3.3检查zookeeper状态4、
kafka
唐僧骑白马
·
2023-12-24 11:03
elk
k8s
kubernetes
elasticsearch
elk
kubernetes集群 应用实践
kafka
部署
kubernetes集群应用实践
kafka
部署零.1、环境说明零.2、
kafka
架构说明zookeeper在
kafka
集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总
·
2023-12-24 11:58
kubernetes
kafka
容器
《PySpark大数据分析实战》-04.了解Spark
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-06.安装环境准备
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-02.了解Hadoop
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:02
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《PySpark大数据分析实战》-01.关于数据
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《PySpark大数据分析实战》-18.什么是数据分析
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
微服务之配置中心与服务跟踪
配置中心数据分类事件调度(
kafka
)消息服务和事件的统一调度,常用用
kafka
,activemq等。
武昌库里写JAVA
·
2023-12-24 09:02
高手面试
微服务
架构
云原生
京东PLUS会员权益全解析,如何最便宜开通?
本文将
深度剖析
新的PLUS会员权益,带你了解其中的重点,并分享开通PLUS会员最便宜的方法。我们在开始讲今天的文章之前,小编想和大家分享我正在使用的副业兼职工具---高省,官方邀请码140326。
高省APP
·
2023-12-24 09:17
ELK分析k8s应用日志
ELK分析k8s应用日志日志收集过程架构安装elasticsearch-6.8.6安装
kafka
kafka
-manager安装安装filebeat在spinnaker中配置日志收集容器filebeat部署
岳大博
·
2023-12-24 09:48
集群服务
elk
k8s
【Flink】Flink-
Kafka
序列化反序列化
SimpleStringSchema,对字符串进行序列化反序列化,这个Schema中既实现了了序列化,也实现了反序列化newSimpleStringSchema()union.addSink(newFlink
Kafka
Producer011
一杯咖啡半杯糖
·
2023-12-24 08:52
Flink实战
flink
Flink消費
kafka
数据的反序列化方式
Flink消費
kafka
数据的反序列化方式Flink反序列化顶层接口1.DeserializationSchema接口2.
Kafka
DeserializationSchema接口接收
kafka
数据时常用的反序列化类
闻风-堡
·
2023-12-24 08:52
flink
flink
kafka
Flink实时计算运用(七)Flink 自定义序列化Protobuf接入实现方案
功能:
kafka
对同一Topic的生产与消费,采用Protobuf做序列化与反序列化传输,验证能否正常解析数据。
麦神-mirson
·
2023-12-24 08:49
架构设计
大数据
flink
kafka
java
记flink消费
kafka
数据序列化失败
报错如下Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147)atorg.apache.
lbl251
·
2023-12-24 08:49
kafka
flink
scala
【
Kafka
集群架构设计原理】
文章目录一、
Kafka
的Zookeeper元数据梳理一、
Kafka
的Zookeeper元数据梳理1、zookeeper整体数据
Kafka
将状态信息保存在Zookeeper中,这些状态信息记录了每个
Kafka
向前再向前
·
2023-12-24 07:35
kafka
kafka
入门详解
Kafka
Kafka
核心概念什么是
Kafka
Kafka
是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
janlle
·
2023-12-24 06:23
Kafka
日志
位置server.properties配置文件中通过log.dir指定日志存储目录log.dir/{topic}-{partition}核心文件.log存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。.index以偏移量为索引来记录对应的.log日志文件中的消息偏移量.timeindex以时间戳为索引来记录对应的.log日志文件中的消息偏移
小淘淘喵的主人
·
2023-12-24 06:46
java
【
kafka
】在linux中安装并简单部署使用
文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台:发布订阅消息队列、具有存储功能、一个流处理框架优势吞吐量好,性能好伸缩性好,支持在线扩展容错性和可靠性(容错性:一个消息存储三份)与大数据生态紧密结合,可无缝对接hadoop、s
古枫桐
·
2023-12-24 05:35
linux
kafka
linux
2021-08-24
《血的觉醒》第八讲复盘:1.合作是最好的竞争方式昨天恒洋老师为我们
深度剖析
了合作思维,个人,企业,国家,想要更好更强,都要用合作思维去竞争,合作思维是给予,是给别人,竞争思维是抢,是为自己,两者出发点是一样的
美业实干家老马
·
2023-12-24 04:49
环境的影响有多大?路西法效应:好人是如何变成恶魔的。
菲利普·津巴多教授在《路西法效应》中详细讲述该实验过程,并结合当时监狱虐囚等的社会现象,在书中
深度剖析
了
流萤如星
·
2023-12-24 03:33
上一页
33
34
35
36
37
38
39
40
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他