E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息中间件
Linux——Redis入门
1.Redis的基本概念Redis是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和
消息中间件
。
Sweep-
·
2023-12-26 11:20
redis
数据库
java
Kafka
到底会不会丢消息
目录1、
kafka
是什么一种高吞吐量的分布式、发布订阅消息系统,它可以处理消费者规模的,网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力……以时间复杂度为O(1)的方式提供消息持久化能力
_心碎乌托邦_
·
2023-12-26 11:47
kafka
面试
1
kafka
可以脱离zookeeper单独使用吗?为什么?
Kafka
从版本0.10.1.0开始支持在某些场景下脱离对Zookeeper的依赖,引入了基于Raft协议的
Kafka
Controller。
shumeigang
·
2023-12-26 10:58
kafka
kafka
面试
分布式
RocketMQ从入门到精通
1.MQ概述1.1RocketMQ简介RocketMQ是阿里开源的分布式
消息中间件
,跟其它中间件相比,RocketMQ的特点是纯JAVA实现,是一套提供了消息生产,存储,消费全过程API的软件系统。
代码敲上天.
·
2023-12-26 09:19
MQ
rocketmq
【Flink-
Kafka
-To-
Kafka
】使用 Flink 实现
Kafka
数据写入
Kafka
【Flink-
Kafka
-To-
Kafka
】使用Flink实现
Kafka
数据写入
Kafka
1)导入依赖2)代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy
·
2023-12-26 07:59
Flink
flink
kafka
#kafka2kafka
Flink电商实时数仓(六)
交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入
Kafka
支付成功主题执行步骤设置
十七✧ᐦ̤
·
2023-12-26 07:25
flink
数据库
java
Windows下安装单机
Kafka
环境及配置SASL身份认证
0安装JDKzookeeper和
kafka
都是java开发的,所以安装前先安装1.8版本以上的jdk,并设置环境变量JAVA_HOME=d:\env\Java\jdk1.8.0_141安装Zookeeper1.1ApacheZooKeeper
qq_34324703
·
2023-12-26 05:18
java
kafka
zookeeper
【
Kafka
】
Kafka
客户端认证失败:Cluster authorization failed.
背景
kafka
客户端是公司内部基于spring-
kafka
封装的spring-boot版本:3.xspring-
kafka
版本:2.1.11.RELEASE集群认证方式:SASL_PLAINTEXT/SCRAM-SHA
喝不完一杯咖啡
·
2023-12-26 03:24
Kafka
kafka
分布式
SASL认证
spring-kafka
Kafka
基础—4、
Kafka
Streams &
Kafka
Connect
Kafka
知识库-索引目录一、
Kafka
Streams1、
Kafka
Streams简介
Kafka
Streams是Apache
Kafka
提供的一个用于处理实时数据流的库。
风不归Alkaid
·
2023-12-26 02:29
Kafka
kafka
分布式
Kafka
Log4jAppender
Kafka
Log4jAppender是Log4j的一个扩展,它可以将日志信息发送到Apache
Kafka
。
cong_han
·
2023-12-26 02:11
大数据
kafka
log4j
DelayQueue和时间轮
www.jianshu.com/p/e0bcc9eae0aehttps://blog.csdn.net/dkfajsldfsdfsd/article/details/88966814时间轮,基于槽的DelayQueue;
kafka
NazgulSun
·
2023-12-26 00:04
Kafka
日志文件存储
日志文件
kafka
在server.properties配置文件中通过log.dir属性指定了
Kafka
的日志存储路径核心文件1.log文件实际存储消息的日志文件,大小固定1G(参数log.segment.bytes
kk_0910
·
2023-12-25 23:09
kafka
阿里资深架构师整理春招最新面试题汇总:208页核心体系
、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、
Kafka
写代码的珏秒秒
·
2023-12-25 23:34
java
面试
开发语言
分布式
跳槽
RocketMQ之消费者启动与消费流程
vivo互联网服务器团队-LiKui一、简介1.1RocketMQ简介RocketMQ是由阿里巴巴开源的分布式
消息中间件
,支持顺序消息、定时消息、自定义过滤器、负载均衡、pull/push消息等功能。
vivo互联网技术
·
2023-12-25 23:23
技术干货
java-rocketmq
rocketmq
java
[RocketMQ]
消息中间件
—RocketMQ消息消费(一)
2019独角兽企业重金招聘Python工程师标准>>>文章摘要:在发送消息给RocketMQ后,消费者需要消费。消息的消费比发送要复杂一些,那么RocketMQ是如何来做的呢?在RocketMQ系列文章的前面几篇幅中已经对其“RPC通信部分”和“普通消息发送”两部分进行了详细的阐述,本文将主要从消息消费为切入点简要地介绍下“RocketMQ中Pull和Push的两种消费方式”、“RocketMQ中
weixin_34209851
·
2023-12-25 23:23
python
rocketmq
作用描述解耦系统耦合度降低,没有强依赖关系异步不需要同步执行的远程调用可以有效提高响应时间削峰请求达到峰值后,后端service还可以保持固定消费速率消费,不会被压垮你们为什么选RocketMQ作为公司系统的
消息中间件
我的心上人骑着七彩祥云会掉
·
2023-12-25 23:19
面试
RocketMQ入门介绍
简介用官方的话来说,RcoketMQ是一款低延迟、高可靠、可伸缩、易于使用的
消息中间件
,具有以下特性(ps:对于这些特性描述,大家简单过一眼就即可,深入学习之后自然就明白了):支持发布/订阅(Pub/Sub
qq_37869965
·
2023-12-25 23:19
消息队列
消息队列
RocketMQ 简单原理
早期的
消息中间件
是通过队列这一模型来实现的,可能是历史原因,我们都习惯把
消息中间件
成为消息队列。但是,如今例如RocketMQ、
Kafka
这些优秀的
消息中间件
不仅仅是通过一个队列来实现消息存储的。
球磨川禊
·
2023-12-25 23:49
rocketmq
kafka
队列
分布式
中间件
消息队列
Kafka
生产环境问题总结与性能优化实践
Kafka
可视化管理工具
kafka
-manager安装及基本使用可参考:httos://wwwcnbloas.com/dadonaaa/o/8205302.html线上环境规划1.消息丢失情况:消
光芒软件工匠
·
2023-12-25 21:26
kafka
数据库
分布式
Kafka
、RocketMQ、RabbitMQ消息丢失可能存在的地方,以及解决方案
这里主要对比:
Kafka
、RocketMQ、RabbitMQ介绍一下消息生产、存储、消费三者的架构形式。
程序员中的吴彦祖
·
2023-12-25 17:30
kafka
rocketmq
rabbitmq
消息队列消息丢失
MQ丢失消息
mq
大白话带你认识
Kafka
前言
Kafka
是我在疫情期间在游戏之余学的。虽然之前用过ActiveMQ和RabbitMQ,但是在
Kafka
这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。
Guide哥
·
2023-12-25 14:25
SpringBoot整合
Kafka
现在大多数公司都是使用SpringBoot技术,所以使用SpringBoot整合
Kafka
是比较重要的。接下来我们就来使用SpringBoot整合
Kafka
。
萧 炎
·
2023-12-25 14:12
#
kafka
java
spring
boot
Kafka
设计原理详解
Kafka
核心总控制器(Controller)在
Kafka
集群中,通常会有一个或多个broker,其中一个会被选举为控制器(
Kafka
Controller),其主要职责是管理整个集群中所有分区和副本的状态
光芒软件工匠
·
2023-12-25 14:42
kafka
debian
分布式
Kafka
入门及可视化界面推荐
Kafka
官方文档:https://
kafka
.apache.org/documentation/
Kafka
中文文档-ApacheCN快速开始vimconfig/server.propertieslog.dirs
沉梦听雨.
·
2023-12-25 14:10
微服务生态
kafka
分布式
Kafka
生产问题总结及性能优化实践
Kafka
可视化管理工具
kafka
-manager安装及基本使用可参考:https://www.cnblogs.com/dadonggg/p/8205302.html
Kafka
可视化管理工具kafdorp
Memory_2020
·
2023-12-25 12:26
kafka
性能优化
分布式
Kafka
操作指令笔记
/
kafka
-consumer-groups.sh--bootstrap-server{
kafka
集群地址}--describe--group{消费组名称}bin/
kafka
-consumer-groups.sh
是二狗诶
·
2023-12-25 12:22
linux
笔记
kafka
笔记
flink 读取
kafka
数据写入mysql
创建flink环境:StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);EnvironmentSettingsbuild=EnvironmentSettings.newInstance().useBlinkPlanner().inStream
赤土 炙焱
·
2023-12-25 12:20
flink
kafka
mysql
Kafka
下沉到HDFS报错
错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64)-Serializer=TEXT,UseRawLocalFileSystem=false24十二月202312:38
Stephen6Yang
·
2023-12-25 07:12
hadoop
kafka
hdfs
Kafka
高效读数据
https://blog.csdn.net/qq_33342248/article/details/107901838
不可一世的绵羊
·
2023-12-25 07:07
安装Hadoop 3.3.5
Hadoop架构设计论述
kafka
依赖Zookeeper管理自身集群(Broker、Offset、Producer、Consumer等),所以先要安装Zookeeper。
IT WorryFree
·
2023-12-25 06:03
hadoop
大数据
分布式
6.Redis发布订阅(Redis Pub/Sub)
6.Redis发布订阅(RedisPub/Sub)专业的事情你就交给专业的人做,MQ、RabbitMQ、
Kafka
人就是专门做消息队列的,Redis还来掺乎一脚。是什么?
凇:)
·
2023-12-25 06:11
Redis
java
redis
【Flink】 Flink实时读取mysql数据
准备你需要将这两个依赖添加到pom.xml中mysqlmysql-connector-java8.0.0读取
kafka
数据这里我依旧用的以前的student类,自己本地起了
kafka
然后造一些测试数据,
奔向理想的星辰大海
·
2023-12-25 05:58
大数据
云原生
flink
mysql
linq
Linux虚拟机、JDK、zookeeper、
Kafka
的安装
我注意到zookeeper和
kafka
的视频教程总是跳过了环境配置这个地方,自己去安装虚拟机遇上一些坑,浪费很多时间,因此写一篇从虚拟机安装-jdk安装-zk安装-kfk安装的流程化教程。
PuppyCoding
·
2023-12-25 04:26
Java
java
zookeeper
kafka
[Suricata]结果写入
kafka
目前是公司正在搞得项目,所以只说思路,具体代码就不贴了修改配置中的写出类型suricata.yaml配置中,修改eve.json的filetype为
kafka
,并在下面新增几个配置传入
kafka
的broker
LzSkyline
·
2023-12-25 03:41
kafka
-安装与简单使用-01
一、基础概念
Kafka
是什么
Kafka
是一个分布式流数据系统,使用Zookeeper进行集群的管理。
伍六七_ba5e
·
2023-12-25 02:27
【Linux系统基础】(2)在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、
Kafka
、NoSQL等各类软件
实战章节:在Linux上部署各类软件前言为什么学习各类软件在Linux上的部署在前面,我们学习了许多的Linux命令和高级技巧,这些知识点比较零散,同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用,但是并没有一些具体的实操能够串联起来这些知识点。所以,现在我们设计了各类软件在Linux上部署安装的实战章节,可以让同学们:对前面学习的各类操作命令进行复习和练习,从而深度掌握它们本章
老牛源码
·
2023-12-25 01:38
Linux教程
linux
运维
服务器
【微服务】springboot整合
kafka
-stream使用详解
目录一、前言二、
kafka
stream概述2.1什么是
kafka
stream2.2为什么需要
kafka
stream2.2.1对接成本低2.2.2节省资源2.2.3使用简单2.3
kafka
stream特点
小码农叔叔
·
2023-12-24 21:04
分布式技术
技术总结
架构技术栈
kafka
stream使用
kafka
stream
kafka
stream详解
Kafka
单节点安装部署
本文主要是基于
Kafka
最新版
kafka
_2.12-2.8.0进行配置,这里ZooKeeper服务器的搭建主要是用
kafka
内置的ZooKeeper便捷脚本来快速简单地创建一个单节点ZooKeeper实例
程序员储物箱
·
2023-12-24 19:28
安装教程
kafka
big
data
Start
kafka
connect
启动
kafka
broker先下载从官网下载
kafka
console包,wget"https://archive.apache.org/dist/
kafka
/0.11.0.1/
kafka
_2.12-0.11.0.1
yehongyu_2018
·
2023-12-24 17:50
Redis和RabbitMQ消息队列的区别
一、RabbitMQRabbitMQ是实现AMQP(高级消息队列协议)的
消息中间件
的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
charmingcheng
·
2023-12-24 17:19
面试官:Zabbix 和 Prometheus 要怎么选?
每天10:33更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析
消息中间件
RocketMQ
公众号-芋道源码
·
2023-12-24 14:44
数据库
中间件
分布式
java
大数据
【C#与Redis】--Redis 数据结构
一、Redis数据结构简介Redis(RemoteDictionaryServer)是一个开源的内存数据存储系统,可以用作数据库、缓存和
消息中间件
。它支持多种数据结构,使其在不同场景下都能发挥作用。
喵叔哟
·
2023-12-24 12:32
C#
与
Redis
c#
redis
数据结构
docker-compose搭建
kafka
单机集群环境
1.配置网络(复用已有网络)1.1创建docker虚拟网络#创建一个名为clickhouse的桥接(bridge)虚拟网络,网关172.26.0.1,网段为172.25.0.0dockernetworkcreate-dbridge--subnet=172.26.0.0/16--gateway=172.26.0.1clickhouse2.启停命令在docker-compose.yml路径下:构建开启
销毁first
·
2023-12-24 12:05
k8s日志收集方案及实战
kibana安装配置2.1kibana安装2.2kibana配置2.3启动kibana3、zookeeper安装配置3.1zookeeper安装3.2启动zookeeper3.3检查zookeeper状态4、
kafka
唐僧骑白马
·
2023-12-24 11:03
elk
k8s
kubernetes
elasticsearch
elk
kubernetes集群 应用实践
kafka
部署
kubernetes集群应用实践
kafka
部署零.1、环境说明零.2、
kafka
架构说明zookeeper在
kafka
集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总
·
2023-12-24 11:58
kubernetes
kafka
容器
《PySpark大数据分析实战》-04.了解Spark
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-06.安装环境准备
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-02.了解Hadoop
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:02
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《PySpark大数据分析实战》-01.关于数据
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
上一页
35
36
37
38
39
40
41
42
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他