E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式消息系统kafka
Redis浅谈
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-22 21:17
数据库技术
redis
数据库
缓存
Mysql的SQL优化和锁
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-22 21:16
数据库技术
mysql
sql
数据库
四种消息队列,如何选型
这篇文章,主要讲述
Kafka
、RabbitMQ、RocketMQ和ActiveMQ这4种消息队列的异同,无论是面试,还是用于技术选型,都有非常强的参考价值。01消息队列基础1.1什么是消息队列?
ღ᭄陽先生꧔ꦿ᭄
·
2023-12-22 17:55
信息可视化
CloudCanal x Debezium 打造实时数据流动新范式
简述Debezium是一个开源的数据订阅工具,主要功能为捕获数据库变更事件发送到
Kafka
。
ClouGence
·
2023-12-22 16:48
CloudCanal
数据库
大数据
数据仓库
etl
kafka
单节点安装与启动
主机环境与依赖操作系统:centos7CPU架构:x86_64软件依赖:jdk1.8以及zookeeper3.6.3
kafka
下载与解压mkdir/data&&cd/datawgethttps://dlcdn.apache.org
从大数据到人工智能
·
2023-12-22 13:11
5分钟搞定 关系型数据库 到 Flink 数据同步
本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->
Kafka
->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumE
ClouGence
·
2023-12-22 13:31
CloudCanal
数据迁移
数据同步
canal
消息队列
kafka
、rabbitmq、rocketmq、activemq概述
什么是消息队列?消息队列是一种在应用程序之间传递消息的通信模式。它基于生产者-消费者模型,其中生产者将消息发送到队列,而消费者从队列中接收和处理消息。消息队列充当了生产者和消费者之间的中介,使得两者可以独立地进行通信,而不需要直接的点对点连接。为什使用消息队列?消息队列的作用主要包括以下几个方面:-异步通信:消息队列可以实现异步通信,生产者将消息发送到队列后即可继续执行,而不需要等待消费者的响应。
zgcyyh
·
2023-12-22 11:05
消息队列
kafka
rabbitmq
rocketmq
kerberos认证Flink的
kafka
connector和
kafka
client配置
一、flink-connector-kakfa1.
kafka
配置文件
kafka
jaas必须配置,如果缺少,则报一下错误。
lisacumt
·
2023-12-22 11:23
kafka
flink
Linux下查看某一进程所占用内存的方法
Linux下查看某一个进程所占用的内存,首先可以通过ps命令找到进程id,比如ps-ef|grep
kafka
可以看到
kafka
这个程序的进程id可以看到是2913,现在可以使用如下命令查看内存:top-p2913
刘sir--
·
2023-12-22 11:36
Linux
Kafka
知识库 - 索引目录 - 待做
Kafka
基础—1、
Kafka
基础概念&
Kafka
架构&
Kafka
安装与配置
Kafka
基础—2、
Kafka
生产者API
Kafka
基础—3、
Kafka
消费者API
Kafka
基础—4、
Kafka
Streams
风不归Alkaid
·
2023-12-22 10:18
Kafka
kafka
后端
Kafka
基础—1、
Kafka
基础概念 &
Kafka
架构 &
Kafka
安装与配置
Kafka
知识库-索引目录一、引言1、什么是
Kafka
?
Kafka
是由ApacheSoftwareFoundation开发的分布式流处理平台,它是一种高吞吐量、可扩展、持久化的消息中间件。
风不归Alkaid
·
2023-12-22 10:13
Kafka
kafka
架构
分布式
Springboot整合
kafka
基本使用
项目搭建同样的,需要我们搭建一个maven工程,整合非常的简单,需要用到: org.springframework.
kafka
spring-
kafka
来一起看下完整的pom.xml:
努力的小周同学
·
2023-12-22 10:37
Java后端开发学习
java
spring
boot
intellij-idea
Kafka
核心逻辑介绍 | 京东云技术团队
1,概念
Kafka
是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)
分布式消息系统
(
kafka
2.8.0版本之后接触了对zk的依赖,使用自己的kRaft
京东云开发者
·
2023-12-22 09:33
技术分享
云计算
kafka
京东云
linq
Linux 部署项目
文章目录一、官网下载压缩包二、配置安装JDK:maven:mysql:redis:
kafka
:elasticsearch:wkhtmltopdf:tomcat:nginx:成功心态炸裂!!!
一只小逸白
·
2023-12-22 09:57
linux
运维
服务器
kafka
与beanstalk的区别
Kafka
(Apache
Kafka
)和Beanstalk(Beanstalkd)是两个不同的消息中间件系统,它们在设计和用途上有一些显著的区别。
蹲在角落数蚂蚁
·
2023-12-22 08:13
kafka
beanstalk
docker 部署
kafka
随笔记录目录1.安装zookeeper2.安装
Kafka
2.1拉取
kafka
image2.2查询本地dockerimages2.3查看本地容器(dockercontainer)2.3.1查看本地已启动的
芝麻馅汤圆儿
·
2023-12-22 08:40
docker
kafka
容器
laravel框架引用
kafka
在Laravel中操作
Kafka
,可以使用php-rd
kafka
扩展或confluent-
kafka
-php扩展。
蹲在角落数蚂蚁
·
2023-12-22 08:09
laravel
kafka
php
kafka
offset sasl加密连接
kafka
-tool(offset)进行SCRAM连接,直接上图填写jaas的认证(账密引用包)
风噪
·
2023-12-22 08:35
数据库
kafka
分布式
Docker搭建
Kafka
教程(python使用
kafka
基础用法,生产消费)
图解
kafka
架构与工作原理-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/442468709一、Docker网络创建Docker支持多种网络模式,包括bridge
迷糊小面包
·
2023-12-22 08:35
docker
kafka
容器
【Flink-
Kafka
-To-ClickHouse】使用 Flink 实现
Kafka
数据写入 ClickHouse
【Flink-
Kafka
-To-ClickHouse】使用Flink实现
Kafka
数据写入ClickHouse1)导入相关依赖2)代码实现2.1.resources2.1.1.appconfig.yml2.1.2
bmyyyyyy
·
2023-12-22 07:03
Flink
flink
kafka
clickhouse
Kafka
集群架构原理(待完善)
kafka
在zookeeper数据结构controller选举客户端同时往zookeeper写入,第一个写入成功(临时节点),成为leader,当leader挂掉,临时节点被移除,监听机制监听下线,重新竞争
kk_0910
·
2023-12-22 07:26
kafka
Rabbitmq如何保证消息不丢失
下面从rabbitmq和
kafka
分别说一下,丢失数据的场景,A:生产者弄丢了数据生产者将数据发送到rabbitmq的时候,可能在传输过程中因为
虾米咬小米
·
2023-12-22 07:58
【JVM基础】 JVM 如何加载一个类以及类加载机制
1、包含main方法的主类publicclass
Kafka
{publicstaticvoidmain
程序员不弃
·
2023-12-22 07:21
【JAVA基础】
【JAVA面试】
【JVM基础】
jvm
linq
c#
类加载机制
加载类
9
Kafka
:http://www.cnblogs.com/cyfonly/p/5954614.htmlhttp://blog.csdn.net/u013256816/article/details/71091774https
沉淀_0x0
·
2023-12-22 05:57
Kafka
如何保证高可用?
Kafka
的基本架构组成是:由多个broker组成一个集群,每个broker是一个节点;当创建一个topic时,这个topic会被划分为多个partition,每个partition可以存在于不同的broker
.L.JIN.Jie
·
2023-12-22 01:56
Kafka
kafka
分布式
电商系统订单到期关闭如何实现(订单超时未支付自动取消)
订单的到期关闭的实现有很多种方式,分别有定时任务jdk的delayqueue时间轮
kafka
rocketmq延迟消息rabbitmq死信队列rabbitmq插件r
思静语
·
2023-12-21 22:56
解决方案
java
Kerberos原理安装集成
kafka
例子
目录Kerbeos简介Kerbeos认证流程Kerberos安装步骤kerberos简单操作
Kafka
集成Kerberos例子本地环境java客户端消费测试代码错误记录Kerbeos简介Kerberos
掌心里的海-Canace
·
2023-12-21 20:54
kerberos
kafka安全
kafka+kerberos
kerberos原理
kerberos安装
Kerberos认证的
kafka
常见错误记录
前言发现网上与kerberos有关报错信息少之又少,踩过的坑放在这里,希望可以帮到后来人。报错信息总结1.principal和keytab不匹配,这种问题,只需要在jaas文件中指定正确的账号密码即可Causedby:javax.security.auth.login.LoginException:Couldnotlogin:theclientisbeingaskedforapassword,bu
iFence
·
2023-12-21 20:23
Kafka
Kerberos
Kerberos
Kafka
大数据
Clock skew too great(37)-PREAUTH_FAILED
问题:启动服务时failedtoconstuct
kafka
consumer原因:电脑时间和
kafka
时间不一致引起的。解决:一定要修改电脑时区,然后修改电脑具体日期时间。
一程序一世界
·
2023-12-21 20:53
java
kafka
kafka
消费Clock skew too great (37),CPU打爆
Novalidcredentialsprovided(Mechanismlevel:Clockskewtoogreat(37)-PROCESS_TGS)记一次生产事故,springboot消费
kafka
Amarone
·
2023-12-21 20:52
kafka
分布式
spring
boot
Flink电商实时数仓(三)
消费
Kafka
ods业务
十七✧ᐦ̤
·
2023-12-21 18:48
flink
linq
大数据
采用Flume-
kafka
-Flume将数据导入到HDFS中
首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume,然后进行配置下载完成后,解压tar-zxvfapache-flume-1.9.0-bin解压完成之后,进入conf目录下面,把flume-env.sh.template文件更改为flume-env.sh,然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克
·
2023-12-21 17:55
大数据
Kafka
| Flume Sink日志到
Kafka
&HDFS
记录下将服务端AC设备产生的数据采集到Flume中,然后基于FlumeSink把数据日志同时写入到
Kafka
与HDFS中,对于
Kafka
中的数据保存到指定的Topic中,然后后续基于SparkStreaming
点滴笔记
·
2023-12-21 17:53
Kafka
Flume
Flume
Kafka
HDFS
Sink
Flume多路复用模式把接收数据注入
kafka
的同时,将数据备份到HDFS目录
启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml:设置Hadoop的核心配置参数,例如NameNode的地址、数据块大小、副本数量等。示例配置如下:fs.defaultFShdfs://localhost:9000hdfs-site.xml:设置HDFS(Hadoop分布式文件系统)的参数,例如数据块复制因子、NameNode的存储路径等。示
HaveAGoodDay.
·
2023-12-21 17:52
Flume
大数据应用开发赛项
Hadoop
大数据
flume
kafka
hadoop
hdfs
2023大数据应用开发赛题03套
目录任务A:大数据平台搭建(容器环境)(15分)子任务一:HadoopHA安装配置子任务二:Hive安装配置子任务三:
Kafka
安装配置任务B:离线数据处理(25分)子任务一:数据抽取子任务二:数据清洗子任务三
长风有续X
·
2023-12-21 17:52
大数据
在Docker中安装
kafka
遇到问题记录
命令含义解答:在docker安装
kafka
的时候,启动
kafka
的时候会执行下面语句:dockerrun-d--log-driverjson-file--log-optmax-size=100m--log-optmax-file
凯哥Java
·
2023-12-21 16:39
凯哥Java
docker
kafka
容器
【算法Hot100系列】删除链表的倒数第 N 个结点
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2023-12-21 16:55
s6
算法与数据结构
算法
链表
数据结构
生产经验——分区的分配以及再平衡
bin/
kafka
-topics.sh--bootstrap-serverhadoop102:9092--alter--topicfirst--partitions7复制CustomConsumer类,
zmx_messi
·
2023-12-21 15:03
kafka
Kafka
发送流程
首先我们要将外部数据导入到集群,首先在main线程中创建producer对象,调用send方法发送数据,拦截器为可选项,通过序列化器对数据序列化,因为需要跨节点通讯,分区器会对每个数据进行分区,发送到指定分区;所谓的分区其实是一个缓存队列(双端队列),队列大小为32m,Batchsize为16k,Batchsize装满之后,或者lingerms时间到了,sender线程就来主动拉取数据;发送到集群
zmx_messi
·
2023-12-21 15:59
kafka
分布式
Kafka
集群安装部署(自带zookeeper)
•
Kafka
将消息以topic为单位进行归纳。•将向
Kafka
topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.
magic33416563
·
2023-12-21 14:16
kafka
java-zookeeper
zookeeper
Zookeeper集群与
kafka
集群部署搭建
Zookeeper集群与
kafka
集群部署搭建Zookeeper概述Zookeeper定义Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper应用场景Zookeeper
搬着砖,敲着代码
·
2023-12-21 14:14
kafka
java-zookeeper
zookeeper
超实用的
Kafka
集群搭建(有zk版)
前言本文讲述超实用的
Kafka
集群搭建流程,
Kafka
2.8以前的集群时依赖于ZooKeeper做服务协调,而2.8开始移除了Zookeeper的依赖(后续会出文章讲解这块的功能情况)。
不认输的猴
·
2023-12-21 14:43
分布式
中间件
高可用
kafka
分布式
Kafka
集群监控、安全机制与最佳实践
Kafka
监控安装
Kafka
集群监控方案选择:
Kafka
只能依靠
kafka
-run-class.sh等命令进行管理
Kafka
Manager(CMAK)是目前比较常用的监控工具,它有如下功能:管理多个集群轻松检查群集状态
端碗吹水
·
2023-12-21 13:26
《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-21 11:45
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-21 11:44
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2023-12-21 11:08
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
【大数据面试】
Kafka
面试题与答案
介绍下
Kafka
,
Kafka
的作用?
Kafka
的组件?适用场景?
Kafka
作为消息队列,它可解决什么样的问题?说下
Kafka
架构说下
Kafka
的特点,优缺点
Kafka
相比于其它消息组件有什么好处?
话数Science
·
2023-12-21 11:34
大数据
面试
大数据
面试
kafka
Java基础入门教程!从高级到实战讲的太清楚了
Kafka
宕机引发的高可用问题问题要从一次
Kafka
的宕机开始说起。
spring知识点大全
·
2023-12-21 11:20
程序员
java
后端
面试
springboot中使用
kafka
记录一下自己学习
kafka
的经验吧。站在小白新手的角度,从安装到使用,java代码实现。一、关于消息队列的作用与选择。
Bill老罗
·
2023-12-21 10:56
springboot
spring
boot
kafka
后端
Hyperledger Fabric 实战(九):生产级多组织的
kafka
共识网络详解
>>>搭建一个三个组织的
kafka
共识网络其主要目录结构如下:.
weixin_34417183
·
2023-12-21 10:37
大数据
ldap
运维
上一页
31
32
33
34
35
36
37
38
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他