E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka集群搭建
ELK log4j
kafka
logstash elasticsearch系统搭建
elsticsearch部署elsticsearch安装包下载wgethttps://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz解压elasticsearch-2.3.4.tar.gztar–zx
戏 剧
·
2024-02-06 14:04
ELK
ELK
log4j
kafka
logs
Filebeat7.17收集SpringBoot应用k8s容器日志
版本SpringBoot2.6.6Filebeat7.17.6
Kafka
_2.13-2.8.2ELK7.17.6应用场景springboot应用通过Deployment方式部署到k8s集群中,收集springboot
xiongmao0304
·
2024-02-06 14:32
elk
spring
boot
kubernetes
java
k8s filebeat 接入
kafka
这里是吧容器的本地日志目录挂载filebeat,然后filebeat读取日志写入到
kafka
---apiVersion:v1kind:ConfigMapmetadata:name:filebeat-confignamespace
xiangzilong
·
2024-02-06 14:28
k8s篇
k8s部署filebeat收集日志推送
kafka
网上有许多方案,今天我们采用在pod中部署专有日志收集容器的方式来实现,话不多说,下面干货。1、官网pull镜像dockerpulldocker.elastic.co/beats/filebeat:8.4.3文档地址:https://www.elastic.co/guide/en/beats/filebeat/current/running-on-docker.html2、编写filebeat.y
段丁荣
·
2024-02-06 14:56
kubernetes
kafka
elk
kafka
-splunk数据通路实践
目的:鉴于目前网络上没有完整的
kafka
数据投递至splunk教程,通过本文操作步骤,您将实现
kafka
数据投递至splunk日志系统实现思路:创建
kafka
集群部署splunk,设置HTTP事件收集器部署
exp1997
·
2024-02-06 12:17
中间件
kafka
分布式
搭建
kafka
测试环境
搭建
kafka
测试环境启动zookeeperdockerpullbitnami/zookeeperdockerrun-d--namezookeeper\-eALLOW_ANONYMOUS_LOGIN=yes
gclhaha
·
2024-02-06 12:47
Cheet
Sheet
kafka
Rust消费
kafka
usefutures::stream::StreamExt;//引入StreamExt以使用next()方法userd
kafka
::config::ClientConfig;userd
kafka
::consumer
国强_dev
·
2024-02-06 12:46
rust
kafka
开发语言
黑马头条
Kafka
知识库链接:黑马头条D1·语雀参考文章:【黑马头条之
kafka
及异步通知文章上下架】_黑马头条项目使用
kafka
的作用是什么-CSDN博客黑马头条使用
Kafka
是为了实现文章管理端和APP端的文章状态(
南城余coding
·
2024-02-06 12:14
reggie
kafka
分布式
【
kafka
】使用
kafka
client连接 kerberos认证的
kafka
,scala版
注意keytab路径中不要使用\\,都使用/作为分隔符使用kerberos需要配置jaas如下日志打印,两个配置至少设置一个:[DEBUG]org.apache.
kafka
.common.security.JaasContext
lisacumt
·
2024-02-06 12:11
kafka
scala
redis
集群搭建
(基于redis5.0+)
一、前戏1.1下载软件去官网下载软件:https://redis.io/download,笔者使用的是5.0.12,理由就是本人公司使用的也是这个版本。1.2物理机配置本人搭建的是3主3从。使用3台虚拟机,保证主从分配不在一台机器上,避免某台机器挂掉而影响整个集群的运行。物理配置:1.192.168.37.133:63702.192.168.37.133:63803.192.168.37.130:
She_lock
·
2024-02-06 12:51
redis
redis5.0集群
redis集群常见错误
redis启动脚本
redis集群最简配置
RabbitMQ
集群搭建
rabbitMQ的两种重要特性,异步化提高系统抗峰值能力和系统及功能解耦,这两个特点决定了rabbitMQ在我们的系统中占据了重要的地位,所以为了让RabbitMQ高可用,我们今天就来讲解下RabbitMQ的集群环境搭建应用常识一般情况下,一个单机版的rabbitMQ能承受大运1000/s的消息量(跟网络和消息的大小有关,数值存在波动),但是如果是集群环境中,就可以将访问的压力分摊到集群中的其他节
AmosZhu
·
2024-02-06 10:12
Kafka
配置Kerberos安全认证及与Java程序集成
Background本文主要介绍在
Kafka
中如何配置Kerberos认证,以及java使用JAAS来进行Kerberos认证连接。本文演示为单机版。
WaiSaa
·
2024-02-06 09:44
Java
kafka
安全
java
kerberos
2024年了,如何更好的搭建
Kafka
集群?
Kafka
的Kraft模式简单来说就是基于raft协议重新实现了zookeeper的功能。传统的zookeeper集群已经被标记为弃用,将在
kafka
4.0中完全移除。
程序饲养员
·
2024-02-06 09:36
kafka
分布式
从
Kafka
系统中读取消息数据——消费
从
Kafka
系统中读取消息数据——消费消费
Kafka
集群中的主题消息检查消费者是不是单线程主题如何自动获取分区和手动分配分区subscribe实现订阅(自动获取分区)assign(手动分配分区)反序列化主题消息反序列化一个类
_蓝天IT_
·
2024-02-06 09:33
kafka
linq
分布式
minio
集群搭建
(纠删码模式)
搭一个4个节点,16块硬盘的minio集群。1.先做一些准备工作,新建了4个centos7的虚拟机,各新添加4块硬盘我用的虚拟机软件是VirtualBox,先搭建4个虚拟机,即4个节点,建虚拟机就不讲了用VirtualBox添加硬盘,这几台虚拟机硬盘我都添加过了,我用一个其他node35这个机器介绍硬盘添加添加磁盘这块我也不是特别懂,但是在搭建minio集群的过程中我是这么做的,而且成功了下一步,
hahaha 1hhh
·
2024-02-06 09:52
minio
centos
flume+
Kafka
+flink实时统计实战(单机版)
下面有些命令由于
Kafka
版本原因可能会报下面这种错误,请注意:Apache
Kafka
:bootstrap-serverisnotarecognizedoption2.5.0之前的版本使用broker-list2.5.0
xiaolege_
·
2024-02-06 08:30
Kafka
flink
flume
flume
kafka
flink
FlinkCDC-Hudi:Mysql数据实时入湖全攻略五:FlinkSQL同时输出到
kafka
与hudi的几种实现
前序:FlinkCDC-Hudi系列文章:FlinkCDC-Hudi:Mysql数据实时入湖全攻略一:初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二:Hudi与Spark整合时所遇异常与解决方案FlinkCDC-Hudi:Mysql数据实时入湖全攻略三:探索实现FlinkCDCmysql主从库同步高可用FlinkCDC-Hudi:Mysql数据实时入湖全攻略四:两种FlinkS
大数据点灯人
·
2024-02-06 08:25
Flink
Kafka
Hudi
kafka
mysql
spark
Flink CDC 与
Kafka
集成:State Snapshot 还是 Changelog?
Kafka
还是 Upsert
Kafka
?
我们知道,尽管FlinkCDC可以越过
Kafka
,将关系型数据库中的数据表直接“映射”成数据湖上的一张表(例如Hudi等),但从整体架构上考虑,维护一个
Kafka
集群作为数据接入的统一管道是非常必要的,
Laurence
·
2024-02-06 08:52
大数据专题
付费专栏
flink
cdc
kafka
mysql-cdc
debezium-json
changelog
upsert
Kafka
使用手册
kafka
3.0文章目录
kafka
3.01.什么是
kafka
?
@lihewei
·
2024-02-06 08:01
kafka
分布式
kafka
基本概念
文章目录前言为什么需要
Kafka
Kafka
的优势
Kafka
应用场景
Kafka
消费模式
Kafka
的基础架构前言我们小猿在学习到
kafka
这门技术的时候,相信大家已经学习过其它消息队列中间件,例如RabbitMq
欲无缘
·
2024-02-06 07:58
#
Kafka
kafka
分布式
ELFK日志采 - QuickStart
文章目录架构选型ELKEFLKElasticsearchES
集群搭建
常用命令Filebeat功能介绍安装步骤Filebeat配置详解filebeat常用命令Logstash功能介绍安装步骤Input插件
@lihewei
·
2024-02-06 07:25
elk
Redis(三)主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用
集群搭建
、Redis高可用集群之水平扩展
转自极客时间Redis主从架构redis主从架构搭建,配置从节点步骤:1、复制一份redis.conf文件2、将相关配置修改为如下值:port6380pidfile/var/run/redis_6380.pid#把pid进程号写入pidfile配置的文件logfile"6380.log"dir/usr/local/redis-5.0.3/data/6380#指定数据存放目录#需要注释掉bind#b
_蓝天IT_
·
2024-02-06 07:37
分布式
redis
架构
java
k8s的Deployment部署策略线上踩坑
线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过
kafka
监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free
·
2024-02-06 07:41
kubernetes
容器
云原生
Kafka
SASL_SSL双重认证
文章目录1.背景2.环境3.操作步骤3.1生成SSL证书3.2配置zookeeper认证3.3配置
kafka
安全认证3.4使用
kafka
客户端进行验证3.5使用Java端代码进行认证1.背景
kafka
提供了多种安全认证机制
@lihewei
·
2024-02-06 06:39
kafka
ssl
分布式
MongoDB分片
集群搭建
----前言mongodb分片一般用得比较少,需要较多的服务器,还有三种的角色一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集mongodb分片技术mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据
ZzzkiYoumi
·
2024-02-06 06:21
MongoDB
mongodb
数据库
dba
开源组件
Kafka
Connect推荐
Kafka
Connect简介
Kafka
Connect是
Kafka
的开源组件Confluent提供的功能,用于实现
Kafka
与外部系统的连接。
佛系小懒
·
2024-02-06 05:07
RocketMQ和
Kafka
的区别,以及如何保证消息不丢失和重复消费
消息队列RocketMQ和
Kafka
的区别性能(单台)语言多语言支持客户端优缺点RocketMQ十万级javajava模型简单、接口易用,在阿里有大规模应用文档少,支持的语言少
Kafka
百万级服务端scala
Marciaguoguo
·
2024-02-06 04:38
中间件
rocketmq
kafka
分布式
2.RocketMQ
集群搭建
与消息发送样例
1.RocketMQ
集群搭建
1.1各角色介绍mqGroup.png角色NameServer:Broker的管理者。Broker自己去上报NameServer自己的存在Broker:消息的存储者。
lambdaCC
·
2024-02-06 00:58
《Python 网络爬虫简易速速上手小册》第8章:分布式爬虫设计(2024 最新版)
文章目录8.1分布式爬虫的架构8.1.1重点基础知识讲解8.1.2重点案例:使用Scrapy和Scrapy-Redis构建分布式爬虫8.1.3拓展案例1:使用
Kafka
作为消息队列8.1.4拓展案例2:
江帅帅
·
2024-02-05 23:47
《Python
网络爬虫简易速速上手小册》
python
爬虫
分布式
人工智能
网络安全
数据分析
web3
启动Maxwell报这个错了,怎么办
Lr123456'--host='node02'--producer=
kafka
--
kafka
.bootstrap.servers=node01:9092--
kafka
_topic=maxwellUsing
kafka
versio
初恋880
·
2024-02-05 19:26
cloudera
AMH面板如何安装与公网远程访问本地面板界面
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-02-05 18:42
s20
cpolar
公网远程访问
kafka
_2.13-2.8.0
kafka
_2.13-2.8.0下载
kafka
启动zookeeperzookeeper.propertieszookeeper是否启动成功lsof-i:2181ps-aux|grepzookeeper启动
qq_26264237
·
2024-02-05 17:57
kafka
java
分布式
Kafka
2.13
集群搭建
并配置hosts172.17.0.2 node0172.17.0.3 node1172.17.0.4 node2在其中一台服务器中搭建Zookeeper(单机或集群都可以)Zookeeper
集群搭建
参考链接下载
咩哥无敌
·
2024-02-05 17:57
kafka
kafka
zookeeper
分布式
Kafka
配置类参数设置
newProperties();props.put("bootstrap.servers","localhost:9092");props.put("key.serializer","org.apache.
kafka
.common.serialization.StringSerializer
大大大大肉包
·
2024-02-05 14:27
kafka学习
kafka
java
分布式
6.Linux虚拟机下的Hadoop
集群搭建
之完全分布式配置
Hadoop及相关组件搭建指导WeChat:h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
4.Linux虚拟机下的Hadoop
集群搭建
之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
SpringCloud-消息驱动(Stream、生产者、消费者)
StreamSpringCloudStream,的诞生是为了解决各种消息中间件之间的兼容性问题,学习过消息中间件的同学都知道现在市面上流行的消息中间件有ActiveMQ、RabbitMQ、RocketMQ、
Kafka
JolyouLu
·
2024-02-05 12:30
SpringCloud
spring
cloud
rabbitmq
kafka
stream
分布式
使用两种多线程模式消费
Kafka
数据
使用两种多线程模式消费数据
Kafka
Producer是线程安全的,然而
Kafka
Consumer却是非线程安全的。
魏春雨
·
2024-02-05 10:24
微服务入门篇:Nacos注册中心(Nacos安装,快速入门,多级存储,负载均衡,环境隔离,配置管理,热更新,
集群搭建
,nginx反向代理)
目录1.Nacos安装1.官网下载2.解压到本地3.启动nacos2.Nacos快速入门1.在父工程中导入nacos依赖2.给子项目添加客户端依赖3.修改对应服务的配置文件4.启动服务,查看nacos发现情况3.Nacos服务多级存储模型4.NacosRule负载均衡5.服务实例的权重设置6.环境隔离(namespace)7.Nacos和Eureka的对比1.临时实例和非临时实例2.Nacos与e
JungleiRim
·
2024-02-05 10:39
微服务学习
微服务
负载均衡
架构
Spring Boot与
Kafka
集成教程
当然可以,这里为您提供一个简化版的SpringBoot与
Kafka
集成教程:新建SpringBoot项目使用SpringInitializr或您喜欢的IDE(如IntelliJIDEA,Eclipse等
MarkHD
·
2024-02-05 09:12
spring
boot
kafka
后端
Springboot使用
kafka
的两种方式
在SpringBoot中使用Apache
Kafka
主要有两种方式:使用Spring
Kafka
项目和使用SpringBoot的spring-boot-starter-
kafka
。
MarkHD
·
2024-02-05 09:12
spring
boot
kafka
后端
kafka
之auto-offset-reset
官方文档解释auto.offset.reset:Whattodowhenthereisnoinitialoffsetin
Kafka
orifthecurrentoffsetdoesnotexistanymoreontheserver
driver_ab
·
2024-02-05 09:05
【
Kafka
面试】
Kafka
的高可用机制有了解吗?
一、集群模式
Kafka
集群由多个broker组成,每个broker就是
Kafka
实例。假如某个broker宕机,在集群中其他的broker依然可以对外提供服务,这个就是集群能够保证高可用性。
TAIKEMAN
·
2024-02-05 09:44
Kafka
kafka
kafka
副本高可用机制
Kafka
的每个topic都可以分为多个Partition,并且多个partition会均匀分布在集群的各个节点下。
catch that elf
·
2024-02-05 09:44
kafka
kafka副本机制
kafka
kafka副本
数据同步
kafka
高可用(集群)
kafka
的分布式和高可用
kafka
的一个基本架构:多个broker组成,一个broker是一个节点;你创建一个topic,这个topic可以划分成多个partition,每个parttition可以存在于不同的
GoslingWu
·
2024-02-05 09:13
队列
分布式
kafka
zookeeper
rabbitmq
消息队列三|
Kafka
如何做到高可用?
本篇文章中我们聊聊
Kafka
如何做到高可用副本?说到
Kafka
的高可用保障,自然都会想到副本。什么是副本呢?副本是分布式系统对数据和服务提供的一种冗余方式。
不落叶的榕树
·
2024-02-05 09:11
消息队列
java
消息队列
高并发
Kafka
高可用性原理
一、
Kafka
副本基本概念
Kafka
通过多副本机制实现故障自动转移,
Kafka
副本一些基本概念:副本是针对分区而言的,即副本是分区的副本一个分区有一个leader副本,多个follower副本,只有leader
wanger61
·
2024-02-05 09:11
Kafka
kafka
java
分布式
kafka
高可用
集群搭建
kafka
高可用
集群搭建
说明这篇博文主要是为了后面的elk做准备,我们这里搭建一个
kafka
集群,使用2个节点,还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog
·
2024-02-05 09:40
分布式
kafka
java
zookeeper
linux
Kafka
基于Zookeeper搭建高可用集群实战
目录1、前言1.1高可用的由来1.2相关术语2、架构图3、发送消息流程4、部署
kafka
&zookeeper集群4.1准备工作4.2启动zookeeper集群4.3启动
kafka
集群4.4测试5、
kafka
八五年的湘哥
·
2024-02-05 09:39
#
Kafka
zookeeper
分布式
kafka
java
Kafka
高可用
一.安装
kafka
kafka
官网:http://
kafka
.apache.org/1.Docker安装zookeeper
Kafka
对于zookeeper是强依赖,保存
kafka
相关的节点数据,所以安装
Kafka
愛沢かりん
·
2024-02-05 09:08
spring
分布式
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他