E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka可视化工具
Git回退到指定节点的版本
(在安装Git的同时,你也装好了它提供的
可视化工具
,gitk和git-gui。)
zhanghailing
·
2023-11-29 00:06
使用
Kafka
、Flink、Druid构建实时数据系统架构
但开源领域有一个解决方案:
Kafka
、Flink和Druid一起使用时,可以创建一个实时数据架构,减少这些等待时间。在这篇文章中,我们将探讨如何利用
Kafka
、Flink、Druid实现
guohuang
·
2023-11-28 23:51
kafka
flink
系统架构
大数据
kafka
单机安装&配置安全证书
kafka
单机安装&配置安全证书单机
kafka
安装下载安装包$wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/
kafka
/2.5.0/
kafka
_2.12
好多小花花
·
2023-11-28 22:49
消息中间件选型分析:从
Kafka
与 RabbitMQ 对比
一、前言消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。目前开源的消息中间件可谓是琳琅满目,能让大家耳熟能详的就有很多,比如ActiveMQ
四月天03
·
2023-11-28 18:27
Kafka
java-rabbitmq
rabbitmq
kafka
ubuntu18.04安装
kafka
_2.13-2.8.2并配置开机自启动
文章目录前言一、下载
kafka
二、
kafka
解压并,配置外部IP能访问
kafka
三、启动zookeeper三、启动
kafka
四、topic操作及消息的发送和接收1、新建一个topic,名字叫topic-test2
唯一602
·
2023-11-28 18:19
kafka
ubuntu
面试刷题自备中
面试刷题自备中JavaSE基础线程redisMQ
kafka
springspringmvcspringbootspringcloud设计模式数据库FastDFS垃圾回收机制项目部署dockerlinuxJavaSE
鼠爷ねずみ
·
2023-11-28 18:35
面试
职场和发展
Doris-Routine Load(二十七)
适用场景当前仅支持从
Kafka
系统进行例行导入,使用限制:(1)支持无认证的
Kafka
访问,以及通过SSL方式认证的
Kafka
集群。(2)支持的消息格式为csv,json文本格式。
玖玖1704
·
2023-11-28 16:58
Doris
数据库
mysql
sql
hadoop
etl
大数据平台测试-一次生产P2故障记录
公司为了数据安全,去年评审通过了一个基于中间件
kafka
的鉴权项目,大概的意思,消费topic的应用需要对接鉴权项目,订阅应用,启动端口9093消费(默认是9092端口),当时大家(开发)都觉得风险太大了
软件测试李同学
·
2023-11-28 16:27
大数据平台测试
Spring
Boot
kafka
Zookeeper
中间件
生产故障
Kafka
问题
1.
Kafka
中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么?ISR:和leader保持同步的follower集合。
July2333
·
2023-11-28 16:14
日志分析系统ELK之Elasticsearch
ELKElasticsearchElasticsearch基础模块elasticsearch应用场景Elasticsearch单节点部署Elasticsearch集群的部署集群简介elasticsearch节点角色集群部署
可视化工具
Tuki_a
·
2023-11-28 15:09
ELK
elasticsearch
linux
运维
运维开发
elk
【软件测试】盘一盘工作中遇到的 MQ 异常测试
日常经手的系统主要用的是RocketMQ,是阿里系下开源的一款分布式、队列模型的消息中间件,是阿里参照
kafka
设计思想使用java实现的一套MQ,并做了自己的改进。
静姐说测试
·
2023-11-28 15:34
自动化测试
软件测试
经验分享
pytest
selenium
dubbo
postman
自动化测试
测试工程师
websocket分布式共享session解决方法
问题描述:项目开发是基于cloud分布式开发模式,需要实时向客户端推送消费的
kafka
内容,由于websocket的session不可序列化,故不能够存储到redis等缓存当中。
诗和远方的码农
·
2023-11-28 14:31
开发心得
websocket
session共享
分布式开发
07 | Kakfa_生产者消息分区机制原理剖析
我们在使用Apache
Kafka
生产和消费消息的时候,肯定是希望能够将数据均匀地分配到所有服务器上。
Splunker
·
2023-11-28 13:23
Docker
可视化工具
Portainer(轻量)或者Docker容器监控之 CAdvisor+InfluxDB+Granfana(重量)
Docker轻量级
可视化工具
Portainer是什么Portainer是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。
渣渣龙_拽得很
·
2023-11-28 12:08
docker
docker
docker部署
kafka
文章目录docker部署
Kafka
1.搭建docker2.进入容器3.修改配置文件4.测试
kafka
kafka
知识点目录docker部署
Kafka
1.搭建docker这里我直接用的是docker-compose
jenrain
·
2023-11-28 12:39
kafka
kafka
使用Docker部署
Kafka
使用bitnami的
kafka
镜像,参考文档单独拉取
Kafka
镜像拉取镜像:dockerpullbitnami/
kafka
:2.4.1通过这种方式只能获取到
kafka
镜像,由于
kafka
运行依赖zookeeper
咦940
·
2023-11-28 12:39
消息队列
docker
kafka
用 docker 部署
kafka
章节目录1.参考链接2.摘抄引用2.1Docker镜像选型2.2`wurstmeister/
kafka
`镜像简介的先决条件2.3简单使用3.安装过程3.1安装Docker(略)3.2安装DockerCompose
背风衣人
·
2023-11-28 12:08
Kafka
Linux
docker
kafka
docker
分布式
ansible部署
kafka
集群
ansible部署
kafka
集群其中一台作为Ansible的母机并命名为ansible,另外三台云主机命名为node1、node2、node3,通过附件中的/ansible/ansible.tar.gz
hansaes
·
2023-11-28 12:08
ansible
kafka
ansible
分布式
Docker部署
Kafka
Docker安装
Kafka
1.安装zookeeperdockerrun-d--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimewurstmeister
以梦话牛
·
2023-11-28 12:05
Docker
Kafka
kafka
docker
Kafka
部署
目录1.安装配置jdk8(1)
Kafka
、Zookeeper(简称:ZK)运行依赖jdk82.安装配置ZK(1)安装(2)配置3.配置
Kafka
(1)配置4、其他
kafka
节点配置5、启动、验证ZK集群
大不牛
·
2023-11-28 12:02
kafka
linq
debian
部署
kafka
kafka
简介:
Kafka
是一种分布式流处理平台,也是一种高吞吐量、低延迟的分布式发布订阅消息系统,由Apache软件基金会开发。它被设计成可扩展的、高容错的,具有高吞吐量的、低延迟的数据处理管道。
.Sea of flowers
·
2023-11-28 12:31
kafka
分布式
kafka
介绍
目录一、
kafka
介绍1.
kafka
简单介绍2.
kafka
使用场景3.
kafka
基本概念4.
kafka
的安装5.java实现消息的生产和消费优秀的程序架构设计需要遵循的守则:低耦合,高内聚。
凤梨..
·
2023-11-28 11:42
Java
Linux
java
kafka
精准一次性
kafka
精准一次性
kafka
精准一次性重要性在很多的流处理框架的介绍中,都会说
kafka
是一个可靠的数据源,并且推荐使用
kafka
当作数据源来进行使用.这是因为与其他消息引擎系统相比,
kafka
提供了可靠的数据保存及备份机制
不爱吃鱼的馋猫
·
2023-11-28 11:42
kafka
数据库
分布式
消息队列
Kafka
介绍
Kafka
用来构建实时数据管道和数据流应用。它是水平可扩展的,具有容错性的,极其快速的,并且已应用于上千家公司的产品环境中。
梅坞茶坊
·
2023-11-28 11:11
php
服务器
kafka
java
分布式
【Python】【
Kafka
】
kafka
读取所有数据——使用消费群组+offset
kafka
为分布式消息队列,队列中的消息可以保存7天。
little_stupid_child
·
2023-11-28 11:10
Python
工作
问题解决
python
kafka
消费群组
Kafka
介绍(一)
什么是
kafka
Apache
Kafka
是一个开源分布式事件流平台(通俗点说其实就是一个类似中介的东西,房东将信息放入中介,客户咨询中介或者中介推送信息给咨询过的客户,获取消息),它的核心能力有,高吞吐量低延迟
丽宝家宝
·
2023-11-28 11:08
kafka
分布式
k8s中安装consul集群
一、准备知识headlessservices一般结合StatefulSet来部署有状态的应用,比如
kafka
集群,mysql集群,zk集群等,也包括本文要部署的consul集群。
天草二十六_简村人
·
2023-11-28 10:19
kubernetes
consul
运维
云原生
容器
Flink读取
Kafka
数据写入Hive
前言本文针对数据库CDC(changedatacapture)场景设计,探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性,下面为本地IDEA程序案例可供参考。一、整体思路数据库CDC(changedatacapture)是实时捕获数据库中的变化数据,经过处理之后(也可能无需处理),将其更新到目标端的一种技术。为实现实时捕获,本文引入Debezium作为数据库connector,
另存為
·
2023-11-28 07:15
为啥说用了Hbase速度会变快???
都知道数据仓库现在一般来说是Hive和
kafka
,数据平台目前还使用的是hive,但是hive的查询是很慢的,所以为了效率我们引入了Kylin,Kylin并没有大数据存储功能,它所做的只是将数据仓库里的数据预计算
AceCream佳
·
2023-11-28 06:44
canal +
kafka
事务一致性问题
场景1:在一个事务里插入两条数据,会被拆分成两个消息(in
kafka
)环境配置:canal版本v.1.1.5+
kafka
(topic-partition设置为1)canal.mq.flatMessage
Atomas
·
2023-11-28 06:57
spark 的createDstream和createDirectStream区别
spark读取
kafka
数据流提供了两种方式createDstream和createDirectStream。
香山上的麻雀
·
2023-11-28 05:16
Mysql——》int(1)和 int(10)区别
推荐链接:总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【
Kafka
】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。
·
2023-11-28 03:18
Mysql
mysql
android
数据库
SpringBoot——》关联映射
推荐链接:总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【
Kafka
】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。
·
2023-11-28 03:07
SpringBoot
JoinColumn
OneToOne
OneToMany
ManyToOne
ManyToMany
Hibernate
关系映射注解
Spark-Streaming
Kafka
Client 异常解决
在使用Spark-Streaming消费
Kafka
数据的时候,使用如下命令提交到yarnCausedby:java.lang.IllegalArgumentException:Couldnotfinda'
Kafka
Client'entryintheJAASconfiguration.Systemproperty'java.security.auth.login.config'isnotsetato
大猪大猪
·
2023-11-27 23:13
一步步分析为什么B+树适合作为索引的结构 以及索引原理 (阿里面试)
mysql的B+树索引查找使用了二分查找,redis跳表也使用了二分查找法,
kafka
查询消息日志也使用了二分查找法,二分查找法时间复杂度O(logn);参考:redis的索引底层的跳表原理实现聊聊Mysql
奋斗吧_攻城狮
·
2023-11-27 22:20
MySQL/MariaDB
Mysql
索引
Kafka
如何做到1秒处理1500万条消息
来源:51CTO技术栈(ID:blog51cto)Apache
Kafka
是一款流行的分布式数据流平台,它已经广泛地被诸如NewRelic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的
weixin_34387284
·
2023-11-27 21:51
大数据
运维
操作系统
Kafka
架构
1、Producer(生产者):负责将消息发布到
Kafka
集群。
linbokang
·
2023-11-27 19:45
kafka
架构
分布式
延迟队列浅学
延时队列可以使用队列数据结构(如数组、链表)或者消息中间件(如RabbitMQ、
Kafka
)来实现。设置延迟时间:
写不了一点算法
·
2023-11-27 18:48
java
java
2022 Java面试题合集
SpringBoot、SpringCloud、Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、MongoDB、Redis、MySQL、RabbitMQ、
Kafka
方木丶
·
2023-11-27 18:25
spring
spring
boot
java
后端
面试
Web3D编辑器-使用THREE.JS+Vuejs打造大屏可视化快速搭建工具/W3D/BI/WEB3D/可视化平台/编辑平台/大数据
可视化工具
-功能持续开发中
WEB-3D编辑器(持续开发中)目前支持:效果组件联动,物体设置,事件联动、导入导出、引入vuejs模板;待做:场景设置,特效组件,物体效果设置(烘培贴图,特效,shader效果等),视角镜头动画,模型动画,事件与前端联动,前端组件及联动,work,websoket,接入后台;支持2D+3D可视化组件拖入,构建大数据可视化平台,与后台数据进行联动。支持讨论qq:674656681QQ群:10828
菜鸡饶
·
2023-11-27 18:54
可视化
THREE
vue
vue
大数据可视化
智慧城市
3D可视化
javascript
2021精选 Java后端面试题资料大全 SpringBoot,
Kafka
,Mysql,Redis等PDF资料,实战项目,阿里巴巴,腾讯,字节,京东,美团,滴滴,Bilibili面试经历,实用干货
大家可以通过在公众号【面试官求放过】,点击下方菜单的【面试题】->【Java面试资料大全】无偿获取下载地址。该公众号还会每周更新两个面试时可能遇到的场景题哦。资料仅供各位学习使用,请勿用于别的用途!!!!!
Somnus400478
·
2023-11-27 18:48
java
面试
开发语言
kafka
学习笔记(一)--脑裂
我知道你想裂,但你先别裂目录脑裂
Kafka
脑裂实验
Kafka
如何防止脑裂--LeaderEpochepoch的局限性ISR列表ISR列表的伸缩机制脑裂用集群部署的大多数的分布式系统无可避免会面临脑裂问题
exp1997
·
2023-11-27 17:25
中间件
kafka
学习
笔记
filebeat报错dropping too large message of size
filebeat报错:droppingtoolargemessageofsize1714620.原因:
kafka
对每一条消息的大小进行了限制。
小韩加油呀
·
2023-11-27 17:23
kafka
filebeat
elk
JVM-排查工具
ps-eLf|greppid查看进程的所有线程jps-l11839
kafka
.
Kafka
54578
kafka
.
Kafka
99593--processinformationunavailable11417org.tanukisoftware.wrapper.WrapperSimpleApp67658
沉淀_0x0
·
2023-11-27 16:26
【docker系列】docker高阶篇
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2023-11-27 15:09
s10
分布式
docker
容器
运维
记一次处理大数据而导致的内存溢出问题
问题订单服务通过MQ进行订单同步时,刚启动可以正常消费,但是跑一会就会卡住,每次都是第8个
kafka
分区不行再进行消费,其他分区消费的很慢。
小豆瓣的靳先生
·
2023-11-27 15:37
【Java
Virtual
Machine】
大数据
jvm
ELK+
kafka
+filebeat企业内部日志分析系统
1、组件介绍1、Elasticsearch: 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。2、Logstash:
小李不怕黑
·
2023-11-27 14:47
项目部署
elk
kafka
分布式
kafka
kraft 集群搭建保姆级教学 包含几个踩坑点
一.为啥弃用zookeeper
kafka
弃用ZooKeeper而采用KRaft的主要原因是为了改进
Kafka
集群的可靠性和可管理性。
我才是真的封不觉
·
2023-11-27 14:16
kafka
分布式
Kafka
设计原理
文章目录1、
Kafka
使用场景2、
Kafka
架构2.1、工作流程2.2、副本机制2.3、生产者2.3.1、生产方式2.3.2、分区策略Round-robinRandomnessKey-ordering2.4
摸鱼呀
·
2023-11-27 10:20
linux_中间件开发
kafka
分布式
spring boot整合
kafka
以及
kafka
设计原理详解
springboot整合
kafka
以及
kafka
设计原理详解Java客户端访问
Kafka
SpringBoot整合
Kafka
Kafka
设计原理详解
Kafka
核心总控制器ControllerController
yemuxiaweiliang
·
2023-11-27 10:19
分布式消息队列
中间件
java
Kafka
上一页
53
54
55
56
57
58
59
60
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他