E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java后端kafka
使用拦截器和JWT实现
Java后端
接口的权限访问控制
最近发现,后端接口的权限访问控制通过使用springmvc里面的拦截器,就能够实现,方法比较简单,这里做一些总结。1、在登录接口查询数据库中的用户信息和权限信息,得到当前用户相关的权限,然后把权限信息添加到JWT的字符串里面,经过加密以后生成token,将token作为响应数据,传递给前端。2、定义一个拦截器,从请求头当中取出token,对token进行解密,得到里面的权限信息,然后获取当前访问接
woshihedayu
·
2023-11-30 04:42
java
后端
开发语言
【高效开发工具系列】PlantUML入门使用
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2023-11-30 01:45
s0
常用工具
工具
The Log: What every software engineer should know about real-time data's unifying abstraction
LinkIn2013年的日志与流处理架构,bolg中涉及到了大量的参考资料,与我的架构类似,但是基于JAVAHadoop生态,并用
Kafka
作为日志底层文章地址:https://engineering.linkedin.com
doubeye
·
2023-11-30 00:23
阿里云数据中台核心引擎
阿里离线数据计算平台(离线数仓)原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据(不负责收集数据到TableStore中),使用Fluentd服务(类似的服务还有
kafka
hsabrina
·
2023-11-30 00:30
工程架构
big
data
大数据
java后端
常用数据库_JavaWeb做后端,数据库方面需要掌握到何种程度?
一般来说,我们将网站分为前端和后端。前端主要负责页面的展示,后端则是业务逻辑的实现,后端是由一些实现业务逻辑的Java代码和数据库组成。Javaweb做后端,数据库方面需要掌握到哪种程度?我把我能想到的技能点给大家简单罗列了一下,希望能对大家的工作和学习有所帮助(可能不够完善,欢迎大家随时补充):·需要对Mysql、Oracle、SqlServer这三个常用的数据库熟悉了解。·在数据量比较大或者请
小黄药师
·
2023-11-29 22:59
java后端常用数据库
zookeeper集群(很少用)+
kafka
集群(常用)
一、zookeeperzookeeper+
kafka
(2.7.0版本)
kafka
(3.4.1版本)不依赖于zookeeper1、定义:zookeeper开源,分布式架构,提供协调服务(Apache项目)
咩咩230
·
2023-11-29 20:10
zookeeper
kafka
分布式
LRU 是什么?
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-11-29 19:07
LRU
缓存
什么是可重入锁
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-11-29 19:06
可重入锁
Java后端
,最全知识点
你可能有所感悟。零散的资料读了很多,但是很难有提升。到处是干货,但是并没什么用,简单来说就是缺乏系统化。另外,噪音太多,雷同的框架一大把,我不至于全都要去学了吧。这里,根据基础、Java基础、Java进阶给分了下类,挑的也都是最常用最重要的工具。基础知识数据结构基本的数据结构是非常重要的,无论接触什么编程语言,这些基本数据结构都是首先要掌握的。具体的实现,就体现在java的集合类中。这些数据结构,
java领域
·
2023-11-29 17:43
java
面试
开发语言
经验分享
程序人生
4. MQ消息的可靠性&处理消息丢失
一分析数据的丢失问题,可能出现在生产者、MQ、消费者中,咱们从RabbitMQ和
Kafka
分别来分析一下吧。
花神子
·
2023-11-29 14:47
线上异步任务突然不能回写100%
kafka
监听每个sql的执行状态,所有sql执行完成,更新作业进度和状态。系统运行一段时间之后,突然频繁出现作业进度不能更新到100%。这个系统部署了多个项目现场,稳定运行多年。
爱晒太阳的小老鼠
·
2023-11-29 12:23
java
#
问题排查
#
高并发
java
kafka
Kafka
保证消息消费全局顺序性
当有消息被生产出来的时候,如果没有指定分区或者指定key,那么消费会按照【轮询】的方式均匀地分配到所有可用分区中,但不一定按照分区顺序来分配我们知道,在
Kafka
中消费者可以订阅一个或多个主题,并被分配一个或多个分区如果一个消费者消费了多个分区
!chen
·
2023-11-29 11:53
kafka
分布式
Java第十二篇:连接安全版
kafka
(Kerberos认证)出现的问题解答
Couldnotfinda‘
Kafka
Client’entryintheJAASconfiguration问题现象问题原因原因没有找到,怎么引起的倒是很清楚。
踩坑又填坑
·
2023-11-29 10:06
java
kafka
Spring 对Apache
Kafka
的支持与集成
1.引言Apache
Kafka
是一个分布式的、容错的流处理系统。在本文中,我们将介绍Spring对Apache
Kafka
的支持,以及原生
Kafka
Java客户端Api所提供的抽象级别。
liululee
·
2023-11-29 10:46
canal+
kafka
,canal.instance.filter.regex不生效问题解决
问题描述:canal+
kafka
+mysql的方式进行数据同步,instance.properties中配置的过滤器不生效canal.instance.filter.regex,所有表的改动都会向
kafka
和所有的烦恼说拜拜
·
2023-11-29 09:32
kafka
常用配置
WillnotattempttoauthenticateusingSASL(unknownerror)最后发现是尝试,在我自己程序运行端(也就是java程序跑的所在机器,我自己的笔记本电脑上,加入了zk服务器的ip和服务器名映射关系,没想到竟然解决了,我只能说操蛋啊,查了几个小时,因为是spring或者是程序配置问题,主要引起我注意的是Willnotattempttoauthenticateusi
松myth
·
2023-11-29 08:00
Kafka
kafka
服务器
分布式
Kafka
学习笔记(四):在Ubuntu18.04上搭建
kafka
的环境
目录前言一、安装JDK1.8二、安装
Kafka
三、参考四、导航前言
Kafka
是需要Zookeeper来搭建集群环境的,当然
Kafka
自带了Zookeeper来部署单节点环境。
原来是小雨啊
·
2023-11-29 08:23
Java进阶之路
Ubuntu 环境安装
Kafka
、配置运行测试
Kafka
流程笔记
Kafka
介绍
Kafka
是一个由Apache软件基金会开发的开源流式处理平台。它被设计用于处理大规模数据流,提供高可靠性、高吞吐量和低延迟的消息传递系统。
天河书阁 VicRestart
·
2023-11-29 08:18
kafka
ubuntu
kafka
笔记
HCIA-Big Data华为认证大数据工程师 习题册 含答案
分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算7.Flink流批一体分布式实时处理引擎8.Flume海量日志聚合9.Loader数据转换10.
Kafka
k Chivalrous man
·
2023-11-29 08:16
大数据
大数据
华为
Java后端
开发——MVC商品管理程序
Java后端
开发——MVC商品管理程序本篇文章内容主要有下面几个部分:MVC架构介绍项目环境搭建商品管理模块Servlet代码重构BaseServlet文件上传MVC是模型-视图-控制器(Model-View-Controller
星川皆无恙
·
2023-11-29 08:37
JAVA后端开发
大数据
java
mvc
开发语言
大数据
eclipse
mysql
Java后端
开发——JDBC(万字详解)
Java后端
开发——JDBC(万字详解)今日目标掌握JDBC的的CRUD理解JDBC中各个对象的作用掌握Druid的使用1,JDBC概述在开发中我们使用的是java语言,那么势必要通过java语言操作数据库中的数据
星川皆无恙
·
2023-11-29 08:05
大数据
java
开发语言
大数据
后端
Java后端
使用XWPFDocument生成word文档,踩坑
以下都是借鉴网上内容:环境纯后端,java,spring项目maven管理.maven内容:org.apache.poipoi-ooxml3.16org.apache.poipoi-scratchpad3.16org.apache.poiooxml-schemas1.3运行时候如果报错:XmlOptions.setEntityExpansionLimit()方法找不到,那就是xmlbeans版本太
Nice康
·
2023-11-29 07:22
java
word
开发语言
Spark Streaming +
Kafka
构建实时数据流
1.使用Apache
Kafka
构建实时数据流参考文档链接:https://cloud.tencent.com/developer/article/18140302.数据见UserBehavior.csv
茶树油酸梅酱
·
2023-11-29 07:08
spark
kafka
json
hadoop
sql
Spark Streaming使用
Kafka
数据流示例
Spark作为目前最流行的分布式计算框架,可用于处理实时数据流,本文主要介绍SparkStreaming如何使用
Kafka
数据流做分析,具体使用的版本信息见pom配置。
追风落叶乔木生
·
2023-11-29 07:34
大数据
kafka
spark
java
大数据
Spark Streaming提取数据
它支持的流资包括HDFS、
Kafka
、Flume以及自定义流等。SparkStreaming操作可以从故障中自动恢复,这对于在线数据处理十分重要。
简单不过l
·
2023-11-29 07:29
Spark
spark
streaming
SparkStreaming之基本数据源输入
(2)高级源(Advancedsources):这些源包括
Kafka
,Flume,Kinesis,Twitter等等。1、基本数据源输入源码SparkStre
coco_ethan
·
2023-11-29 07:59
spark
SparkStreaming
基本数据源
使用Spark Streaming处理
Kafka
数据流
Kafka
作为优秀的日志采集系统,可以作为SparkStreaming的高级数据源,本文主要介绍如何使用SparkStreaming实时处理
Kafka
传递过来的数据流。
打酱油的葫芦娃
·
2023-11-29 07:28
大数据
spark
kafka
linq
java代码质量相关插件(PMD|JaCoCo|sonar)关于maven及IDEA使用及配置
java后端
项目代码质量检测集成插件静态代码分析:PMD代码测试用例覆盖率:jacoco持续代码质量检查:sonar注:后续主要介绍,如何在maven和idea上提成上述插件二、静态代码分析插件集成PMD
击歌吟
·
2023-11-29 06:43
Java
代码质量
Maven
Flink流批一体计算(22):Flink SQL之单流
kafka
写入mysql
1.准备工作什么是
Kafka
源表
Kafka
是分布式、高吞吐、可扩展的消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。
victory0508
·
2023-11-29 06:08
flink
sql
kafka
Kafka
如何防止消息丢失+如何防止消息重复消费
消息的确认机制)如何防止消息的重复消费如何做到顺序消费如何防止消息丢失(消息的确认机制)其实就是消息的确认机制,我们从两个角度去思考:1.生产者这里(同步发送设置ack);2.消费者(39条消息)Java代码实现
kafka
Fairy要carry
·
2023-11-29 06:45
kafka
kafka
java
分布式
【
Kafka
】【二十三】
Kafka
优化之防止消息丢失和重复消费
Kafka
优化之防止消息丢失和重复消费如何防止消息丢失⽣产者:1)使⽤同步发送2)把ack设成1或者all,并且设置同步的分区数>=2消费者:把⾃动提交改成⼿动提交如何防止重复消费在防⽌消息丢失的⽅案中
BirdMan98
·
2023-11-29 06:13
Kafka
kafka
java
分布式
kafka
怎么保证不丢失消息和不重复消费消息
给大家推荐一款好用的CSDN云服务,新人首购折扣哦,点击下图跳转:
kafka
学习目录:
kafka
目录文章目录一、生产者推送消息时怎么保证消息不丢失和不重复1.1、总体概况1.1.2、什么是ISR呢?
悬浮海
·
2023-11-29 06:12
#
Kafka
kafka
kafka丢失数据
kafka重复消费数据
Kafka
消息保证不丢失和重复消费问题
使用同步模式的时候,有3种状态保证消息被安全生产,在配置为1(只保证写入leader成功)的话,如果刚好leaderpartition挂了,数据就会丢失。还有一种情况可能会丢失消息,就是使用异步模式的时候,当缓冲区满了,如果配置为0(还没有收到确认的情况下,缓冲池一满,就清空缓冲池里的消息),数据就会被立即丢弃掉。在数据生产时避免数据丢失的方法:只要能避免上述两种情况,那么就可以保证消息不会被丢失
weixin_33724659
·
2023-11-29 06:12
kafka
数据不丢失不重复_
Kafka
如何保证百万级写入速度以及保证不丢失不重复消费...
正文前先来一波福利推荐:福利一:百万年薪架构师视频,该视频可以学到很多东西,是本人花钱买的VIP课程,学习消化了一年,为了支持一下女朋友公众号也方便大家学习,共享给大家。福利二:毕业答辩以及工作上各种答辩,平时积累了不少精品PPT,现在共享给大家,大大小小加起来有几千套,总有适合你的一款,很多是网上是下载不到。获取方式:微信关注精品3分钟,id为jingpin3mins,关注后回复百万年薪架构师,
weixin_39893274
·
2023-11-29 06:12
kafka数据不丢失不重复
kafka
数据不丢失不重复_
Kafka
怎样保证消息不丢失?不重复?怎样保证消息顺序?
你知道
Kafka
要如何才能够保证消息不丢失不重复,怎样保证消息顺序吗?在java面试当中这是比较常见的java面试题了,下面一起来看看答案吧。
weixin_39897392
·
2023-11-29 06:12
kafka数据不丢失不重复
kafka
数据不丢失不重复_
Kafka
保证消息不丢失不重复
简单总结:消费端重复消费:建立去重表消费端丢失数据:关闭自动提交offset,处理完之后受到移位,enable.auto.commit=false关闭自动提交位移生产端重复发送:消费端消费之前从去重表中判重生产端丢失数据:这个是最麻烦的情况解决策略:1.异步方式缓冲区满了,就阻塞在那,等着缓冲区可用,不能清空缓冲区2.发送消息之后回调函数,发送成功就发送下一条,发送失败就记在日志中,等着定时脚本来
小丸子书单
·
2023-11-29 06:41
kafka数据不丢失不重复
Kafka
消息的丢失和消息的重复消费
周末有空,想到之前项目中用到了消息队列,当时只是简单用了一下工具包,开发完功能需求之后,自己又去认真看来一下原理,现在有空就和小伙伴们分享一下吧,希望有问题的地方大家可以指正,互相交流。我们项目是在物联网场景下的,需要采集底层设备的数据,然后对数据进行分析处理,因为数据上传是频率还是很高的,所以项目中用了消息队列进行数据缓冲,上层从队列中读取设备上传的数据,进行数据清理,再进行前端展示,项目刚开始
Leexdao
·
2023-11-29 06:39
Kafka
kafka
java
消息队列
大数据篇--
Kafka
数据丢失、重复与消息顺序保证
文章目录一、
Kafka
介绍二、数据重复1.Consumer重复消费数据:2.幂等性:3.事务:三、数据丢失四、
Kafka
的优化建议1.broker端:2.Producer优化(producer.properties
小强签名设计
·
2023-11-29 06:08
大数据面试
Kafka
数据重复与丢失
【
Kafka
】——顺序消费、重复消费、消息丢失
前言
Kafka
可以说是为分布式而生的一个消息中间件,功能很强大,提到这个,我们可能就会想到消息中间件常提到的几个问题,消费的顺序性、重复消费、消息丢失等问题,接下来我们一一来看。
hy_coming
·
2023-11-29 06:37
KAFKA
kafka
分布式
顺序消费
重复消费
消息丢失
kafka
如何保证消息不丢失 不重复消费 消息的顺序
收到消息后会给生产者发送一个ack指令.生产者接收到broker发送成功的指令,这个时候我们就可以认为消息发送成功了.没有接收到ack指令我们就认为消息发送失败.publicvoidsendEventBy
Kafka
程序员小单
·
2023-11-29 06:04
kafka
分布式
利用docker&docker-compose实现
kafka
消息通信
一、
kafka
架构:参考文章:(125条消息)
Kafka
的点对点模式、发布订阅模式、基础架构_godkzz的博客-CSDN博客_
kafka
发布订阅模式(125条消息)
Kafka
原理及应用实践,用心看这篇就够了
古剑诛仙
·
2023-11-29 05:08
kafka
docker
java
Kafka
的ack机制
kafka
消息队列的方式目录概述小结:参考资料和推荐阅读LDistiggerforever,CGarenotbrothersforever,throwthepotandshineforever.Modestyisnotfalse
执于代码
·
2023-11-29 05:08
kafka
java
分布式
kafka
外部无法连接进行生产消费(服务器docker搭建)
kafka
外部无法连接进行生产消费(docker搭建)问题来源:这几天在使用java连接
kafka
的过程中一直出现一个错误,网上的无论是修改
kafka
内部的配置还是查找端口是否连通都无法解决,后面突然发现是一个一个配置的问题
只想做打工人
·
2023-11-29 05:05
kafka
docker
服务器
云服务器使用docker-compose安装
kafka
查了一些资料,终于改好了,整理一下发出来,记录一下,希望能帮到遇到问题的人容器选择本次使用bitnami/
kafka
,其实他们文档已经写得挺清楚了,但是我也是改了一段时间才改完,希望能方便不想看文档的兄弟们
超级小奸
·
2023-11-29 05:03
kafka
kafka
服务器
docker
elk笔记10--filebeat使用
elk笔记10--filebeat使用1filebeat介绍2filebeat使用案例2.1软件安装2.2采集数据到
kafka
2.3采集数据到es3使用技巧3.1filebeat将日志按照类别发送到不同
昕光xg
·
2023-11-29 05:32
Bigdata
filebeat
日志采集
mac docker安装
kafka
和宿主机连接
kafka
因为
kafka
依赖zookeeper,所以须要使用docker同时安装zookeeper和
kafka
坑:因为macOS的docker底层实现的不一样,网上的不少教程放在macOS中并不能成功运行,主要缘由是
91小姐姐
·
2023-11-29 05:02
kafka
docker
macos
Kafka
的Ack应答&&数据重复解决(幂等性原理及事务处理)
Ack应答Acks=0无论leader的数据有没有落盘都可以发送,但数据的可靠性就非常差,一般都不会用,效率高Acks=1当leader的数据落盘之后,follow不管有没有落盘,应答发送,可靠性中等,效率也中等(当leader挂了,重新选举leader,由于之前的应答,之前的数据就丢失了)Acks=-1只有当leader和isr中的follow的数据都落盘之后才能应答,效率最低,但数据的可靠性最
uixjhn
·
2023-11-29 05:31
kafka
kafka
kafka
中ack的三种参数配置
所以
Kafka
为用户提供了三种可靠性级别,用户根据对可靠性和延迟的要求进行权衡,选择以下的配置。
是小李呀~
·
2023-11-29 05:31
kafka
kafka
分布式
MacOs下使用 Docker 安装
Kafka
记录一下在mac下安装
kafka
的过程,可以给大家一个参考,避免踩坑。由于
kafka
依赖zookeeper,因此需要使用docker同时安装zookeeper和
kafka
。
余晖下的少爷
·
2023-11-29 05:00
kafka
docker
docker部署
kafka
3+zookeeper+eagle
1.检测docker网卡先看下网卡有哪些没有则创建网卡的作用dockercompose多个服务可以使用服务名dockernetworkls我这里是有zk-net网卡你没有就使用命令创建dockernetworkcreate-dbridgezk-net2.搭建zookeeper集群zookeeper.yamlversion:'3.1'networks:zk-net:name:zk-net#网络名se
joker.zeng
·
2023-11-29 05:00
docker
zookeeper
容器
kafka
分布式
上一页
50
51
52
53
54
55
56
57
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他