E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java后端kafka
【实战-08】flink DataStream 如何实现去重
摘要假设我们有一批订单数据实时接入
kafka
,flink需要对订单数据做处理,值得注意的是订单数据要求绝对不可以重复处理。
笔生花
·
2023-11-10 11:55
Flink实战经验
flink
大数据
Kafka
JNDI 注入分析(CVE-2023-25194)
Apache
Kafka
ClientsJndiInjection漏洞描述Apache
Kafka
是一个分布式数据流处理平台,可以实时发布、订阅、存储和处理数据流。
合天网安实验室
·
2023-11-10 11:45
经验分享
漏洞挖掘
渗透测试
kafka
JNDI注入
漏洞复现
漏洞修复
java流在页面上显示图片_前端Web界面,显示
Java后端
的图片流
最近在做一个寺庙相关信息的大屏显示系统时,由于使用的历史系统后台,跨域问题较难解决,最后决定使用图片流的方式,在前端显示图片。后端Java如下:@RequestMapping(value="/getFileStream",method=RequestMethod.GET)publicvoidpdfStreamHandler(HttpServletRequestrequest,HttpServlet
涨势旺盛的韭菜
·
2023-11-10 08:11
java流在页面上显示图片
vue前端预览word,
java后端
返回数据流
vue前端预览word,后端返回数据流vue下载插件
[email protected]
前端代码预览-->关闭importaxiosfrom"axios";import{getWordFile}from"@/api/repeat";import{getToken}from'@/utils/auth'constdocx=require("docx-preview");win
王永停
·
2023-11-10 08:04
前端
vue.js
java
Java后端
发送文件至前端下载
在从后端发送文件至前端时:如没有修改:response.setContentType("text/html;charset="utf-8");这一项时,浏览器会将文件解析为text文件,直接在浏览器中打开而不会提示下载选项所以这时我们需要将response.setContentType里面的内容修改为对应的数据:如返回文件类型为Excel表格时可以这样写:response.setContentTy
c79965
·
2023-11-10 08:00
前端
后端
java
Java后端
根据图片的 url 地址返回流给前端发请求下载
@RequestMapping(value="/downPosterImg.get",method=RequestMethod.GET)publicJsonDTOgetRequest(@RequestParamStringimgUrl,HttpServletResponseresponse){Stringfilename="PosterImg_"+newDate().getTime()+".png
#老程
·
2023-11-10 08:29
Java
java
线程池的工作原理
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-11-10 08:24
面试干货
java
线程池
JAVA后端
服务端与移动端客户端高精度时间同步思路
一、脑补在Chrome--->Network---->Timing中可以查看一个请求在各个阶段所花费的时间。Timing中各个字段的意思发:1、Queueing:从增加到等待处理队列到实际开始处理的时间间隔——浏览器也有线程机制,所有的请求不能同时发送,也需要队列排队处理请求。2、Stalled:浏览器从请求队列获取到要发出的请求到请求可以发出的等待时间(通常为代理协商以及等待可复用的TCP连接释
GeeLoong
·
2023-11-10 08:23
java
开发语言
Timing
性能优化
Kafka
中遇到的错误:
1、原因:
kafka
是一个去中心化结果的,所以在启动
Kafka
的时候,每一个节点上都需要启动。
新手小农
·
2023-11-10 07:49
Kafka
2.11-1.0.0
kafka
分布式
kafka
开启SSL认证(包括内置zookeeper开启SSL)
zookeeper和
kafka
的SSL开启都可单独进行生成SSL证书使用jre自带的keytool工具生成,linux和windows下生成的证书可以通用生成含有一个私钥的keystore文件,有效期10
mgker
·
2023-11-10 06:49
kafka
ssl
zookeeper
Kafka
安装配置与部署
Kafka
安装配置与部署简介一、基本概念二、环境配置三、操作过程简介
Kafka
是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统,由Scala和Java编写。
凤梨苏小姐
·
2023-11-10 06:26
kafka
java
分布式
Kafka
安装与配置
Kafka
安装与配置Apache
Kafka
是一个分布式流处理平台,它具有高吞吐量、低延迟和高可用性等特点。本文将详细讲解
Kafka
的安装与配置过程。
~奔跑的简默~
·
2023-11-10 05:22
Kafka系列
kafka
分布式
大师拷贝---
kafka
和zookeeper结合搭建系统
一、参考二、javajdk安装配置三、Zookeeper安装配置四、
Kafka
集群搭建五、测试验证一、参考http://www.cnblogs.com/luotianshuai/p/5206662.htmlhttps
考白大师
·
2023-11-10 05:49
微服务
kafka
zookeeper
/opt/hbase/conf 中不能启动hbase_ZK、Flume、
Kafka
、hbase、Spark安装
一、Zookeeper安装1.解压2.把conf文件夹下配置文件改个名字cpzoo_sample.cfgzoo.cfg3.编辑zoo.cfg,配置datadirdataDir=/opt/modules/zookeeper-3.4.10/zkData4.配置集群机器,每台机器分配一个不同的Serveridserver.1=clay01:2888:3888server.2=clay02:2888:38
weixin_39620679
·
2023-11-10 05:14
/opt/hbase/conf
中不能启动hbase
Java架构师分布式搜索数据迁移
目录1Canal配合
kafka
来实现同步数据到ES1.1Java客户端canal1.1.1引入库1.1.2canal客户端代码实例2
Kafka
相关配置Canal检测数据发送
kafka
同步数据到ES2.1application.yml2.2
kafka
赵广陆
·
2023-11-10 03:47
architect
java
分布式
linq
kafka
-go操作
kafka
packagemainimport("context""fmt""os""os/signal""syscall""time""github.com/segmentio/
kafka
-go")var(topic
=(^.^)=哈哈哈
·
2023-11-10 03:04
golang
kafka
linq
大数据开发笔记(十):Hbase实践
大数据开发笔记推荐:大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识,包括不限于hdfs、yarn、mapreduce、hive、sqoop、
kafka
GoAI
·
2023-11-10 02:56
#
Hbase
大数据笔记
大数据
hadoop
mysql
zookeeper
hbase
Flink SQL JSON Format 源码解析
用FlinkSQL解析JSON格式的数据是非常简单的,只需要在DDL语句中设置Format为json即可,像下面这样:CREATE TABLE
kafka
_source ( funcName STRING
JasonLee实时计算
·
2023-11-10 01:03
java
android
大数据
json
stream
flink sql 处理自定义json解析
首先定义source表CREATETABLE
kafka
(json_datastring,typestring,t
J.xx
·
2023-11-10 01:53
flink
flink
flink
sql
Leo赠书活动-06期 【强化学习:原理与Python实战】文末送书
✅作者简介:大家好,我是Leo,热爱
Java后端
开发者,一个想要与大家共同进步的男人个人主页:Leo的博客当前专栏:赠书活动专栏✨特色专栏:MySQL学习本文内容:Leo赠书活动-06期【强化学习:原理与
LeoToJavaer
·
2023-11-10 00:05
CSDN送书活动
python
开发语言
Java程序员职业生涯规划
1、由于我本人是
Java后端
开发出身,因此所推荐的学习内容是JavaWeb和J
光何
·
2023-11-10 00:14
B学习生活
Java程序员
职业生涯规划
程序员
kafka
的topic,broker,partition之间的关系
一个topic对应多个partition,partition分布在多broker上,多broker一起提供
kafka
服务。
kafka
中,Topic是一个存储消息的逻辑概念,可认为为一个消息的集合。
小甄笔记
·
2023-11-09 14:41
kafka
设计模式之生产者消费者模式
学习领悟了这种设计模式,才可以真正理解消息中间件实现的底层思想,比如
Kafka
、RocketMQ、RabbitMQ等。建议收藏:关于synchronized关键字、wait()、not
大脑补丁
·
2023-11-09 14:29
多线程编程
设计模式
生产者消费者模式
java生产者消费者模式
生产者模式
java并发模式
wait和notify实现
SpringBoot整合
Kafka
(一)
前言本文主要讲了SpringBoot整合
Kafka
文章,如果有什么需要改进的地方还请大佬指出⛺️作者简介:大家好,我是青衿☁️博客首页:CSDN主页放风讲故事每日一句:努力一点,优秀一点目录文章目录前言
放风讲故事
·
2023-11-09 12:07
spring
boot
kafka
后端
SpringBoot整合
Kafka
(二)
前言本文主要讲了SpringBoot整合
Kafka
文章,如果有什么需要改进的地方还请大佬指出⛺️上文链接:SpringBoot整合
Kafka
(一)作者简介:大家好,我是青衿☁️博客首页:CSDN主页放风讲故事每日一句
放风讲故事
·
2023-11-09 12:07
spring
boot
kafka
后端
Kafka
知识点学习【
Kafka
学习之24问-第二十四刊】
文章目录
kafka
面试题01、
kafka
如何获取topic主题的列表?02、
kafka
中生产者和消费者的命令行是什么?03、
kafka
中的consumer是推还是拉?
普修罗双战士
·
2023-11-09 11:49
kafka
学习
linq
面试
java
java-zookeeper
Flink的并行度和
Kafka
的partition的结合
flink
kafka
实现反序列化:packageFlink_
Kafka
;importcom.alibaba.fastjson.JSON;importorg.apache.flink.api.common.serialization.DeserializationSchema
月疯
·
2023-11-09 11:37
【Flink】
flink
尚硅谷大数据项目《在线教育之实时数仓》笔记007
P053P054P055P056P057P058P059P060P061P062P063P064P065第9章数仓开发之DWD层P0539.6用户域用户注册事务事实表9.6.1主要任务读取用户表数据,读取页面日志数据,关联两张表补全用户注册操作的维度信息,写入
Kafka
upward337
·
2023-11-09 10:28
#
大数据数仓
大数据
大数据数仓
实时数仓
hadoop
zookeeper
kafka
flink
kafka
分区数和log.segment.bytes引发的
kafka
主题数据总字节数的疑问
突然想到一个问题,①
kafka
broker的log.segment.bytes配置指定触发日志片段关闭的最大字节总数,当日志片段大小该值时,当前日志片段会被关闭,新的日志片段会被打开。
东河西
·
2023-11-09 09:44
kafka
分布式
kafka
一、安装
kafka
1.需要安装jdk2.安装
kafka
这里用的
kafka
是二进制安装包[root@oracle~]#tarxf
kafka
_2.12-2.8.1.tgz-C/usr/local/[root
smile_pbb
·
2023-11-09 09:52
liunx
kafka
java
分布式
Java后端
开发面试知识总结——JavaSE部分
1.Java中是如何支持正则表达式操作的?java中的String类提供了支持正则表达式操作的方法,包括:matches()、replaceAll()、replaceFirst()、split()。Java中可以用Pattern类表示正则表达式对象,它提供了丰富的API进行各种正则表达式操作,如:importjava.util.regex.Matcher;importjava.util.regex
小白鼠捉大猫咪
·
2023-11-09 09:19
面试
java
Logstash与FileBeat详解以及ELK整合详解
才发现日志被删了很多运维人员是消防员,哪里有问题去哪里集中化日志管理思路:日志收集》格式化分析》检索和可视化》风险告警ELK架构ELK架构分为两种,一种是经典的ELK,另外一种是加上消息队列(Redis或
Kafka
Firechou
·
2023-11-09 06:25
#
ElasticSearch
elk
elasticsearch
日志篇- ES+Logstash+Filebeat+Kibana+
Kafka
+zk 安装配置与使用详解
1-学习目标ELK基本概念,特点安装部署Kibana+ES集群+Logstash+Filebeat+
Kafka
集群性能瓶颈以及优化QA汇总2-介绍2.1-基本概念Elasticsearch分布式搜索和分析引擎
鬼刺
·
2023-11-09 06:51
Linux应用
elasticsearch
kafka
大数据
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
Logstash与FileBeat详解以及ELK整合ELK架构ELK架构分为两种,一种是经典的ELK,另外一种是加上消息队列(Redis或
Kafka
或RabbitMQ)和Nginx结构。
逐风&者
·
2023-11-09 06:47
elk
java
开发语言
flink项目开发-配置jar依赖,连接器,类库
许多应用程序依赖特定的连接器库(如
kafka
,cassandra,等等)。Flink运行应用程序时(在分布式部署,或在IDE中测试),Flink运行时库必须是可用的。Flink核心依赖和应用依赖
大数据徐葳
·
2023-11-09 06:38
flink
flink项目依赖配置
flink
依赖配置
flink
依赖jar配置
Apache Flink-使用FlinkSQL开发应用
用户搜索时,服务端会把搜索数据发送的
Kafka
中。直接看Flink的部分吧,这部分做的事情就是消费
Kafka
中的数据然后基于EventTime(事件时间)的10分钟级别的滚动窗口统计搜索次数。
XiangYida
·
2023-11-09 06:33
Apache
Flink
java
flink
Flink 基础 -- 应用开发(项目配置)
至少,应用程序依赖于Flinkapi,此外,还依赖于某些连接器库(如
Kafka
,Cassandra)和第三方依赖,用户需要开发自定义函数来处理数据。1.1开始进行要开始使用Flink应用程序,请使
chinusyan
·
2023-11-09 05:56
BigData
flink
大数据
ELK、
Kafka
filebeat轻量级日志采集器ansibe剧本:实现es的批量部署ELK集群kibana安装filebeat上传filebeat解压,改名vifilebeat.yml修改配置修改添加注意:不加*会出不来但不报错运行案例:搜集nginx的日志:metricbeat(要搜集哪台服务器的日志就安装在哪,这台有nginx)kibana服务器上传meticbeat参考官方文档vi/etc/metricbe
--w--
·
2023-11-09 04:16
kafka
java后端
debug排查问题思路
问题排查思路这里说的是主要是debug以及线上问题排查的思路.解决问题的步骤确认环境、确定问题、复现问题、查看日志、定位问题、解决问题确认环境/url/参数确认是哪个环境。是开发环境,测试环境,还是生产环境。如果问题是在测试环境,去开发环境看问题,不一定能复现。如果采用了微服务架构,还要查看注册中心,服务是否生效,启用了哪一个实例。哪个接口?哪些参数?哪个时间段?确认url是否正确,参数有没有传错
乐之者v
·
2023-11-09 01:12
A1-系统设计
项目管理
工作实践/效率
java
后端
kafka
(一:分区数据不均衡(数据倾斜),分区分配策略)
最终导致
kafka
堵塞,数据消费不动。第一步:先停掉
kafka
中,上游和下游的代码,对分配数据较多的分区进行重新分配。
宇智波云
·
2023-11-08 22:37
kafka
kafka
分布式
Java工作经验6年,一步搞定你疑惑的数据结构与算法系列
基础JAVA基础JAVA集合JAVA多线程并发网络数据结构与算法框架SpringSpringMVCMyBatis设计模式分布式负载均衡ZookeeperRedisMQ/
kafka
微服务Netty与RPCSpringBootSpringCloudDubbo
数据库面试题
·
2023-11-08 22:34
程序员
面试
经验分享
java
SpringBoot
Kafka
生产者 多
kafka
配置
一、配置文件xxxxxx:
kafka
:bootstrap-servers:xx.xx.xx.xx:9092,xx.xx.xx.xx:9092producer:#设置大于0的值,则客户端会将发送失败的记录重新发送
大风起曦云飞扬
·
2023-11-08 22:33
spring
boot
kafka
后端
SpringBoot
Kafka
消费者 多
kafka
配置
一、配置文件xxxxxx:
kafka
:bootstrap-servers:xx.xx.xx.xx:9092,xx.xx.xx.xx:9092consumer:poll-timeout:3000key-deserializer
大风起曦云飞扬
·
2023-11-08 22:33
spring
boot
kafka
后端
kafka
微服务学习
消息中间件对比:1、吞吐、可靠性、性能
Kafka
安装
Kafka
对于zookeeper是强依赖,保存
kafka
相关的节点数据,所以安装
Kafka
之前必须先安装zookeeperDocker安装zookeeper
不减到100斤不吃锅包肉
·
2023-11-08 22:02
kafka
微服务
学习
消息中间件/消息队列——RabbitMQ
目录一、消息中间件1、简介2、消息中间件主要作用3、消息中间件的两种模式1、P2P模式2、Pub/Sub模式4、常用中间件介绍与对比1、
kafka
2、RabbitMQ3、RocketMQ二、RabbitMQ
fajixianshouhu
·
2023-11-08 22:23
rabbitmq
kafka
Kafka
入门
kafka
无疑是当今互联网公司使用最广泛的分布式实时消息流系统,它的高吞吐量,高可靠等特点为并发下的大批量实时请求处理提供了可靠保障。
程序员曦曦
·
2023-11-08 21:43
软件测试工程师
软件测试
自动化测试
kafka
分布式
功能测试
软件测试
自动化测试
程序人生
职场和发展
Flink-容错机制(检查点、状态一致性、端到端精确一次)
检查点的保存从检查点恢复状态检查点算法检查点配置保存点(Savepoint)状态一致性一致性的概念和级别端到端的状态一致性端到端精确一次(end-to-endexactly-once)输入端保证输出端保证Flink和
Kafka
迷雾总会解
·
2023-11-08 21:38
大数据
flink
大数据
别再使用YYYY-MM-dd,一次日期时间格式引发的问题
JAVA后端
在写代码时,中有一段日期格式用了YYYY-MM-dd,导致读取到的结果差了一年,应该返回的值是"2023-12-3123:59:59",返回的值却是"2023-12-3123:59:59"查了半天发现
健康马m
·
2023-11-08 21:58
java
Spark Streaming
SparkStreamingSparkStreaming概念SparkStreaming操作1netcat传入数据2DStream创建3自定义数据源4接受
kafka
数据DStream转换1无状态的转换2
program chef
·
2023-11-08 19:12
#
3计算Spark
spark
大数据
分布式
Jwt,Token,Cookie,Session之间的区别
✅作者简介:大家好,我是Leo,热爱
Java后端
开发者,一个想要与大家共同进步的男人个人主页:Leo的博客当前专栏:每天一个知识点✨特色专栏:MySQL学习本文内容:Jwt,Token,Cookie,Session
LeoToJavaer
·
2023-11-08 17:32
Leo知识块
Token
Jwt
上一页
67
68
69
70
71
72
73
74
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他