E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java后端kafka
40、Flink 的Apache
Kafka
connector(
kafka
source 和sink 说明及使用示例) 完整版
Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置(如何处理
一瓢一瓢的饮 alanchan
·
2023-11-24 15:41
#
Flink专栏
flink
kafka
flink
流批一体化
flink
sql
flink
hive
flink
kafka
flink
connector
【中间件】
kafka
目录一、概述二、生产者1.发送原理2.生产者分区Partition分区好处分区策略3.生产者如何提高吞吐量4.数据可靠性ACK应答级别数据不丢失:ACK+ISR数据不重复:幂等性数据有序三、broker1.工作流程2.副本相关3.底层存储4.高效读写数据四、消费者1.工作流程2.分区分配和重平衡3.offset位移一、概述定义:是一个分布式的基于发布/订阅模式的消息队列(MessageQueue)
和瑚
·
2023-11-24 13:11
#
消息队列
kafka
中间件
分布式
Flink-Exactly Once(如何保证数据的唯一性和不重复!)
kafka
中如何保证数据不丢失1.
kafka
中如何保证数据不丢失2.向
kafka
中sink数据packagecom.wt.flink.sinkimportorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.connec
a-tao必须奥利给
·
2023-11-24 11:52
flink
kafka
scala
大数据
分布式
大数据之使用Flink消费
Kafka
中topic为ods_mall_data的数据,根据数据中不同的表将数据分别分发至
kafka
的DWD层
,代码执行结果以及数据的展示无法给出,可参照我以往的博客其中有相同数据源展示题目:提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写)一、读题分析涉及组件:Scala,Flink,
Kafka
约定Da于配置
·
2023-11-24 11:49
大数据技术
kafka
大数据
flink
scala
spark
SpringBoot——》配置logback日志文件
推荐链接:总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【
Kafka
】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。
·
2023-11-24 10:11
SpringBoot
spring
boot
logback
log
为什么 Flink 抛弃了 Scala
曾经红遍一时的Scala想当初Spark横空出世之后,Scala简直就是语言界的一颗璀璨新星,惹得大家纷纷侧目,连
Kafka
这类技术框架也选择用Scala语言进行开发重构。
shengjk1
·
2023-11-24 10:40
Apache
Flink
flink
scala
大数据
java开发使用技术有哪些?
简介:自己学习
java后端
开发也有一段时间了,每天都在学习新的知识点,学了一段时间之后,发现脑子越来越不够用了,需要记得东西太多,而用的却不勤,导致了很多知识点掌握的并不牢固,所以需要经常复习。
Lalalajtyy
·
2023-11-24 10:42
java
java-ee
maven
jar
详解分布式微服务架构
目录一、微服务简介1、分布式微服务架的诞生2、微服务架构与SOA架构的区别3、微服务框架引来的问题二、服务通信RESTfulAPI:消息队列(如RabbitMQ、
Kafka
):gRPC:GraphQL:
不想步入秃头的年龄
·
2023-11-24 09:22
架构
分布式
微服务
Java后端
接口返回视频流,使用video组件播放视频,实现分段下载
视频文件保存在不为人知的地方,总之前端不能直接访问的位置,需要通过后端接口取出来再返回给前端。前端这样子播放src=后端接口如果后端直接这样子写//path为本地文件路劲publicvoidplay(Stringpath,HttpServletRequestrequest,HttpServletResponseresponse){//获取视频文件流FileInputStreamfileInputS
eduiH
·
2023-11-24 09:50
功能实现
java
后端
音视频
Kafka
应用总结
在今年的两个项目中,为了处理大量的游戏日志,于是引入了
kafka
。经过一段时间的运行,现将整个应用的过程做一个记录和归档。
筑梦之队
·
2023-11-24 07:19
Echarts+vue+java+mysql实现数据可视化
Java后端
:用于创建后端应用程序,提供数据API和数据库连接。Vue.js前端:用于构建前端界面,呈现数据可视化图表。ECharts:用于创建各种类型的图表和数据可视化。步
咕噜咕噜wy
·
2023-11-24 07:14
vue
echarts
vue.js
java
Flink实战(八十二):flink-sql使用(九)Flink sql 解析复杂(嵌套)JSON
原文链接:http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-
kafka
-format-json-schema-json-object-td4665
王知无(import_bigdata)
·
2023-11-24 06:44
Flink系统性学习专栏
json
flink
sql
Kafka
Replication: The case for MirrorMaker 2.0
Apache
Kafka
hasbecomeanessentialcomponentofenterprisedatapipelinesandisusedfortrackingclickstreameventdata
weixin_30685047
·
2023-11-24 05:40
大数据
Kafka
Broker
文章目录
Kafka
Broker
Kafka
Broker工作流程Zookeeper存储的
Kafka
信息
Kafka
Broker总体工作流程Broker重要参数生产经验-节点服役和退役服役新节点退役旧节点
Kafka
Smartaotao
·
2023-11-24 04:46
Kafka
kafka
Kafka
-Eagle监控
Kafka
-Eagle监控前言一、MySQL环境准备二、
Kafka
环境准备
Kafka
-Eagle安装前言
Kafka
-Eagle框架可以监控
Kafka
集群的整体运行情况,在生产环境中经常使用提示:官网-https
Smartaotao
·
2023-11-24 04:46
Kafka
kafka
Kafka
集成Flink
集成Flink一、Flink环境准备二、Flink生产者1.在包名下创建java类:Flink
Kafka
Producer三、Flink消费者Flink是一个在大数据开发中非常常用的组件。
Smartaotao
·
2023-11-24 04:46
Kafka
kafka
Kafka
消费者
Kafka
消费者
Kafka
消费方式
Kafka
消费者工作流程消费者总体工作流程消费者组原理消费者重要参数消费者API独立消费者案例(订阅主题)独立消费者案例(订阅分区)消费者组案例生产经验-分区的分配以及再平衡
Smartaotao
·
2023-11-24 04:16
Kafka
kafka
SpringMVC入门使用
本篇记录SpringMVC的使用,初学
Java后端
,各种大佬轻拍。
h2coder
·
2023-11-24 04:56
前端开发总结 学习历程
毕业时我选了
java后端
,现在我换选前端。毕竟现在对前端感兴趣而兴趣是最大的老师JS编程小技巧2021/4/12准备从宝信离开且
跳动的世界线
·
2023-11-24 01:27
学习笔记
javascript
jquery
vue
es6
前端
k8s集群引入外部服务
kafka
apiVersion:v1kind:Servicemetadata:labels:app:
kafka
name:
kafka
namespace:apache-sparkspec:type:ClusterIPports
青春不流名
·
2023-11-24 00:36
hadoop
Docker Swarm总结+service创建和部署、overlay网络以及Raft算法(2/3)
博主介绍:Java领域优质创作者,博客之星城市赛道TOP20、专注于前端流行技术框架、
Java后端
技术领域、项目实战运维以及GIS地理信息领域。
hhzz
·
2023-11-24 00:04
docker
容器
运维
docker 部署 zookeeper &
kafka
文章目录Zookeeper集群部署1.官方下载二进制包2.初始化3.修改配置文件4.启动5.查看集群状态
Kafka
集群部署Zookeeper集群部署主机名称IP地址mypidzookeeper_110.160.1.51zookeeper
小伙计~
·
2023-11-23 23:24
Linux
容器
kafka
docker
zookeeper
Hadoop常用组件zookeeper,
kafka
Hadoop常用组件zookeeper,
kafka
ZooKeeper是一个开源的分布式应用程序协调系统。
wayne342175926
·
2023-11-23 23:22
大数据
hadoop
kafka
zookeeper
zookeeper和
kafka
的理解
Zookeeper是什么ZooKeeper翻译一下就是“动物园管理员”,他是一些管动物的管理员,关于他的名字来源给你们找来了,可以看看。关于“ZooKeeper”这个项目的名字,其实也有一段趣闻。在立项初期,考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说:“在
☞心态☜
·
2023-11-23 23:51
zookeeper
kafka
分布式
Zookeeper+
kafka
搭建+验证
一、JDK配置1.Zookeeper和
kafka
都依赖于JDK因此首先需要在服务器上安装JDK,在官网下载或者百度下载JDK8.linux版本的压缩包。
笨小鬼
·
2023-11-23 23:50
zookeeper
kafka
big
data
kafka
开启JMX,EFAK要监控
kafka
服务器?
目录先看看效果首页EFAKTVMonitor
kafka
为啥开启JMX软件的版本号部署的服务器EFAK的配置文件(参考)(重点)修改
kafka
的配置,开启JMX先看看效果首页EFAK的
kafka
os下的Memory
技术武器库
·
2023-11-23 23:18
吐血整理
kafka
java
分布式
CentOS 7安装Zookeeper和
Kafka
home/install_package下主机:主机浮动IP是10.11.0.200,主机IP是192.168.57.30安装包apache-zookeeper-3.8.1-bin.tar.gz下载路径
kafka
不会画画的画师
·
2023-11-23 23:47
操作系统
kafka
java-zookeeper
zookeeper
关闭
kafka
和zookeeper的jmx端口
关闭
kafka
和zookeeper的jmx端口这是一个随机端口还监听在0.0.0.0上关闭方式在systemctl里设置环境变量Environment="
KAFKA
_JMX_OPTS=-Dcom.sun.management.jmxremote.host
cumt_TTR
·
2023-11-23 23:17
linux
kafka
zookeeper
使用JMX监控ZooKeeper和
Kafka
JVM默认会通过JMX的方式暴露基础指标,很多中间件也会通过JMX的方式暴露业务指标,比如
Kafka
、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
跟着大数据和AI去旅行
·
2023-11-23 23:16
大数据企业级实战
zookeeper
kafka
监控
面试:
Kafka
相关问题
文章目录简单介绍
kafka
kafka
应用场景为什么需要zookeeperZookeeper对于
Kafka
的作用是什么?
青鱼入云
·
2023-11-23 22:00
Java面试
mq
面试
kafka
Kafka
0.10.0 SASL/PLAIN身份认证及权限实现
注:大部分内容转自:http://matt33.com/2016/07/29/sasl-plain-
kafka
/
Kafka
安全机制
Kafka
的安全机制主要分为两部分:身份认证(Authentication
小孩真笨
·
2023-11-23 22:36
Java后端
最简单的分页查询
Java后端
最简单的分页查询前言:学了mysql后,我们知道limit的使用方法,可以按照自己规定索引处开始并且查出自己需要的记录。
我是日中天
·
2023-11-23 21:11
java
详解Redis的使用及缓存特性
这是springBoot框架的第二篇,REDIS的使用关联文章SpringBoot工程搭建详解缓存Redis详解数仓ElasticSearch详解消息中间件
Kafka
本文目录回答三个问题SpringBoot
知春路SpideMan
·
2023-11-23 18:00
中间件Middleware
redis
java
分布式
缓存
jedis
kafka
介绍及使用
一、MAC环境下安装启动
kafka
1、安装
kafka
brewinstall
kafka
复制代码安装详情安装详情里面包含一些使用介绍,主要包括几个部分:安装
kafka
前默认安装了zookeeper,说明
kafka
码无可码
·
2023-11-23 18:23
日常使用
kafka
mac安装kafka
KafkaTemplate
这套JVM快速面试指南(GitHub标星51.7K),轻松收阿里/字节Offer
在这利用空余时间针对大厂
Java后端
面试整理了一份《JVM快速面试指南》,初衷也很简单,就是希望在面试的时候能够帮助到大家,减轻大家的负担和节省时间,帮助
三星老猿
·
2023-11-23 18:19
大数据-数仓-数据采集-业务数据(三):增量同步采集【MySQL-(Maxwell)->
Kafka
-(Flume)->HDFS】【每日增量:每天只将业务数据中新增及变化的数据同步到数据仓库】
增量同步策略解释:每日增量,就是每天只将业务数据中的新增及变化的数据同步到数据仓库中,适用:表数据量大,且每天只会有新的数据插入的场景,特点:采用每日增量的表,通常会在首日先进行一个全量同步。例如:退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表Maxwell的实现原理很简单,就是将自己伪装成Slave,并遵循Mysql主从复制的协议,从master中同步数据。Maxwel
u013250861
·
2023-11-23 18:41
#
大数据
Kafka
生产者、消费者命令行操作
Kafka
生产者、消费者命令行操作1.查看操作生产者命令参数bin/
kafka
-console-producer.sh参数--bootstrap-server,连接的
Kafka
Broker主机名称和端口号
不想起床32
·
2023-11-23 18:40
kafka
java
mybatis
Flume数据采集项目常见问题——(一)
目录1HDFS无法看到当天日志如何解决(二分法去找错误)2日志文件数据采集到
kafka
为什么选择
kafka
channel?3Maxwell的原理?4Maxwell如何实现断点续传?
平平无奇程序猿
·
2023-11-23 18:09
flume
kafka
大数据
如何在
kafka
中创建topic
如何在
kafka
中创建topic在使用
kafka
发送消息和消费消息之前,必须先要创建topic,在
kafka
中创建topic的方式有以下3种:如果
kafka
broker中的config/server.properties
不想起床32
·
2023-11-23 18:09
kafka
java
分布式
Maxwell安装部署消费到
kafka
集群
1.上传安装包到linux系统上面2.解压安装包到安装目录下,并且重命名[root@VM-4-10-centospackage]#tar-zxvfmaxwell-1.29.2.tar.gz-C/opt/software/3.配置mysql增加以下配置#数据库idserver-id=1#启动binlog,该参数的值会作为binlog的文件名log-bin=mysql-bin#binlog类型,max
Appreciate(欣赏)
·
2023-11-23 18:07
Maxwell
大数据
Maxwell解析binlong同步到
kafka
一、准备javaJDK版本:javaversion"1.8.0_221"mysql版本:5.6.33-logMySQLCommunityServer(GPL)Maxwell下载地址:https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz(注意:Maxwell-1.30.0及以上版本不再支持
会飞的火轮
·
2023-11-23 18:05
etl
kafka
【大数据】数仓5.0_业务采集➕数据同步策略(数仓环境搭建完成)
目录前言一、日志采集flumein
kafka
1.配置flume2.日志采集flume测试3.日志采集Flume启停脚本(针对file_to_
kafka
.conf)二、业务数据采集平台1.电商业务简介1.1
欧叶冲冲冲
·
2023-11-23 18:04
数仓
大数据
zookeeper
hive
flume
kafka
hdfs
数据仓库
maxwell坑
在使用maxwell同步到
kafka
的过程中,发现一个巨坑,topic名称写错了,不会有错误消息输出,根本不知道哪里出问题了。
aoerqileng
·
2023-11-23 18:33
MYSQL
python操作
kafka
报错 self.async
python操作
kafka
报错:return''%self.asyncreturn''%self.async^^^^^SyntaxError:invalidsyntax原因:因为py3.7里面async
向上的车轮
·
2023-11-23 18:31
笔记
python
kafka
开发语言
maxwell采集数据到
kafka
报错
13:29:14,727ERRORMaxwell
Kafka
Producer-TimeoutException@Position[BinlogPosition[binlog.000002:12215591
Appreciate(欣赏)
·
2023-11-23 18:00
Maxwell
kafka
kafka
springboot+redission消息队列应用探索
在分布式系统中必备的一个中间件就是消息队列,通过消息队列对服务与服务间进行异步处理、应用解耦、流量削峰,常用的消息中间件有rabbitmq、rocketmq、
kafka
等。
ldcaws
·
2023-11-23 17:24
springboot
redis
spring
boot
java
redis
消息中间件选型&RabbitMQ基础入门
概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,
Kafka
Allen-xs
·
2023-11-23 16:07
中间件
rabbitmq
中间件
RabbitMQ快速入门和使用
实现方式:AMQP,JMS常见产品:activeMQ,zeroMQ,RabbitMQ,RocketMQ,
kafka
安装R
1凌霄1
·
2023-11-23 16:59
Java
rabbitmq
java
分布式
消息中间件——RabbitMQ入门介绍
一、选用RabbitMQ消息队列产品有很多,比如说常见的有RocketMQ、RabbitMQ、ActiveMQ和
Kafka
。其中
Kafka
的性能是最好的,并发量比较大,而且消息收发的速度也非常快。
何壹时
·
2023-11-23 16:58
消息中间件实战
rabbitmq
kafka
java
消息队列
中间件
快速入门RabbitMQ
文章目录1.MQ引言1.1什么是MQ1.2不同MQ特点1.2.1ActiveMQ1.2.2
Kafka
1.2.3RocketMQ1.2.4RabbitMQ1.3MQ的应用场景1.3.1异步处理1.3.2应用解耦
Code0cean
·
2023-11-23 16:57
消息中间件
rabbitmq
java
spring
boot
上一页
56
57
58
59
60
61
62
63
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他