E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka流式处理
Flink on yarn 实时日志收集到
kafka
打造日志检索系统
点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算
·
2024-01-22 08:33
log4j
java
kafka
hadoop
大数据
ELK日志分析
Logstash(1)定义(2)插件①input②filter③output(三)可以添加的其它组件1.Filebeat(1)定义(2)filebeat结合logstash带来好处2.缓存/消息队列(redis、
kafka
江南字子川
·
2024-01-22 08:55
elk
JVM系列-3.类的生命周期
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-22 08:16
JVM
jvm
java
JVM系列-1.初识JVM
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-22 08:16
JVM
jvm
java
JVM系列-2.字节码文件详解
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-22 08:07
JVM
jvm
java
Kafka
(八)使用
Kafka
构建数据管道
目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358
·
2024-01-22 07:35
Kafka
kafka
分布式
kafka
入门(十):副本数据同步
Kafka
通过多副本机制实现故障自动转移,在
Kafka
集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v
·
2024-01-22 07:04
A1--kafka
kafka
Spark写入
kafka
(批数据和流式)
Spark写入(批数据和
流式处理
)Spark写入
kafka
批处理写入
kafka
基础#spark写入数据到
kafka
frompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush
·
2024-01-22 07:02
Spark阶段
spark
kafka
linq
大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、
kafka
)
第1章:数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念:为企业制定决策,提供数据支持的集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本,提高产品质量。数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包括对数据的:清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括:业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key
·
2024-01-22 07:29
大数据
hadoop
flume
kafka
hive
hdfs
Kafka
常见指令及监控程序介绍
kafka
在流数据、IO削峰上非常有用,以下对于这款程序,做一些常见指令介绍。
necessary653
·
2024-01-22 07:49
kafka
linq
分布式
Kafka
生产者投递内存池源码刨铣
大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常,无法申请。如果是等于poolableSize的话,就会判断free中是否有,有的话就直接从free中取出,没有的话再去申请(这个free可以里面为一个缓存,每次归还的时候会归还到free中(前提free
老耿
·
2024-01-22 06:02
java
kafka
内存池
源码解析
java-IO-高级流
高级流高级流(或者称为包装流)是基于原始字节流和字符流之上的一层
流式处理
机制。它们提供了更高级别的功能,使得流的使用更加方便和灵活。
Flying_Fish_roe
·
2024-01-22 04:36
java
开发语言
9.4 Lambda表达式
9.4Lambda表达式1Lambda语法2.基于Lambda实现函数式编程3.Stream
流式处理
1Lambda语法2.基于Lambda实现函数式编程3.Stream
流式处理
与海boy
·
2024-01-22 03:21
Java工程师(后端开发)
java
深入剖析:
Kafka
流数据处理引擎的核心面试问题解析75问(5.7万字参考答案)
Kafka
是一款开源的分布式流处理平台,被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究
Kafka
的基本原理、特点以及其在实际应用中的价值和作用。
danci_
·
2024-01-22 00:08
JAVA后端-刷题
java
kafka
中间件
面试
职场发展
程序人生
学习笔记
intellij idea 编译
kafka
源码
以下是针对
kafka
1.1.1版本编译流程及在idea中启动的步骤从GitHub网站,gitclone
kafka
源码下载安装好gradle,scala进入
kafka
项目目录,执行gradleidea如果出现如下
专职掏大粪
·
2024-01-21 20:52
Kafka
事务分析
Kafka
幂等性
Kafka
幂等性含义幂等性起初是在HTTP协议中定义,是指一次和多次请求同一个资源对资源本身应当具有同样的效果。
WestC
·
2024-01-21 17:26
Flink容错机制(二)
状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次(end-to-endexactly-once)10.3.1输入端保证10.3.2输出端保证10.3.3Flink和
Kafka
大数据阿嘉
·
2024-01-21 17:12
flink
大数据
Kafka
为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?
我们知道当消息生产者生产的速度快于消费者的消费速度时,会产生大量的消息积压,大多数人的想法是增加消费者的数量来提升消费速度,这个想法在RocketMQ中是可行的,但是在
Kafka
中不一定可行。
coffee_babe
·
2024-01-21 16:36
消息中间件
kafka
分布式
Kafka
消息不能正常消费问题排查
订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了,而订单数据是从mysql的order_search_info查询的,order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的,查不到说明同步有问题首先重启,同步数据,问题解决,然后查找原因。首先看日志,有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志(看着像是消息丢
Java识堂
·
2024-01-21 16:05
Kafka
kafka
分布式
消息中间件之
Kafka
(二)
1.
Kafka
线上常见问题1.1为什么要对topic下数据进行分区存储?
coffee_babe
·
2024-01-21 16:04
消息中间件
kafka
分布式
领航分布式消息系统:一起探索Apache
Kafka
的核心术语及其应用场景
本文是
Kafka
系列文章的第一篇,将带你了解
Kafka
的核心术语及其应用场景,后续会逐步探索其各方面的原理及应用场景。
超越不平凡
·
2024-01-21 15:27
分布式
kafka
kafka核心概念
kafka
同步、异步发送
kafka
producer默认是异步发送:在初始化producer实例时,会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区,消息根据topic-partition分类缓存消息达到
陆阳226
·
2024-01-21 13:59
kafka
(一)——简介
简介
Kafka
是一种分布式、支持分区、多副本的消息中间件,支持发布-订阅模式,多用于实时处理大量数据缓存的场景,类似于一个“缓存池”。
却道天凉_好个秋
·
2024-01-21 07:21
kafka
kafka
分布式
大数据开发之
kafka
(完整版)
第1章:
Kafka
概述1.1定义
Kafka
是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。
Key-Key
·
2024-01-21 07:19
大数据
kafka
分布式
kafka
入门(九):
kafka
分区分配策略
kafka
分区分配策略参数:
Kafka
提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。
乐之者v
·
2024-01-21 07:19
A1--kafka
kafka
大数据开发之
Kafka
(broker、消费者、eagle监控、kraft模式)
第4章:
Kafka
Broker4.1
Kafka
Broker工作流程4.1.1Zookeeper存储的
Kafka
的信息1、查看zookeeper中的
kafka
节点所存储的信息启动Zookeeper客户端[
Key-Key
·
2024-01-21 07:18
大数据
kafka
linq
11、
Kafka
------
Kafka
核心API 及 生产者API 讲解
目录
Kafka
核心API及生产者API讲解★
Kafka
的核心API
Kafka
包含如下5类核心API:★生产者API
Kafka
的API文档★使用生产者API发送消息
Kafka
核心API及生产者API讲解官方文档
_L_J_H_
·
2024-01-21 07:48
Kafka
系列
kafka
分布式
ELK 日志分析系统
日志管理方案二、完整日志系统基本特征三、ELK简介ELK组件:1、ElasticSearch2、Logstash3、Kibana可以添加的其它组件:1、Filebeat2、缓存/消息队列(redis、
kafka
luochiying
·
2024-01-21 07:04
elk
大数据之
Kafka
架构的核心组件及其功能
Apache
Kafka
是一个分布式流处理平台,主要用于构建实时数据管道和流应用。
Kafka
的架构设计以高吞吐量、持久化存储和水平扩展为目标。
转身成为了码农
·
2024-01-21 07:34
大数据
kafka
架构
logstack 日志技术栈-04-opensource 开源工具 Syslog-ng+Highlight.io
然后将日志解析、分类、重写和关联到统一格式中,然后将其存储或安全地传输到不同的系统(如Apache
Kafka
或Elasticsearch)。
老马啸西风
·
2024-01-21 07:03
log
ELK
开源
日志
elk
ELK
安装
Kafka
准备下载
Kafka
安装包
Kafka
官方网站我们采用的是
kafka
_2.11-0.10.2.0的版本一、解压并安装
Kafka
sudotar-zxf
kafka
_2.11-0.10.2.0.tgz-C/usr
殊迟
·
2024-01-21 06:51
大数据
kafka
java
大数据
spark
scala
Spark和Flink的区别?
而Flink是基于事件驱动的,它是一个面向流的处理框架,Flink基于每个事件一行一行地
流式处理
,是真正的流式计算.另外他也可以基于流来模拟批
写scala的老刘
·
2024-01-21 06:42
RabbitMQ 消息队列入门
使用较多的消息队列产品:RabbitMQ,RocketMQ,ActiveMQ,ZeroMQ,
Kafka
等。异步处理用户注册后,需要发送验证邮箱和手机验证码。
RendaZhang
·
2024-01-21 05:01
软件开发
rabbitmq
消息队列
keepalived
HAProxy
Message
Queue
【
Kafka
】Linux本地和Docker安装
Kafka
目录Linux本地安装
kafka
java环境配置Zookeeper的安装配置
Kafka
的安装与配置生产与消费Docker安装
kafka
Zookeeper安装
Kafka
安装Linux本地安装
kafka
java
Ethan-running
·
2024-01-21 05:23
#
kafka
kafka
docker
消息队列
分布式
Linux高级实战部署专题篇:elk日志中心集群多服务部署大全(ELK+filebeat集群:elasticsearch+kibana+logstash+
kafka
+filebeat)
日志中心分析集群:相关文档参考:https://blog.csdn.net/sinat_16658263/article/details/904440381、Elasticsearch:主要用来日志存储是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为A
chenshuai199533
·
2024-01-21 05:18
高级阶段
elasticsearch
kafka
linux
深入
Kafka
broker
一、协议设计颗粒度,PRODUCE和FETCH中支持topic,partion等层级的颗粒度;测试友好,基于session_id和epoch确定一条拉取链路的fetchsession;全量增量结合,FetchRequest中的全量拉取和增量拉取;基本结构:header+body。常见header:api_key,api_version,corelation_id,client_id。与网络协议类似
FA-117
·
2024-01-21 05:56
Kafka
kafka
分布式
springboot之
kafka
配置创建springboot项目的时候勾选messaging选项中的
kafka
,springboot自动配置了很多,只需要很少的配置就可以运行了missing-topics-fatal这一条要加上,不然
陆阳226
·
2024-01-21 02:42
第二章 Spring Boot 整合
Kafka
消息队列 生产者
系列文章目录第一章
Kafka
配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合
Kafka
消息队列生产者第三章SpringBoot整合
Kafka
消息队列消息者(待续)前言
Kafka
维基框架
·
2024-01-21 00:13
spring
boot
kafka
数据库
第一章
Kafka
配置部署及SASL_PLAINTEXT安全认证
系列文章目录第一章
Kafka
配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合
Kafka
消息队列生产者第三章SpringBoot整合
Kafka
消息队列消息者(待续)1、下载安装
维基框架
·
2024-01-21 00:43
kafka
安全
分布式
kfaka基本概念
Kafka
第一章
kafka
基本概念文章目录
Kafka
一、kafak作用?二、基本概念一、kafak作用?
Kafka
是一种高吞吐量的分布式发布订阅消息系统,具有高性能、持久化、多副本备份、横向扩展能力。
西堂AI编程提效
·
2024-01-20 23:28
kafka
redis
数据库
database
Kafka
总结
Kafka
保证的是分区有序而不是全局有序。
西堂AI编程提效
·
2024-01-20 23:28
kafka
kafka
分布式
java
kafka
生产者消费者
生产者生产者发送确认机制半数follower响应全部follower响应–>改进:ISR机制:in-sync-replicaset【挑选进入isr的follower规则:1、同步的时间2、和leader相差的条数(0.9版本中被去掉)】注意:isr中的follower和正常的follower的概念问题acks配置0:发送完就返回。Atmostonce1:只等待leader写完就返回。-1:lead
西堂AI编程提效
·
2024-01-20 23:57
kafka
redis
数据库
database
Spark读取
kafka
(流式和批数据)
spark读取
kafka
(批数据处理)#按照偏移量读取
kafka
数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate
中长跑路上crush
·
2024-01-20 23:55
Spark阶段
spark
kafka
大数据
kafka
核心原理及数据积压问题
1
kafka
的分片和副本机制何为分片?分片有什么用呢?
江枫渔火R
·
2024-01-20 22:24
kafka
分布式
python
大数据
【
Kafka
原理】数据积压问题
Kafka
消费者消费数据的速度是非常快的,但是如果在处理
Kafka
消息时,由于外部IO或者网络拥堵会导致
Kafka
中的数据积压(数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。
TAIKEMAN
·
2024-01-20 22:23
Kafka
kafka
【
Kafka
面试】
Kafka
消费积压百万数据怎么办?
Kafka
面试大全(万字长文,37张图,28个知识点)高频面试题:
kafka
消费积压百万数据怎么办一、问题背景二、问题排查三、解决方案
TAIKEMAN
·
2024-01-20 22:23
Kafka
kafka
Kafka
3.0 消费者事务与数据积压
消费者事务如果想完成Consumer端的精准一次性消费,那么需要
Kafka
消费端将消费过程和提交offset过程做原子绑定。
Alienware^
·
2024-01-20 22:53
#
Kafka
kafka
java
kafka
数据积压语句查询记录
/
kafka
-consumer-groups.sh--bootstrap-server192.168.45.79:9092--list查看某些消费组是否积压.
飞鸟还巢
·
2024-01-20 22:23
大数据
kafka
zookeeper
分布式
Spark Streaming通过receiver方式消费
kafka
数据时数据积压问题
1.问题在通过receiver方式接受
kafka
消息时,发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456
·
2024-01-20 22:23
大数据
数据积压
Spark
Streaming
kafka
kafka
消费组数据积压导致节点挂掉解决办法
前提
Kafka
运行一段时间后,容易出现节点挂掉的情况。排查原因是:存在多个由zookeeper命令创建的消费组,里面消息没有进行消费,导致数据积压,从而导致
kafka
节点挂掉。导致原因.
恒星0915
·
2024-01-20 22:22
kafka
kafka
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他