E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka原理解析
Logstash的使用方法
它可以将来自不同数据源的数据收集、过滤并统一输出到指定的目的地,如Elasticsearch、
Kafka
等。
跃跃欲试-迪之
·
2023-12-06 21:58
elasticsearch
kafka
Kafka
Broker 端重要参数
Broker是需要配置存储信息的,即Broker使用哪些磁盘。那么针对存储信息的重要参数有以下这么几个:log.dirslog.dirs:这是非常重要的参数,指定了Broker需要使用的若干个文件目录路径。要知道这个参数是没有默认值的,这说明什么?这说明它必须由你亲自指定。log.dir:注意这是dir,结尾没有s,说明它只能表示单个路径,它是补充上一个参数用的。这两个参数应该怎么设置呢?很简单,
taj3991
·
2023-12-06 20:21
kafka
集群搭建
https://blog.csdn.net/weixin_50642075/article/details/109613621?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1-109613621-blog-124907414.pc
c_gentle
·
2023-12-06 20:37
大数据实战项目_电商推荐系统
一、项目介绍Hadoop+Spark+(Python)Scala+SparkSQL+SparkStreaming+MongoDB+Redis+
Kafka
+Flume+(SpringMVC+vue)1项目介绍
Guff_hys
·
2023-12-06 20:28
大数据开发学习
大数据
服务器
hadoop
spark
zookeeper
flume
kafka
Kafka
安装与配置-shell脚本一键安装配置(单机版)
文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.启动/停止
Kafka
内置zookeeper6.启动/停止
Kafka
单机版总结前言本文介绍了使用Shell
大数据魔法师
·
2023-12-06 20:21
大数据
kafka
大数据
zookeeper
当Elasticsearch遇见
Kafka
Kafka
是一种高吞吐量的分布式发布订阅消息系统,是一种常见的数据源,也是Logstash支持的众多输入输出
程序员日常填坑
·
2023-12-06 17:29
实时流式计算
kafka
Stream
文章目录实时流式计算
Kafka
Stream
Kafka
Streams的关键概念KStream
Kafka
Stream入门案例编写SpringBoot集成
Kafka
Stream实时流式计算一般流式计算会与批量计算相比较流式计算就相当于上图的右侧扶梯
sweetheart7-7
·
2023-12-06 15:18
kafka
kafka
stream
stream
实时流式计算
flume和
kafka
整合——采集实时日志落地到hdfs
flume和
kafka
整合——采集实时日志落地到hdfs一、采用架构二、前期准备2.1虚拟机配置2.2启动hadoop集群2.3启动zookeeper集群,
kafka
集群三、编写配置文件3.1slave1
奋斗的IT小白菜
·
2023-12-06 12:39
Flume
kafka
Kafka
consumer的offset的提交方式
Kafka
consumer的offset提交机制有以下两种手动提交同步提交consumer.commitSync()方式提交异步提交consumer.commitAsync(callback)方式提交自动提交
zy_think123
·
2023-12-06 12:19
图像识别经典轻量级网络模型总结梳理、
原理解析
与优劣对比分析
在前面的很多博文中,我们不止一次提到过,在实际业务项目开发过程中,我们会经常使用到轻量级的网络模型,本文主要是总结梳理前面经常使用到的一些轻量级的图像识别模型。【MobileNetv1】MobileNetv1是一种轻量级的卷积神经网络(CNN)架构,由Google团队在2017年提出。它的设计初衷是为了在移动设备上实现高性能的图像识别和物体检测任务,同时降低模型的计算量和内存占用。MobileNe
Together_CZ
·
2023-12-06 11:22
网络
深度学习
人工智能
Kafka
-基础篇
Kafka
初识
Kafka
是什么
Kafka
是最初由LinkedIn公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统。
~AC~
·
2023-12-06 11:49
golang
java
深入理解Spring
Kafka
中@
Kafka
Listener注解的参数与使用方式
Apache
Kafka
作为一个强大的消息代理系统,与Spring框架的集成使得在分布式应用中处理消息变得更加简单和灵活。
lizz666
·
2023-12-06 11:19
Spring
spring
kafka
java
windows下安装配置
kafka
一、安装zookeeper在使用
Kafka
之前,通常需要先安装和配置ZooKeeper。ZooKeeper是
Kafka
的依赖项之一,它用于协调和管理
Kafka
集群的状态。
熊出没
·
2023-12-06 11:39
windows
kafka
分布式
大数据开发:
Kafka
异步发送消息可靠性策略
Kafka
作为分布式消息队列,对于消息传送有实时传送和异步发送的区别,而异步发送消息,就会涉及到一个很关键的问题,如何保证消息发送的准确性和可靠性。
成都加米谷大数据
·
2023-12-06 09:59
Docker安装中间件
Docker安装中间件文章目录Docker安装中间件一、准备工作二、安装Mysql-5.6三、安装postgres四、安装Redis五、安装Zookeeper六、安装
kafka
一、准备工作安装Docker
冬小弟
·
2023-12-06 08:08
docker
中间件
容器
Flink流批一体计算(23):Flink SQL之多流
kafka
写入多个mysql sink
目录1.准备工作生成数据创建数据表2.创建数据表创建数据源表创建数据目标表3.计算WITH子句1.准备工作生成数据source
kafka
json数据格式:topiccase_
kafka
_mysql:{"
victory0508
·
2023-12-06 07:55
Flink
flink
sql
kafka
kafka
配置外网访问
为了本地调试方便需要把测试服务器的
kafka
开放外网连接,本以为很简单的事情卡了好几个小时,主要还是对
kafka
不了解导致的,特此记录.核心就是两个配置:listeners和advertised.listeners
三川三一宁
·
2023-12-06 07:46
消息中间件之间的区别
一.单机吞吐量ActiveMQ:万级,吞吐量比RocketMQ和
Kafka
要低了一个数量级RabbitMQ:万级,吞吐量比RocketMQ和
Kafka
要低了一个数量级RocketMQ:10万级,RocketMQ
xmh-sxh-1314
·
2023-12-06 07:25
java
Springboot:
kafka
运行成功,报错InvalidTopicException
官方说法:Theclienthasattemptedtoperformanoperationonaninvalidtopic.Forexamplethetopicnameistoolong,containsinvalidcharactersetc.Thisexceptionisnotretriablebecausetheoperationwon'tsuddenlybecomevalid.主题名称太
椰壳子
·
2023-12-06 06:35
Spring
Boot
kafka
分布式
使用 Apache
Kafka
进行实时流处理
Apache
Kafka
是一个开源分布式流处理平台,最初由LinkedIn开发,后来于2011年捐赠给Apache。我们可以将
Kafka
描述为一个文件集合,其中充满了分布在多台机器上的消息。
wouderw
·
2023-12-06 05:37
apache
kafka
分布式
kafka
入门(三):
kafka
多线程消费
kafka
消费积压如果生产者发送消息的速度过快,或者是消费者处理消息的速度太慢,那么就会有越来越多的消息无法及时消费,也就是消费积压。消费积压时,可以使用多线程消费,提高消费速度。
乐之者v
·
2023-12-06 05:15
A1--kafka
kafka
学习
kafka
一个存放消息的组件生产者,消费者,broker三部分消息队列的两种模式*生产者和消费者(消费者主动拉取信息,然后删除)*发布订阅()
kafka
基础架构*一个topic有多个partition(副本(信息非全量
程序猿小蝌蚪 黄小帅
·
2023-12-06 05:42
学习
kafka
分布式
Python (一) 操作Mysql
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-12-06 04:50
#
高阶
python
Spark Streaming(三)集成
Kafka
Kafka
从0.8版本到0.10版本提供了一种新的消费者api,所以根据你的
kafka
版本不同相应的有2种包可用,分别是spark-streaming-
kafka
-0-8和spark-streaming-
kafka
Sx_Ren
·
2023-12-06 03:33
面试就是这么简单,offer拿到手软(四)—— 常见java152道基础面试题
常见非技术问题回答思路面试就是这么简单,offer拿到手软(二)——常见65道非技术面试问题面试就是这么简单,offer拿到手软(三)——常见中间件框架面试题,es,redis,dubbo,zookeeper
kafka
T-OPEN
·
2023-12-06 02:17
面试专题
面试
servlet
职场和发展
java
面试就是这么简单,offer拿到手软(三)—— 常见中间件框架面试题,es,redis,dubbo,zookeeper
kafka
等
常见非技术问题回答思路面试就是这么简单,offer拿到手软(二)——常见65道非技术面试问题面试就是这么简单,offer拿到手软(三)——常见中间件框架面试题,es,redis,dubbo,zookeeper
kafka
T-OPEN
·
2023-12-06 02:45
面试专题
redis
dubbo
elasticsearch
分布式
架构
面试
Kafka
如何保证消息消费的全局顺序性
哈喽大家好,我是咸鱼今天我们继续来讲一讲
Kafka
当有消息被生产出来的时候,如果没有指定分区或者指定key,那么消费会按照【轮询】的方式均匀地分配到所有可用分区中,但不一定按照分区顺序来分配我们知道,在
咸鱼Linux运维
·
2023-12-06 02:42
kafka
分布式
Kafka
中的auto-offset-reset配置
Kafka
这个服务在启动时会依赖于Zookeeper,
Kafka
相关的部分数据也会存储在Zookeeper中。
y_bccl27
·
2023-12-05 22:19
Kafka
kafka
我该如何学习新知识
例如想要学习中间件
kafka
的知识,首先先要用起来
kafka
,不能纸上谈兵,死背原理很容易遗忘,在实践中感受kaf
Trytrying
·
2023-12-05 22:33
【vue】vue双向数据绑定的
原理解析
及代码实现_04
目录❣️双向绑定1.问题2.原因3.何时使用双向绑定4.如何使用双向绑定:(普通文本框)5.结果6.示例:文本框输入搜索关键词,点按钮执行搜索7.双向绑定的原理8.示例:使用事件模拟v-model的原理9.实现按回车搜索,边输入边搜索10.不同表单元素,绑定原理不同11.v-model简写扩展:this判断—8种指向❣️总结:知识点提炼【前文回顾】vue的常用指令及用法总结(续)_03❣️双向绑定
儒雅的烤地瓜
·
2023-12-05 22:06
#
⭐
Vue.js入门基础
vue.js
javascript
v-model
vue指令
前端框架
Flink入门之DataStream API及
kafka
消费者
DataStreamAPI主要流程:获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤
·
2023-12-05 21:00
flink
kafka
linq
Maxwell学习笔记
实时读取MySQL二进制日志Binlog,并生成JSON格式的消息,作为生产者发送给
Kafka
,Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其它平台的应用程序
FF_y
·
2023-12-05 20:20
大数据开发
学习
笔记
adb
H5浏览器如何检查手机中是否安装某个APP并打开
所以最保险的还是使用手机自带的浏览器来打开H5页面
原理解析
前端H5检测是否安装应用,来进行不同的判断
edgarhao
·
2023-12-05 19:08
开发猿的平平淡淡周末---2023/11/25
目录周总结:2023.11.25天气晴,温度适宜AMPM周总结:项目中引入了
kafka
消息服务,完成了报表模块的初步迁移编写了系统中的自定义CF函数,得亏同事发现新函数与旧的有冲突,改了需求系统的翻译项工作台真滴坑啊
键盘不能没有CV键
·
2023-12-05 19:02
笔记
笔记
vue2.x框架里面的事件总线eventBus的
原理解析
vuejs2.x里面的事件总线大家因该都会用了leteventBus=newnew()然后我们就就可以获取到实例上的on,on,on,emit,$off事件了,从而就可以进行组件特别是兄弟组件之间的数据传递了!今天我们不讲怎么使用这个,主要记录下怎么实现这个总线的原理!不多说,上代码发布—订阅模式又叫观察者模式,它定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都将
风清云淡_A
·
2023-12-05 19:25
设计模式
vue2/vue3
javascript
前端
vue.js
ubuntu启动
kafka
报错Could not create the Java Virtual Machine.
网上有两种方式,但是需要具体看自己的错误信息,我的错误信息如下:这里大概是说要写入日志无权限,所以执行的时候,前面加一下sudo执行成功。
道甚夷
·
2023-12-05 18:09
linux
linux
ubuntu
ubuntu安装
kafka
一、前提,先去安装java环境二、安装
kafka
wgethttp://www.apache.org/dyn/closer.cgi?
道甚夷
·
2023-12-05 18:09
linux
ubuntu
kafka
linq
图解MySQL | [
原理解析
] XtraBackup增量备份还原
作者:黄炎王悦周海鸣(图解MySQL公众号)上一期文章介绍了全量备份和恢复的过程([
原理解析
]XtraBackup全量备份还原),先来回顾一下全量备份和恢复的要点:1.全量备份开始时,要监听并记录redolog
爱可生开源社区
·
2023-12-05 17:39
kafka
在zk中的存储结构
涉及到的相关项目为
kafka
0.8.1.1zookeeper3.3.6环境下面的存储的结构图片中描述了
kafka
在zk中的存储结构,以及存储的相关数据,绿色代表的是zk的临时节点,当对应的进程退出后,此临时的
大数据技术进阶
·
2023-12-05 16:31
03-02-02
kafka
入门篇使用场景MQ基本功能生产者发送消息,消费者接收消息。(本质上是一个消息的传递)存储海量消息写多读少,应对高并发写根据这些功能,可以实现的使用场景解耦:生产消息,其他服务根据需要进行消费,生产者无需关心消费者异步:生产消息,无需关心消费者具体的处理时间削峰填谷:设置消费者1s消费N条消息引入MQ带来的问题系统可用性降低,MQ高可用问题系统复杂度提高数据一致性问题:数据丢失、数据重复、数据乱序基
nan得糊涂
·
2023-12-05 15:39
即时通讯源码
环境nginx+mysql5.7+php7.3+redis+jdk1.8+etcd、
kafka
、minio、ssdb数据库imweb、enterprise、datab
小九网创
·
2023-12-05 11:36
经验分享
深入浅出理解
kafka
---- 万字总结
1.
Kafka
简介
Kafka
本质上是一个MQ(MessageQueue),使用消息队列的优点:解耦:允许独立的扩展或修改队列两边的处理过程。
乖的小肥羊
·
2023-12-05 11:51
kafka
分布式
java
python
c++
消息队列
MQ -
KAFKA
高级篇
kafak是一个分布式流处理平台,提供消息持久化,基于发布-订阅的方式的消息中间件,同时通过消费端配置相同的groupId支持点对点通信。##适用场景:构造实时流数据管道,用于系统或应用之间可靠的消息传输.数据采集及处理,例如连接到一个数据库系统,捕捉表的变更内容.构建实时流式应用程序,对这些流数据进行转换或者影响,如:应用程序作为一个流处理器,消费一个或者多个topic产生的输入流,然后生产一个
ApacheCrazyFan
·
2023-12-05 11:50
kafka
分布式
java
kafka
3.x 学习笔记
kafka
3.x学习笔记在
kafka
2.8.0版本之前,安装使用
kafka
需要配套安装zookeeper,但在2.8.0版本之后,不再需要安装zookeeper,本次学习笔记采用的
kafka
版本为3.0.0
啃瓜子的松鼠
·
2023-12-05 11:19
kafka
java
Kafka
Producer
今天我们来讲一下
Kafka
4元素中的Producer,第一个概念就是同步和异步1.syncvsasync在官方文档ProducerConfigs中有如下:producer.type的默认值是sync,即同步的方式
西部小笼包
·
2023-12-05 10:39
《ClickHouse
原理解析
与应用实践》读书笔记(3)
开始学习《ClickHouse
原理解析
与应用实践》,写博客作读书笔记。本文全部内容都来自于书中内容,个人提炼。
Aiky哇
·
2023-12-05 10:22
clickhouse
读书笔记
大数据
Android二维码扫描开发(一):实现思路与原理
网上有很多关于Android中二维码处理的帖子,大都是在讲开源框架zxing用法,然后贴贴代码就完了,并没有一个系统的分析和
原理解析
。
Web小甜甜
·
2023-12-05 08:26
android
数码相机
【bug排查解决】现象级延迟8-10s
首先一个数据采集场景,plc采集数据全链路:kepServer(kepserverIOTgateway)->emqx(查看日志)->iot服务->业务处理发送
Kafka
->flink消费->websocket
不进大厂不改名二号
·
2023-12-05 06:08
碎片化小知识点
bug
java
iot
二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺
一、目的在用Flume把
Kafka
的数据采集写入Hive的ODS层表的HDFS文件路径后,发现HDFS文件中没问题,但是ODS层表中字段的数据却有问题,字段中的JSON数据不全二、Hive处理JSON数据方式
天地风雷水火山泽
·
2023-12-05 06:19
Hive
hive
flume
hadoop
RabbitMQ避免重复消费
在Java中,可以使用消息队列来实现消息的异步处理,其中常用的消息队列有RabbitMQ、ActiveMQ、
Kafka
等。什么是幂等性?
肥牛熟了熟了
·
2023-12-05 06:18
rabbitmq
分布式
上一页
43
44
45
46
47
48
49
50
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他