E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java后端kafka
13 面试题
几种排序算法实现方式httphttps介绍BIO、NIO、AIP区别Mysql索引数据结构Mysql几种锁介绍Mysql事务怎么看慢查询sql怎么强制使用某个索引
kafka
原理怎么防止重复消费的如何实现持久化怎么防止数据丢失的多线程实现机制
滔滔逐浪
·
2023-11-19 17:30
Linux 环境安装【jdk、Tomcat、Docker、Maven、
Kafka
、Redis等】
安装tomcat、Maven、
Kafka
、ElasticSearch(tar.gz文件)yum在线安装mysql、redis、wkhtmltopdfjdk安装(rpm安装)rpm下载地址:JavaAr
尒轩窗
·
2023-11-19 16:52
Linux
java
linux
docker
Apache Flink写入Clickhouse报错 code: 1002, ip:8123 failed to respond
修改连接参数(无效)3修改服务端参数(有效)4修改获取连接方式(todo)参考资料版本ClickHouseserverversion21.12.2驱动版本:0.2.4一、问题1问题描述flink任务读取
kafka
终回首
·
2023-11-19 14:49
大数据
flink
tcp/ip
clickhouse
GitHub 建北极代码库,你的代码被冰封一千年?
BaseAdmin这套BaseAdmin是一套简单通用的后台管理系统,主要功能有:权限管理、菜单管理、用户管理,系统设置、实时日志,实时监控,API加密,以及登录用户修改密码、配置个性菜单等技术栈前端:layui
java
猿天下
·
2023-11-19 12:30
kafka
的消息丢失和重复消费解决办法
1、消息发送
Kafka
消息发送有两种方式:同步(sync)和异步(async),默认是同步方式,可通过producer.type属性进行配置。
杰克说互联网
·
2023-11-19 11:25
kafka
消息丢失
重复消费
kafka
:消息发送以及消费的过程
摘要
kafka
的存储消息,生产者发送消息,消费者消费消息。这些看起来简单,但实际细想,会有很多问题需要解决:消息是单个单个发送还是批量发送?broker的主题里一有消息就立即推送给消费者吗?
时间在手上,需要抓住
·
2023-11-19 11:21
消息中间件
kafka
java
中间件
Kafaka的消息消费方式
Kafaka的三种消费方式1.消费位移确认
Kafka
消费者消费位移确认有自动提交与手动提交两种策略。
深山猿
·
2023-11-19 11:49
框架
kafaka
消息消费
消息消费过程
前言本文介绍下
Kafka
消费过程,内容涉及消费与消费组,主题与分区,位移提交,分区再平衡和消费者拦截器等内容。消费者与消费组
Kafka
将消费者组织为消费组,消息只会被投递给消费组中的1个消费者。
FA-117
·
2023-11-19 11:09
Kafka
后端
kafka
Kafka
学习笔记(三)
目录第5章
Kafka
监控(
Kafka
Eagle)5.2修改
kafka
启动命令5.2上传压缩包5.3解压到本地5.4进入刚才解压的目录5.5将
kafka
-eagle-web-1.3.7-bin.tar.gz
七维大脑
·
2023-11-19 11:33
消息队列
kafka
学习
笔记
Kafka
学习笔记(一)
目录第1章
Kafka
概述1.1消息队列(MessageQueue)1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2定义第2章
Kafka
快速入门2.1安装部署2.1.1集群规划2.1.2jar
七维大脑
·
2023-11-19 11:03
消息队列
kafka
学习
笔记
Kafka
学习笔记(二)
目录第3章
Kafka
架构深入3.3
Kafka
消费者3.3.1消费方式3.3.2分区分配策略3.3.3offset的维护3.4
Kafka
高效读写数据3.5Zookeeper在
Kafka
中的作用3.6
Kafka
七维大脑
·
2023-11-19 11:03
消息队列
kafka
学习
笔记
Kafka
(四)消费者消费消息
文章目录如何确保不重复消费消息?消费者业务逻辑重试消费者提交自定义反序列化类消费者参数配置及其说明重要的参数session.time.ms和heartbeat.interval.ms和group.instance.id增加消费者的吞吐量消费者消费的超时时间和poll()方法的关系消费者消费逻辑启动消费者关闭消费者配置listener结语示例源码仓库在上一篇文章里,对于生产者,发送时失败之后会由定时
JackSparrow414
·
2023-11-19 11:22
消息队列
kafka
分布式
消息队列
中间件
rabbitmq
kafka
入门(一):
kafka
消息消费
安装
kafka
,创建topic:Windows安装
kafka
,详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851Linux
乐之者v
·
2023-11-19 11:49
A1--kafka
kafka
Java后端
接口自动生成神器 -- EasyYapi插件(Yapi接口管理工具在IDEA里的插件)
Java后端
接口自动生成神器–EasyYapi插件(Yapi接口管理工具在IDEA里的插件)一、先看效果1、生成yapi文档的效果2、生成postman格式数据并导入接口测试类后的效果(如postman
随时看
·
2023-11-19 10:17
接口
大数据开发:
kafka
集群搭建步骤示例
基于Hadoop的大数据技术生态当中,
kafka
在日志采集这个环节,提供重要的支持。今天的大数据开发学习分享,我们主要来讲讲在Hadoop集群上如何搭建和配置
kafka
集群。
成都加米谷大数据
·
2023-11-19 08:53
kafka
配置参数详解
kafka
的配置分为broker、producter、consumer三个不同的配置一BROKER的全局配置最为核心的三个配置broker.id、log.dir、zookeeper.connect。
勇敢的心888
·
2023-11-19 08:22
各类软件docker安装
系统的内核版本高于3.10,通过uname-r命令查看你当前的内核版本:uname-r3.10.0-1062.1.2.el7.x86_64安装Docker:安装Docker:yum-yinstalldocker
kafka
千百元
·
2023-11-19 08:23
#
docker
docker
容器
运维
Android SdkManager简介
专注于分享各领域原创系列文章,擅长
java后端
、移动开发、商业变现、人工智能等,希望大家多多支持。
Android西红柿
·
2023-11-19 08:44
Android基础
android
sdk
sdkmanager
面试
canal小试牛刀第一篇:canal-server+
kafka
根据mysql binlog同步数据
github项目直达更新新增eaglefor
kafka
,
kafka
监控如果是oracle数据库,可以考虑databus。1.前情提要直接监听mysql的binlog同步数据可以对业务无侵入。
凯丨
·
2023-11-19 07:43
Canal
Kafka
kafka
mysql
canal
大数据
Canal+
Kafka
实现MySQL与Redis数据同步
前言在很多业务情况下,我们都会在系统中加入redis缓存做查询优化。如果数据库数据发生更新,这时候就需要在业务代码中写一段同步更新redis的代码。这种数据同步的代码跟业务代码糅合在一起会不太优雅,能不能把这些数据同步的代码抽出来形成一个独立的模块呢,答案是可以的。架构图canal是一个伪装成slave订阅mysql的binlog,实现数据同步的中间件。canal最简单的使用方法,是tcp模式。实
讓丄帝愛伱
·
2023-11-19 07:42
后端技术
kafka
mysql
redis
Canal+
Kafka
实现mysql与redis数据准实时同步
思维导图文章已收录Github精选,欢迎Star:https://github.com/yehongzhi/learningSummary前言在很多业务情况下,我们都会在系统中加入redis缓存做查询优化。如果数据库数据发生更新,这时候就需要在业务代码中写一段同步更新redis的代码。这种数据同步的代码跟业务代码糅合在一起会不太优雅,能不能把这些数据同步的代码抽出来形成一个独立的模块呢,答案是可以
java技术爱好者_R
·
2023-11-19 07:42
java
java
redis
mysql
kafka
Kafka
入门教程与详解(一)
Kafka
入门教程与详解(一)一、
Kafka
入门教程1.1消息队列(MessageQueue)MessageQueue消息传送系统提供传送服务。
JavaGPT
·
2023-11-19 07:41
Java
kafka
分布式
Canal+
kafka
+zk实现mysql增量数据同步
解压新建data2、进入conf文件夹配置文件名称改为zoo.cfg,再修改配置dataDir3、配置环境变量:ZOOKEEPER_HOME:你的zookeeper安装路径;启动zkServer.cmd二、
Kafka
韩小信HZ
·
2023-11-19 07:11
kafka
mysql
zookeeper
java
kafka
canal mysql_Canal+
Kafka
实现MySql与Redis数据一致性
在生产环境中,经常会遇到MySql与Redis数据不一致的问题。那么如何能够保证MySql与Redis数据一致性的问题呢?话不多说,咱们直接上解决方案。首先,咱们得先开启MySql的允许基于BinLog文件主从复制。因为Canal的核心原理也是相当于把自己当成MySql的一个从节点,然后去订阅主节点的BinLog日志。开启BinLog文件配置1.配置MySQL的my.ini/my.cnf开启允许基
立夏之光
·
2023-11-19 07:40
kafka
canal
mysql
canal+
kafka
+zk+redis实现mysql与redis数据同步环境
基础环境(笔者测试通过环境是本地
kafka
消费者+其他都是阿里云centos7.8部署。。。)
caitao_1991
·
2023-11-19 07:34
Docker
基于canal+
kafka
+flink的实时增量同步功能1:mysqlTo
kafka
代码实现
我们先来看一个代码架构图:功能介绍:实现一个可配置化可监控的,实时监听mysql库表变动,推送数据到
kafka
,实时入库新的库表功能。
Hey 锡瑞
·
2023-11-19 07:02
kafka
基于canal+
kafka
+flink实现实时增量同步3:MySQL到
Kafka
功能演示
看成品:
kafka
监听Canal投递的binlog日志(1)在页面新增一个
kafka
异构搬迁任务选择mysql-
kafka
的任务模式。
Hey 锡瑞
·
2023-11-19 07:02
项目实战
kafka
Canal+
Kafka
实现MySQL与Redis数据同步(一)
Canal+
Kafka
实现MySQL与Redis数据同步(一)前言在很多业务情况下,我们都会在系统中加入redis缓存做查询优化。
JavaGPT
·
2023-11-19 07:02
Java
kafka
mysql
redis
java后端
微信小程序 websocket 获取不到 session,比如:三次握手拦截器获取不到session中的参数?
前言一般我们web网站都会有cookie来保存sessionID,将用户和服务器保持在一次会话中,但是很遗憾,微信小程序不支持cookie,他的每一次请求就是一次会话,这样就会产生一个问题,每次请求都需要确定当前的用户是谁,但是我们又不能在每次请求的数据中携带用户的信息,这样是不安全的。如果要让小程序保持session一直,所以每次请求的时候wx.requestheader加上cookie,保持s
大鸟-0101
·
2023-11-19 06:24
java
websocket
session
2018年的AI/ML惊喜及预测19年的走势(二)
此外,Spark和
Kafka
将继续呈现引人注目的受欢迎程度。随着云业务模式快速成熟,企业并购交易将继续加速。巨头将对人工智能领先的创业公司进行大规模收购
城市中迷途小书童
·
2023-11-19 05:08
解决驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接
公司最近上个项目,用了N年不用的sqlserver,写个简单的
java后端
,用了最新的springboot全家桶,启动没问题,但是只要执行sql就出现驱动程序无法通过使用安全套接字层(SSL)加密与SQLServer
镜湖老杨
·
2023-11-19 05:12
笔记
java
spring
boot
sqlserver
面试常见问题
介绍自己的经历Springcloud与dubbo的选型背景及社区活跃度spring,netflix及ali技术栈完整性架构完整度rpc与soa以及传统Http,webservice的优势
Kafka
如何处理消息失败
阿亮私语
·
2023-11-19 03:55
Kafka
文章目录1.
Kafka
简介2.分区和副本机制2.1生产者分区写入策略2.2乱序问题2.3消费者组Rebalance机制2.4消费者分区分配策略2.5副本的ACK机制3.
Kafka
原理3.1leader和
ITfeib
·
2023-11-19 02:46
springcloud
kafka
分布式
Docker安装
kafka
可视化管理工具 -
Kafka
Manager
说明:此处是在前面使用Docker安装
kafka
的基础之上,再来使用Docker安装
kafka
-manager第一步:使用下述命令从DockerHub查找镜像,此处我们要选择的是sheepkiller所构建的
y_bccl27
·
2023-11-19 01:10
Kafka
kafka
使用docker-compose 搭建
kafka
集群 + 可视化工具
Docker-compose简介DockerCompose是一个用来定义和运行复杂应用的Docker工具。一个使用Docker容器的应用,通常由多个容器组成。使用DockerCompose不再需要使用shell脚本来启动容器。Compose通过一个配置文件来管理多个Docker容器,在配置文件中,所有的容器通过services来定义,然后使用docker-compose脚本来启动,停止和重启应用,
晨星待多鱼
·
2023-11-19 01:09
docker
kafka
java
docker-compose部署
kafka
docker-compose.yml配置version:"3"services:
kafka
:image:'bitnami/
kafka
:latest'ports:-'7050:7050'environment
淡漠世俗
·
2023-11-19 01:39
docker
kafka
java
使用docker快速安装
Kafka
1、
kafka
是什么?
Kafka
是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力。
抹香鲸之海
·
2023-11-19 01:06
大数据
docker
k8s
harbor
gitlab
消息队列
kafka
docker
分布式
Docker安装
Kafka
及可视化界面详细教程【简单粗暴】
文章目录前言1.安装zookeeper2.安装
kafka
3.可视化界面安装4.消息生产和消费演示前言安装要求:docker已安,最好配置阿里等镜像加速,提高镜像下载速度没安装的可参考Ubuntu快速安装
全栈小定
·
2023-11-19 01:34
linux运维
kafka
docker
分布式
UI可视化
linux
Kafka
集群实现数据同步
Kafka
介绍
Kafka
是一个高吞吐的分布式消息系统,不但像传统消息队列(RaabitMQ、RocketMQ等)那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上,用于批量消费。
!chen
·
2023-11-19 01:55
立体仓库
kafka
分布式
PLC
WCS系统
五分钟,Docker安装
kafka
3.5,
kafka
-map图形化管理工具
首先确保已经安装docker,如果是windows安装docker,可参考wsl2安装docker1、安装zkdockerrun-d--restart=always-eALLOW_ANONYMOUS_LOGIN=yes--log-driverjson-file--log-optmax-size=100m--log-optmax-file=2--namezookeeper-p2181:2181-v/
刘金宝_Arvin
·
2023-11-19 01:55
docker
kafka
容器
大数据——Flume入门,基础,学习笔记
Flume组成Flume结构图简单结构复杂结构Flume和
kafka
的区别:什么是Flume?
小生浩浩
·
2023-11-19 00:19
大数据
flume
采集
日志
开发
大数据
Kafka
学习笔记
own编辑器提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录
Kafka
学习笔记
Kafka
介绍传统消息队列的应用场景消息队列的两种模式
Kafka
基础架构
Kafka
快速入门1、安装部署
weixin_42718610
·
2023-11-19 00:16
java
中间件
kafka
kafka
深度学习
spark学习笔记(十一)——sparkStreaming-概述/特点/构架/DStream入门程序wordcount
SparkStreaming支持的数据输入源很多:
Kafka
、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据
一个人的牛牛
·
2023-11-19 00:12
spark
学习
spark
scala
大数据
java后端
系统学习总结 05_Spring基础学习
猿猿正在系统的学习一些计算机知识,和后端技术栈,目前阶段主要在系统学习java。此专栏,为我学习过程中的学习笔记,便于日后复习回顾来看,也很适合新人学习参考。以下是猿猿对Spring的第一遍学习笔记哦。文章目录one一、Spring简介1Spring课程介绍问题导入1.1为什么要学1.2学什么1.3怎么学2初识Spring问题导入2.1Spring家族2.2Spring发展史3Spring体系结构
热爱代码的猿猿
·
2023-11-18 21:53
计算机各大技术栈学习笔记
后端冲鸭
spring
java
学习
2021-
Java后端
工程师面试指南-(SSM)
前言文本已收录至我的GitHub仓库,欢迎Star:https://github.com/bin392328206/six-finger种一棵树最好的时间是十年前,其次是现在Tips面试指南系列,很多情况下不会去深挖细节,是小六六以被面试者的角色去回顾知识的一种方式,所以我默认大部分的东西,作为面试官的你,肯定是懂的。https://www.processon.com/view/link/600e
六脉神剑1
·
2023-11-18 21:20
编程语言
面试
spring
java
python
SaprkStreaming广告日志分析实时数仓
1)读取
Kafka
数据之后,并对MySQL中存储的黑名单数据做校验;2
是阿威啊
·
2023-11-18 21:50
scala
spark
mysql
kafka
zookeeper
step 6 需求二:广告点击量实时统计
新方案:1)通过
kafka
获取黑名单过滤后的数据2)按照时间、地市、城市聚合统计点击量3)更新时间、地市、城市、点击量入库到mysql1建表CREATETABLEarea_city_ad_count(timeVARCHAR
是阿威啊
·
2023-11-18 21:49
kafka
分布式
spark
mysql
大数据
Linux开机自动启动
kafka
和Zookeeper
1zookeeper开机自启见博客:zookeeper安装部署_是阿威啊的博客-CSDN博客2
kafka
开机自启2.1生成启动脚本#chkconfig的配置参数启动服务的优先等级要低于zookeeper
是阿威啊
·
2023-11-18 21:19
hadoop组件部署
linux
kafka
zookeeper
kafka
node3 连接异常导致应用无法消费、生产数据
kafka
node3连接异常导致应用无法消费、生产数据,基本的筛查方式全部尝试但是没有效果,查遍全网没有解决办法。
是阿威啊
·
2023-11-18 21:49
hadoop组件部署
kafka
分布式
idea 环境搭建及运行
java后端
源码
1、idea历史版本下载及安装建议下载和我一样的版本,2020.3https://www.jetbrains.com/idea/download/other.html,idea分为专业版本(Ultimate)和社区版本(Community),前期可以下载专业版本即可,免费,不需要破解,只是有些功能不完善,学习java变成已经足以,以后大家熟悉起来,在换即可双击下载下来的安装包,然后拖动左边到右边即
个人app编程教学
·
2023-11-18 21:40
概要及环境搭建
java
intellij-idea
ide
上一页
61
62
63
64
65
66
67
68
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他