E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka架构设计
kafka
系列(二)
本章承接
kafka
一内容,文章在本人博客主页都有,可以自行点击浏览。幂等性请求执行多次,但执行的结果是一致的。如果,某个系统是不具备幂等性的,如果用户重复提交了某个表格,就可能会造成不良影响。
happystudy_neu
·
2024-01-16 10:48
kafka
分布式
Kafka
入门基本概念(详细)
什么是
kafka
Kafka
是一种高吞吐量的分布式发布订阅消息系统(消息引擎系统),它可以处理消费者在网站中的所有动作流数据。
学会用脚编程
·
2024-01-16 10:17
kafka
分布式
10、
Kafka
------ 消费者组 和 消费者实例,分区 和 消费者实例 之间的分配策略
目录消费者组和消费者实例★消费者组★分区和消费者实例★分配分区(分区和消费者实例之间的分配策略)3种分配策略★range策略★round-robin策略(轮询)★stick策略如何指定分配分区的策略:消费者组和消费者实例★消费者组形象来说:你可以把主题内的多个分区当成多个子任务、多个子任务组成项目,每个消费者实例就相当于一个员工,假如你们team包含2个员工。项目主题team(2个员工)5个子任务
_L_J_H_
·
2024-01-16 10:17
Kafka
系列
kafka
分布式
怎样去做好
架构设计
?(一)
怎样去做好
架构设计
?(一)。在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。在不同的书籍上,不同的作者,对于架构的定义也不统一,角度不同,定义不同。
代码讲故事
·
2024-01-16 09:10
架构师成长之路
架构
框架
技术架构
业务架构
产品架构
功能架构
开发架构
最近很火的MySQL:抛开复杂的
架构设计
,MySQL优化思想基本都在这
优化一览图image优化image笔者将优化分为了两大类:软优化和硬优化。软优化一般是操作数据库即可;而硬优化则是操作服务器硬件及参数设置。1、软优化1)查询语句优化首先我们可以用EXPLAIN或DESCRIBE(简写:DESC)命令分析一条查询语句的执行信息。例:DESCSELECT*FROM`user`显示:image其中会显示索引和查询数据读取数据条数等信息。2)优化子查询在MySQL中,尽
java成功之路
·
2024-01-16 09:21
《系统
架构设计
师教程(第2版)》第4章-信息安全技术基础知识-04-信息安全的抗攻击技术
文章目录1.秘钥的选择1.1秘钥分类1.2生成秘钥考虑的因素1)增大密钥空间2)选择强钥3)密钥的随机性2.DoS/DDos攻击2.1概述2.2传统拒绝服务攻击的分类1)内部用户攻击2)外部黑客攻击2.3分布式拒绝服务攻击DDoS1)概述2)被攻击的现象3)三级控制结构4.DoS防御3.欺骗攻击与防御3.1ARP欺骗1)欺骗原理2)防范措施3.2DNS欺骗1.DNS欺骗攻击和原理2)DNS欺骗的检
玄德公笔记
·
2024-01-16 08:10
#
软考架构师笔记
系统架构
软考架构师
系统架构设计师
清华版
第二版
信息安全技术基础知识
DoS
《系统
架构设计
师教程(第2版)》第4章-信息安全技术基础知识-05-信息安全的保障体系与评估方法
文章目录1.计算机信息系统安全保护等级第1级:用户自主保护级第2级:系统审计保护级第3级:安全标记保护级第4级:结构化保护级第5级:访问验证保护级2.安全风险管理2.1概述2.2风险评估实施前考虑如内容1)确定风险评估的范围2)确定风险评估的目标3)建立适当的组织结构4)建立系统性的风险评估方法5)获得最高管理者对风险评估策划的批准2.3风险评估的要素2.3.0概述2.3.1资产1)资产分类2)资
玄德公笔记
·
2024-01-16 08:58
#
软考架构师笔记
系统架构
系统架构设计师
信息系统基础知识
信息安全的保障体系与评估方法
清华版
第2版
Flink(十三)【Flink SQL(上)】
今天开始学习Flink最后一部分FlinkSQL,完了还有不少框架得学:
Kafka
、Flume、ClickHouse、Hudi、Azkaban、OOzie...有的算是小工具,不费劲,但是学完得复习啊,
让线程再跑一会
·
2024-01-16 08:33
Flink
flink
大数据
02
架构设计
的历史背景(读书笔记)
前言如果想要深入理解一个事物的本质,最好的方式就是去追寻这个事物出现的历史背景和推动因素---李运华正文
架构设计
的历史背景编程语言的进化编程语言的发展史其实不长,最早的编程语言是汇编,出现的时间是20世纪
帅子锅
·
2024-01-16 07:06
【消息队列 MQ 专栏】RabbitMQ
市面上的消息队列产品有很多,比如老牌的ActiveMQ、RabbitMQ,目前我看最火的
Kafka
,还有ZeroMQ,去年底阿里巴巴捐赠给Apache的RocketMQ,连redis这样的NoSQL数据库也支持
豆奶快攻
·
2024-01-16 07:01
消息队列
RocketMQ联合创始人:选择MQ时,要注意的有哪些?
谈起消息系统中间件,就开源项目而言,用户的选择其实很多,包括ActiveMQ、ZeroMQ、
Kafka
等。那到底Rocke
豆奶快攻
·
2024-01-16 07:01
消息队列
消息中间件选型分析
消息中间件选型分析——从
Kafka
与RabbitMQ的对比来看全局有很多网友留言:公司要做消息中间件选型,该如何选?你觉得哪个比较好?消息选型的确是一个大论题,实则说来话长的事情又如何长话短说。
豆奶快攻
·
2024-01-16 07:01
消息队列
Spark Structured Streaming +
Kafka
+Json
org.apache.spark spark-sql-
kafka
-0-10_2.11 2.1.1 org.apache.spark spark-sql_2.11 2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest
zhangxl-jc
·
2024-01-16 07:00
kafka
spark
spark
kafka
json
StructStreaming整合
Kafka
操作
StructStreaming整合
Kafka
操作Maven依赖org.apache.sparkspark-sql-
kafka
-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据
健鑫.
·
2024-01-16 07:29
spark
kafka
scala
spark
Structured Streaming 整合
Kafka
指南
用于
Kafka
0.10的结构化流式处理集成,用于从
Kafka
读取数据和写入数据。
鸭梨山大哎
·
2024-01-16 07:27
kafka
kafka
Kafka
消费流程
Kafka
消费流程消息是如何被消费者消费掉的。其中最核心的有以下内容。
llp1110
·
2024-01-16 07:24
Kafka
kafka
linq
分布式
PySpark Structured Streaming
kafka
示例
PySparkStructuredStreaming
kafka
示例直接上代码:#!
张行之
·
2024-01-16 07:52
大数据
pyspark
structured
streaming
kafka
python
StructuredStreaming整合
kafka
&Mysql
前言大家好,我是DJ丶小哪吒,我又来跟你们分享知识了。对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与他人知识共享。由于水平有限。博客中难免会有一些错误。如有纰漏之处,欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒续更了。上回简单带领大家简单了解了一下StructuredStreaming,那么这一回,我们就来使用StructuredStreaming整合一些其他的技术。
小哪吒的BD
·
2024-01-16 07:18
大数据
spark
大数据
spark
Structured Streaming配置
Kafka
参数
overridedefstream():DataFrame={val
kafka
Conf=new
Kafka
Configurationvalspark=GxSparkSession().session()valdf
sunyang098
·
2024-01-16 07:18
spark
spark
streaming
kafka
配置
Structured Streaming整合
Kafka
实时统计
StructuredStreaming整合
Kafka
实时统计一、实时ETL启动Zookeeper和
kafka
#启动zookeeperbin/zkServer.shstart#启动
kafka
bin/
kafka
-server-start.sh-daemonconfig
Joker_Jiang3
·
2024-01-16 07:47
大数据
kafka
大数据
kafka
spark
structured streaming+
kafka
异常处理
由于使用structuredstreaming+
kafka
处理数据,任务运行一段时间后就会出现
Kafka
数据无法消费,任务运行正常,但是从日志中看到Thismemberwillleavethegroup
嘘、不语
·
2024-01-16 07:46
kafka
如何保证
Kafka
不丢失消息
生产者丢失消息的情况消费者丢失消息的情况
Kafka
弄丢了消息生产者丢失消息的情况生产者(Producer)调用send方法发送消息之后,消息可能因为网络问题并没有发送过去。
豆奶快攻
·
2024-01-16 06:15
Kafka
消息队列
分布式
kafka
linq
数据库
Structured_Streaming和
Kafka
整合
结构化编程模型输出终端/位置默认情况下,Spark的结构化流支持多种输出方案:1-consolesink:将结果数据输出到控制台。主要是用在测试中,并且支持3种输出模式2-Filesink:输出到文件。将结果数据输出到某个目录下,形成文件数据。只支持append模式3-foreachsink和foreachBatchsink:将数据进行遍历处理。遍历后输出到哪里,取决于自定义函数。并且支持3种输出
小希 fighting
·
2024-01-16 06:14
kafka
分布式
spark
大数据
Kafka
集群的安装与配置
一、安装JDK1、在usr目录下新建Java目录,然后将下载的JDK拷贝到这个新建的Java目录中1创建目录命令:mkdir/usr/java2、进入到Java目录中解压下载的JDK解压命令:tar-zxvfjdk-18_linux-x64_bin.tar.gz在1主机上,将安装包分发到其他机器scp-r/opt/jdk1.8/node2:/opt/3、设置环境变量设置命令:vim/etc/pro
ole_triangle_java
·
2024-01-16 06:05
kafka
分布式
架构设计
内容分享(一百一十六):简洁应用框架VSEF的架构
目录总体核心架构主题演化组件选取总结本文介绍了一些简洁架构VSEF的一些框架结构理解,并且抛出了一些演化的主题,这些主题的不同思考会让系统发展成不同的风格,实际也是应用定位的必然结果。总体VSEF架构理念=基本结构+演化基本结构=入口+内核+依赖内核=简单逻辑+复杂流程简单逻辑=业务脚本+能力执行复杂流程=流程编排+节点衔接+能力(任务)执行演化=主题讨论+组件选取(市场组件优先)VSEF总体结
之乎者也·
·
2024-01-16 06:51
架构设计
内容分享
架构
java
大数据
架构设计
内容分享(一百一十七):基于 raft-listener 实现的 nebula 实时同步的高效双集群主备环境
目录背景以及需求为什么使用Listener备集群如何接受数据?Listener节点的管理和可靠性listener故障切换的设计nebula主备切换设计主备切换过程中的数据丢失问题背景以及需求线上业务对数据库可用性可靠性要求较高,要求需要有双AZ的主备容灾机制。主备集群要求数据和schema信息实时同步,数据同步平均时延要求在1s之内,p99要求在2s之内。主备集群数据要求一致要求能够在主集群故障时
之乎者也·
·
2024-01-16 06:51
架构设计
内容分享
java
运维
linux
系统架构
架构
架构设计
内容分享(一百一十五):订单视角看支付
目录一支付系统历史与演进二支付系统基本概念三支付系统简介四订单与支付五总结支付是指为清偿商品交换和劳务活动所引起的债权债务,货币债权从付款人向收付人的转移的过程。支付能力是电商产品的核心能力之一,作为订单同学,有必要了解关联域支付的流程以及基本概念,同时支付领域的很多设计思路与资损防控经验对订单域的系统设计也很有借鉴意义。本文将从支付系统的历史、基本概念、系统设计、资损防控与订单与支付交互等方面予
之乎者也·
·
2024-01-16 06:21
架构设计
内容分享
网络
架构
系统架构
架构设计
内容分享(六十四):如果你当架构师,从0开始,如何做一个后台项目的架构?
目录总览一下:后台技术栈结构团队协助基础工具链的选型和培训搭建微服务开发基础设施选择合适的RPC框架选择和搭建高可用的注册中心选择和搭建统一配置中心选择和搭建高性能的缓存中间件选择和搭建高性能的消息中间件选择和搭建高性能的关系数据库选择和搭建高性能的NoSQLCICD发布系统/部署系统的架构360度全方位监控和维护的架构生产环境高并发高吞吐负载均衡部署架构总览一下:后台技术栈结构如何您是一名团队的
之乎者也·
·
2024-01-16 06:16
架构设计
内容分享
架构
Clickhouse引擎之
kafka
Clickhouse
kafka
引擎需要结合
kafka
使用,需要确保已经安装clickhouse和
kafka
实战环境:Clickhouse-server版本:22.4.5
Kafka
版本:
kafka
_2.13
pokefade
·
2024-01-16 05:15
kafka
clickhouse
java
clickhouse MergeTree 常用表引擎
CollapsingMergeTreeVersionedCollapsingMergeTreeAggregatingMergeTreeSummingMergeTreeRelacingMergeTreeReplicationReplicatedMergeTree集成引擎
kafka
guaoran
·
2024-01-16 05:41
ClickHouse
数据库
clickhouse
Clickhouse集成离线hive、实时
kafka
数据实操
Clickhouse集成hive一、官网介绍:1、clickhouse集成hive、
kafka
官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语
·
2024-01-16 05:11
大数据
hive
数据仓库
big
data
kafka
seatunnel 消费
kafka
数据写入clickhouse
今天使用seatunnel消费
kafka
topic数据写入clickhouseseatunnel:2.1.0spark:2.4.
冰帆<
·
2024-01-16 05:41
seatunel
大数据
大数据
Kafka
和Flink:构建高吞吐量的实时数据流处理系统
Apache
Kafka
和ApacheFlink是两个非常重要的开源项目,它们分别是一个分布式流处理平台和一个流处理框架。
OpenChat
·
2024-01-16 05:20
AI大模型应用入门实战与进阶
AI大模型企业级应用开发实战
LLM大模型落地实战指南
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
RocketMQ-消息存储基本架构及存储流程
MappedFile消息刷盘主从同步消息存储是RocketMQ中最为复杂和最为重要的一部分,本文会简单介绍下RocketMQ的消息存储整体架构、以及发送一条消息时的基本存储流程整体架构存储文件介绍消息存储的
架构设计
中
hosaos
·
2024-01-16 05:44
RocketMQ
RocketMq
存储
commitlog
Kafka
部署及使用
kafka
四个核心概念:producer、consumer、broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压:tar-zxvfzookeeper
Sx_Ren
·
2024-01-16 05:15
微服务
架构设计
核心理论:掌握微服务设计精髓
文章目录一、微服务与服务治理1、概述2、TwoPizza原则和微服务团队3、主链路规划4、服务治理和微服务生命周期5、微服务架构的网络层搭建6、微服务架构的部署结构7、面试题二、配置中心1、为什么要配置中心2、配置中心高可用思考三、服务监控1、业务埋点的技术选型2、用户行为分析(用户画像)3、通用埋点手段4、离群点分析四、调用链梳理1、微服务链路梳理一、微服务与服务治理1、概述单体应用时代,全都耦
秃了也弱了。
·
2024-01-16 03:41
架构-理论
微服务
架构
定位消息
寻找最新的offsetdefget_latest_offset():topic=f'{get_env_tag()}_broker_rateRule'_consumer=
Kafka
Consumer(bootstrap_servers
Mr韩_xianfeng
·
2024-01-16 03:37
zookeeper 从是啥到咋用
2、zookeeper下载安装下载安装参考之前搭建
Kafka
集群的博客:
kafka
丢弃zookeeper,使用kraft架构-CSDN博客3、zookeeper几种状态1)、LOOKING:参加竞选状态
知其_所以然
·
2024-01-16 03:05
java技术
zookeeper
zookeeper
Kafka
之生产者(Producer)
main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到
Kafka
Broker。
知其_所以然
·
2024-01-16 03:05
kafka
分布式
kafka
使用zookeeper完成集群搭建
本次搭建使用的是
Kafka
3.6.1,zookeeper3.9.1。
知其_所以然
·
2024-01-16 03:04
kafka
kafka
丢弃zookeeper,使用kraft架构
1、简介
Kafka
现有架构元数据在zookeeper中,运行时动态选举controller,由controller进行
Kafka
集群管理。
知其_所以然
·
2024-01-16 03:04
kafka
java技术
kafka
zookeeper
架构
日志采集传输框架之 Flume,将监听端口数据发送至
Kafka
1、简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,主要有以下几个部分组成。主要组件介绍:1)、FlumeAgent是一个JVM进程,它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成,Source、Channel、Sink。2)、Source是负责接收数据到FlumeAgent的组件。Source组件可以
知其_所以然
·
2024-01-16 03:03
java技术
kafka
flume
flume
大数据
消息中间件介绍
常见的中间件:消息中间件(比如
Kafka
、RabbitMQ)、缓存中间件(比如Redis)。
xmh-sxh-1314
·
2024-01-16 03:49
java
Kafka
producer 解析
前言
Kafka
作为一个消息系统,其中很大的一个用途就是作为业务上的解耦,而它实现的模式就是经典的生产者消费者模式。毫无疑问,就出现了producer、consumer。
邹志全
·
2024-01-16 02:03
大觅网-概览
同时使用SpringBoot为项目基本骨架整个项目包含:Eureka注册中心Zuul网关验证Config分布式配置管理Ribbon负载均衡Feign接口调用Hystrix容错处理Sluth微服务追踪ELK+
Kafka
Tinner丶
·
2024-01-16 01:12
浅谈基于Prism的软件系统的
架构设计
浅谈基于Prism的软件系统的
架构设计
原文:浅谈基于Prism的软件系统的
架构设计
很早就想写这么一篇文章来对近几年使用Prism框架来设计软件来做一次深入的分析了,但直到最近才开始整理,说到软件系统的设计这里面有太多的学问
Angela㐅cc
·
2024-01-16 00:03
kafka
和rocketMQ
1、数据可靠性
kafka
使用异步刷盘方式,异步ReplicationRocketMQ支持异步刷盘,同步刷盘,同步Replication,异步Replication2、严格的消息顺序
Kafka
支持消息顺序
托盘毛毛
·
2024-01-15 23:02
Flink定制化功能开发,demo代码
本文将通过flink的DataStream模块API,以
kafka
为数据源,构建一个基础测试环境;包含一个
kafka
生产者线程工具,一个自定义FilterFunction算子,一个自定义MapFunction
i7杨
·
2024-01-15 23:31
Flink
linq
c#
商业模式:企业战略从顶层
架构设计
开始
实践是先行者,理论是追随者。商业模式的创造与革新从未间断,商业术语却鲜为人知。一、什么是商业模式商业模式是企业与市场不同参与主体之间存在的各种交易关系、交易结构和连接方式。它是企业创造价值(怎样创造)、传递价值(怎样传递、向谁传递)、价值变现(怎样变现)的对象、方法和途径的集合。用一句通俗的话来说,商业模式就是公司设计用什么途径或方式来赚哪个群体对象的钱。比如,产品型公司通过卖自己生产的产品给目标
韩一简
·
2024-01-15 23:17
topic的leader显示为none的解决办法
受此博文启发:http://blog.selfup.cn/1698.html以单副本,3分区示例:
kafka
在zk中存放路径为/(路径自行验证)1、查看
kafka
的topic详细信息2、查看zk节点指定节点内部为空
王木头
·
2024-01-15 22:05
kafka
kafka
上一页
42
43
44
45
46
47
48
49
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他