Kafka架构设计

架构师的36项修炼-08系统的安全架构设计

本课时讲解系统的安全架构。本节课主要讲Web的攻击与防护、信息的加解密与反垃圾。其中Web攻击方式包括XSS跨站点脚本攻击、SQL注入攻击和CSRF跨站点请求伪造攻击；防护手段主要有消毒过滤、SQL参数绑定、验证码和防火墙；加密手段，主要有单向散列加密、对称加密、非对称加密；信息过滤与反垃圾主要讨论分类算法和布隆过滤器。Web攻击与防护XSS攻击先看XSS跨站点脚本攻击。XSS攻击，顾名思义，就是
机智阳·2024-01-22 18:07

架构师的36项修炼-02架构核心技术之分布式缓存(上)

缓存是架构设计中一个重要的手段。缓存的主要特点是技术比较简单，同时对性能提升的效果又很显著，所以缓存在很多地方都会被用到。
机智阳·2024-01-22 18:36

Prometheus插件安装kafka_exporter

下载地址https://github.com/danielqsj/kafka_exporter/releases解压tar-zxvfkafka_exporter-1.7.0.linux-amd64.tar.gzmvkafka_exporter
weixin_43169720·2024-01-22 18:41

Spark消费Kafka的两种方式

目录介绍Receiver方式code原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本，kafka0.8支持Receiver
这个程序猿可太秀了·2024-01-22 17:57

Kafka Connect: Debezium MySQL Connector 的 Partition 和 Replication 配置

使用KafkaConnect的DebeziumMySQLConnector将MySQL数据库中的CDC数据写入Kafka时，在Kafka默认允许自动创建Topic的情况下，KafkaConnect自动创建的
　Laurence·2024-01-22 17:56

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。在一个典型的Hadoop架构中，通常有5个角色，分别是NameNode、StandbyNameNode、ResourceManager、NodeManager、DataNode以及外围机。其中NameNode负责协调集群上的数据存储，StandbyNameNode属于NameNode
小枫@码·2024-01-22 17:18

浅谈软件架构设计

软件架构设计是软件开发过程中非常重要的一部分，它关注的是系统的整体结构和组织方式。在本文中，我将从软件架构的定义、发展历史、架构建模和具体的软件架构风格开始介绍，然后探讨特
shinelord明·2024-01-22 17:47

浅谈大数据智能化技术在多个领域的应用实践

技术实践、架构设计、指标体系、数据质量、数据分析、数据挖掘、数据采集、数据智能化应用、BI、AI等方面，大数据智能化技术在不同领域的应用场景和代码编写。
shinelord明·2024-01-22 17:45

如何本地安装Python Flask并结合内网穿透实现远程开发

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 17:36

在windows初装kafka

1.下载kafka:http://kafka.apache.org/downloadsimage.png2.解压image.png3.运行CMD到这里：image.png1).启动zookeeper.
小狼在IT·2024-01-22 17:37

有了指令集架构, 到完成CPU成品还有多远距离

下面详细地解释这一过程：微架构设计（MicroarchitectureDesign）：在确定了指令集之后，CPU的设计者需要设计微架构，即如何实现这些指令。
能力工场小马哥·2024-01-22 15:18

2024 极术通讯-CES 2024：芯片厂商集体奔向AI，汽车芯片成为新赛道

（来源：极术社区Arm技术博客专栏）详解处理器芯片的安全架构设计本文主要从芯片硬件安全设计、芯片软件安全设
极术社区·2024-01-22 15:14

聊聊电商交易平台的架构设计（干货）

JAVA日知录2023-04-1308:37发表于安徽以下文章来源于vivo互联网技术，作者官网商城开发团队vivo互联网技术.分享vivo互联网技术干货与沙龙活动，推荐最新行业动态与热门会议。一、背景vivo官方商城经过了七年的迭代，从单体架构逐步演进到微服务架构，我们的开发团队沉淀了许多宝贵的技术与经验，对电商领域业务也有相当深刻的理解。去年初，团队承接了O2O商城的建设任务，还有即将成立的礼
竹林幽深·2024-01-22 14:00

【AI】深度学习在编码中的应用（6）

目录一、熵模型和自适应熵编码1.1区别1.2联系二、关于自适应熵模型前面我们讨论了基础架构设计、分析合成变换，本文来梳理和学习编码的第三步，自适应熵模型。
giszz·2024-01-22 13:02

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。
码农小旋风·2024-01-22 12:44

七大软件架构设计原则详解

我们要学习软件设计模式，需要先了解软件架构设计的七大原则。今天我们就来讲讲软件设计原则相关的内容。
和Ye哥学架构·2024-01-22 12:51

软件架构图的绘画六步法

架构设计，流程梳理，架构演化，系统交互，UML设计无不都需要进行图形绘制，以简单明确，清晰易懂的方式来展示和交流，学习，因此架构图绘画技能也是架构学习必不可少的一部分目录确定需求确定架构视角确定架构元素绘制主要组件之间的关系添加细节标注说明绘画工具确定需求在开始绘制架构图之前
和Ye哥学架构·2024-01-22 12:21

架构篇09:架构设计原则案例

文章目录淘宝案例手机QQ案例小结我们先复习一下架构设计的三条核心原则：合适原则、简单原则和演化原则。
星猿杂谈·2024-01-22 11:40

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

深度解析读写分离

读写分离是一种数据库架构设计模式，通过在数据库系统中分离读操作和写操作，以提高系统的性能、稳定性和可扩展性。在这种架构中，读操作通常由多个只负责读取的数据库服务器处理，而写操作则由主数据库服务器负责。
一休哥助手·2024-01-22 10:00

体验开源香山高性能开源 RISC-V 处理器

整体架构设计香山处理器是乱序六发射结构设计，目前支持RV64GCBK扩展。香山处理器前端流水线包括分支预测单元、取指单元、指令缓冲等单元，顺序取指。
阳光8088·2024-01-22 10:59

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
necessary653·2024-01-22 07:49

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free
老耿·2024-01-22 06:02

同城双活与异地多活架构分析

服务多活是高可用架构重要实施手段，本文介绍了一些业界常用的多活手段例如同城双活、两地三中心、异地多活架构设计方
vivo互联网技术·2024-01-22 03:14

到底什么时候使用mq

原文地址：http://mp.weixin.qq.com/s/Brd-j3IcljcY7BV01r712Q一、缘起一切脱离业务的架构设计与新技术引入都是耍流氓。
嘎嘣脆哦哦·2024-01-22 02:35

AI大模型开发架构设计（2）——AI绘画技术架构&应用实践

文章目录AI绘画技术架构&应用实践1AI绘画整体流程2AI绘画技术架构文生图核心算法原理文生图工程架构3AI绘画的应用实践AI绘画技术架构&应用实践1AI绘画整体流程第一步：输入Prompt提示词：/mj提示词第二步：文生图(Text-to-Image)构图第三步：图片渲染第四步：图片展示2AI绘画技术架构文生图核心算法原理把人类创造的内容用一个高维的数学向量进行表示如果内容到向量的“翻译”足够合
讲文明的喜羊羊拒绝pua·2024-01-22 01:27

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_·2024-01-22 00:08

K8S Informer机制原理解读 | 架构设计

Informer机制架构设计在Informer架构设计中，有多个核心组
云原生实战指南·2024-01-21 22:57

Kubernetes 的架构设计核心理念

所以，在本节课程中，我们会一起学习Kubernetes的架构设计，以及背后的设计哲学。
我乐了.·2024-01-21 21:22

intellij idea 编译 kafka 源码

以下是针对kafka1.1.1版本编译流程及在idea中启动的步骤从GitHub网站，gitclonekafka源码下载安装好gradle，scala进入kafka项目目录，执行gradleidea如果出现如下
专职掏大粪·2024-01-21 20:52

工单管理系统建设方案

工单管理系统建设方案1.1系统概述1.1.1需求描述1.1.2需求分析1.1.3重难点分析1.1.4重难点解决措施1.2系统架构设计1.2.1系统架构图1.2.2关键技术1.3系统功能设计1.3.1工单创建
软件项目资料查询库·2024-01-21 18:38

Kafka事务分析

Kafka幂等性Kafka幂等性含义幂等性起初是在HTTP协议中定义，是指一次和多次请求同一个资源对资源本身应当具有同样的效果。
WestC·2024-01-21 17:26

Flink容错机制（二）

状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink和Kafka
大数据阿嘉·2024-01-21 17:12

Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。
coffee_babe·2024-01-21 16:36

Kafka 消息不能正常消费问题排查

订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了，而订单数据是从mysql的order_search_info查询的，order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志（看着像是消息丢
Java识堂·2024-01-21 16:05

消息中间件之Kafka(二)

1.Kafka线上常见问题1.1为什么要对topic下数据进行分区存储?
coffee_babe·2024-01-21 16:04

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。
超越不平凡·2024-01-21 15:27

架构设计快速入门——领域驱动设计(DDD)（C#）

文章目录前言+一、领域驱动设计基础概念+1.1领域的定义+1.2领域驱动设计的定义+1.3传统设计模式遇到的挑战+1.4领域驱动设计的重要性+1.5DDD与其他架构模式的比较+1.5.1DDD与微服务架构+1.5.2DDD与传统三层架构+1.5.3DDD与事件驱动架构1.6DDD分层架构+1.6.1传统分层（TraditionalLayered）+1.6.2洋葱架构（OnionArchitectu
蓝色の幻想·2024-01-21 14:52

kafka 同步、异步发送

kafkaproducer默认是异步发送：在初始化producer实例时，会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区，消息根据topic-partition分类缓存消息达到
陆阳226·2024-01-21 13:59
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他