【大数据】Kafka

在Hadoop集群中实现数据安全：技术与策略并行

在Hadoop集群中实现数据安全：技术与策略并行随着大数据技术的广泛应用，Hadoop已经成为处理和存储海量数据的首选平台。

Echo_Wish·2025-02-17 23:50

什么是GaussDB

应用场景交易型应用大并发、大数据量

如清风一般·2025-02-17 22:11

linux 搭建kafka集群

ipnode1192.168.72.132node2192.168.72.133node3192.168.72.1342、安装jdklinux环境安装jdk_openjdk1.8.0_345-CSDN博客3、下载kafka

节点。csn·2025-02-17 21:04

《传统教培机构的痛点：数字化转型如何破局？》

[]()数字化时代的技术创新日新月异，人工智能、大数据、云计算、物联网等新兴技术不断涌现

·2025-02-17 20:58

【Redis系列】Redis安装与使用

m0_74825409·2025-02-17 17:53

Aerospike

T级别大数据高并发的结构化数据存储读写操作达微妙级，99%的响应可在1毫秒内实现采用混合架构，索引存储在内存中，而数据可存储在机械硬盘(HDD)或固态硬盘(SSD)上（也可存储在内存）AS内部在访问SSD

小的~~·2025-02-17 17:22

Flink在指定时间窗口内统计均值，超过阈值后报警

物联网设备的数据从kafka中读取，配置数据从mysql中读取，有个管理后台可以调整窗口和阈值大小。2、思路使用flink的双流join，配置数据使用广播流，设备数据使用普通流。

小的~~·2025-02-17 17:49

6个大数据应用案例

根据市场数据预测报告，到2026年，全球大数据市场可能达到2684亿美元。随着大数据市场的快速增长，组织正在利用大数据来获得洞察力，帮助他们做出更好的决策，改善运营，最终推动最佳增长。

雪兽软件·2025-02-17 15:33

Java 大视界 -- Java 大数据在智能体育中的应用与赛事分析（80）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-17 14:28

Java 大视界 -- Java 大数据在智能供应链中的应用与优化（76）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-17 14:58

基于 GBase 数据库的海量数据处理与性能优化

一、引言随着大数据时代的到来，海量数据的存储和高效处理成为各行业的核心需求。

big crab·2025-02-17 12:13

GBase 8a慢SQL优化案例-2 通过分析函数改写不等值关联排序取值

某气象现场一条查询语句，大数据场景下，单个机构查询耗时5分钟以上，需要分析，SQL语句如下：SELECTt.station_no,t.collect_time_stamp,t.r2020,t.topFROM

dudulang8088·2025-02-17 12:36

数据驱动业务增长，E-MapReduce 真实案例解析

在大数据时代，数据已经成为企业核心竞争力的关键因素之一。无论是电商、金融、物流还是制造业，企业都在探索如何更高效地处理、分析和利用海量数据，以实现精准决策、优化运营并提升业务增长。

Anna_Tong·2025-02-17 11:34

GBase 数据库的高性能架构与优化实践

在现代企业中，大数据量、复杂查询和高并发处理已成为普遍需求。GBase数据库作为国内领先的数据库产品之一，提供了卓越的性能和灵活的架构设计，能够高效处理复杂的事务、分析查询和海量数据。

big crab·2025-02-17 11:33

【动态路由】系统Web URL资源整合系列（后端技术实现）【apisix实现】

反向代理功能（描述：apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、kafka-map

飞火流星02027·2025-02-17 07:23

大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统_bert+lstm

文章目录大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统一、项目概述二、系统实现基本流程三、项目工具所用的版本号四、所需要软件的安装和使用五、开发技术简介

2301_76348014·2025-02-17 06:49

Apache ZooKeeper 分布式协调服务

1.1定义与定位核心定位：分布式系统的协调服务，提供强一致性的配置管理、命名服务、分布式锁和集群管理能力核心模型：基于树形节点（ZNode）的键值存储，支持Watcher监听机制生态地位：Hadoop/Kafka

slovess·2025-02-17 04:33

深入理解Kafka—如何保证Exactly Once语义

作者：禅与计算机程序设计艺术1.简介Kafka是一种高吞吐量、分布式、可分区、多副本的消息系统。它在使用上非常灵活，可以作为Pulsar、RabbitMQ的替代品。

AI天才研究院·2025-02-17 03:22

【kafka系列】生产者

目录发送流程1.流程逻辑分析阶段一：主线程处理阶段二：Sender线程异步发送核心设计思想2.流程关键点总结重要参数一、核心必填参数二、可靠性相关参数三、性能优化参数四、高级配置五、安全性配置（可选）六、错误处理与监控典型配置示例关键注意事项发送流程序列化与分区：消息通过Partitioner选择目标分区（默认轮询或哈希），序列化后加入RecordAccumulator缓冲区。批次合并：Sende

漫步者TZ·2025-02-17 02:21

【kafka系列】broker

目录Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程Broker处理消费者消息的核心流程关键点总结Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程接收请求Broker的SocketServer接收来自生产者的ProduceRequest（基于Reactor网络模型）。请求解析与验证解析请求头（Topic、P

漫步者TZ·2025-02-17 02:21

【kafka系列】如何选择消息语义？

目录业务权衡如何选择消息语义？业务权衡维度At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低（无重试）中等（可能重试）最高（事务+协调）适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易、精准统计如何选择消息语义？At-Most-Once：优先性能与低延迟，接受数据丢失（如实时监控）。At-Least-Once：优先可

漫步者TZ·2025-02-17 02:49

大数据专业毕业设计选题118例：数据挖掘数据分析可视化

HaiLang_IT·2025-02-17 01:10

kafka动态监听主题

简单版本importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.kafka.core.ConsumerFactory

S Y H·2025-02-16 23:27

大数据之-hdfs+hive+hbase+kudu+presto集群(6节点)

几个主要软件的下载地址：prestohttps://prestosql.io/docs/current/index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp://mirror.bit.edu.cn/apache/hive/hdfshttp://archive.apache.org/dist/ha

管哥的运维私房菜·2025-02-16 22:50

使用Docker搭建Flink集群

目录使用Docker搭建Flink集群docker-compose一键搭建步骤附录参考资料使用Docker搭建Flink集群在学习大数据框架的时候，需要一个真实的环境。

O_1CxH·2025-02-16 20:34

【kafka系列】Exactly Once语义

目录1.Exactly-Once语义的定义2.Kafka实现Exactly-Once的机制3.端到端Exactly-Once示例场景描述3.1生产者配置与代码3.2消费者配置与代码4.异常场景与Exactly-Once

漫步者TZ·2025-02-16 19:57

国家网络安全宣传周 | 2024年网络安全领域重大政策法规一览

《旅游大数据安全与隐私保护要求（

网安加社区·2025-02-16 17:45

【计算机毕设选题】2025计算机毕业设计选题推荐-高通过率选题指南（二）

随着信息技术的飞速发展，计算机毕业设计的形式也日益多样化，从传统的网站（Web）开发到新兴的小程序、APP构建，再到大数据分析与处理，每一种形式都代表着不同的技术挑战与实现路径。

计算机YiDian·2025-02-16 16:39

Mongodb主从模式最佳方案

其强大的性能和灵活的数据结构使得它特别适合处理大数据和高并发访问。本文将介绍MongoDB的主从模式，并提供最佳方案和示例代码，帮助你更好地理解这种模式的运作原理。什么

Christian Bai·2025-02-16 15:31

DeepSeek推荐未来好就业的十大专业

一、人工智能与数据科学专业聚焦人工智能、大数据技术、计算机科学与技术、机器学习、数据科学与大数据技术等专业，构成了这一前沿领域的核心。

东锋1.3·2025-02-16 15:59

云桌面主流架构解析与应用场景分析

引言随着云计算、大数据和虚拟化技术的快速发展，云桌面作为一种高效、安全、便捷的办公方式，逐渐被企业、教育和政府等多个领域广泛采用。

一休哥助手·2025-02-16 15:25

微信视频号中的“多位朋友看过”是真的有朋友看过，还是系统分析过大数据后推荐的？

cda2024·2025-02-16 14:17

云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术

物联网一、物联网的基本概念二、物联网的特征(一)物体感知(二)信息传输(三)智能处理三、物联网关键技术(一)射频识别技术(二)产品电子编码(三)短距离通信技术(四)互联网(五)感知控制技术(六)无线网络技术(七)中间件技术(八)智能处理技术四、物联网的应用领域虚拟现实技术一、VR的基本概念二、VR的特征(一)沉浸性(二)人交互性(三)多感知性(四)想象性(五)自主性三、VR的技术应用(一)在影视娱

2301_79098963·2025-02-16 13:16

阿里云MWC 2019发布7款重磅产品，助力全球企业迈向智能化

当地时间2月25日，在巴塞罗那举行的MWC2019上，阿里云面向全球发布了7款重磅产品，涵盖无服务器计算、高性能存储、全球网络、企业级数据库、大数据计算等主要云产品，可满足电子商务、物流、金融科技以及制造等各行业企业的数字化转型需求

数据库技术分享者·2025-02-16 13:43

Spark 和 Flink

Spark和Flink都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。

信徒_·2025-02-16 12:04

尚硅谷课程【笔记】——大数据之Zookeeper【一】

课程视频：【尚硅谷Zookeeper教程】一、Zookeeper入门概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责同志已经在Zookeeper上注册的哪些观察者做出

赶紧写完去睡觉·2025-02-16 11:02

【Golang学习之旅】Go 语言微服务架构实践（gRPC、Kafka、Docker、K8s）

文章目录1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战1.2为什么选择Go语言构建微服务架构2.Go语言简介2.1Go语言的特点与应用2.2Go语言的生态系统3.微服务架构中的gRPC实践3.1什么是gRPC？3.2gRPC在Go语言中的实现1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战随着互联网技术的飞速发展，尤其是云计算的普及，微服务架构已经成为

程序员林北北·2025-02-16 09:40

集群与分片：深入理解及应用实践

分片的定义分片的类型集群与分片的关系集群的应用场景负载均衡高可用性分片的应用场景大数据处理数据库分片集群与分片的架构设计系统架构设计数据存储设计案例分析Hadoop集群Elasticsearch分片性能优化策略集群性能优化分片性能优化挑战和解决方案总结参考资料引言在现代计算系统中

一休哥助手·2025-02-16 09:07

zipkin备忘

server安装https://zipkin.io/pages/quickstart.html这里提供了几种安装方式当天他可以吧数据方存cassandra，kafka，es，等地方服务器直接下载curl-sSLhttps

dzl84394·2025-02-16 06:18

如何学习Elasticsearch（ES）：从入门到精通的完整指南

如果你对大数据搜索和分析感兴趣，并且想要掌握Elasticsearch这一强大的分布式搜索引擎，那么你来对地方了！

狮歌~资深攻城狮·2025-02-16 06:17

如何学习HBase：从入门到精通的完整指南

如果你对大数据存储感兴趣，并且想要掌握HBase这一强大的分布式数据库，那么你来对地方了！本文将为你提供一个系统的学习路径，帮助你从零开始逐步深入理解HBase。

狮歌~资深攻城狮·2025-02-16 06:15

Go 语言的优势和学习路线图

目前Go语言支持Windows、Linux等多个平台，也可以直接在Android和iOS等移动端执行，从业务角度来看，Go语言在云计算、微服务、大数据、区

weixin_jie401214·2025-02-16 04:07

org.apache.kafka.common.errors.TimeoutException

个人博客地址：org.apache.kafka.common.errors.TimeoutException|一张假钞的真实世界使用kafka-console-producer.sh向远端Kafka写入数据时遇到以下错误

一张假钞·2025-02-16 03:56

kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用

一、两款工具对比功能用途kafka-console-consumer.sh是简单的命令行消费者工具，主要用于在控制台显示从Kafka主题消费的消息，适用于测试生产者是否正常发送消息、查看消息格式等调试场景

WilsonShiiii·2025-02-16 03:56

RocketMQ与kafka如何解决消息积压问题？

主要介绍两款产品RocketMQ和Kafka的解决方式，以及其差异，本质上的差异就是RocketMQ与Kafka之间的存储结构差异带来的，基本的处理思路还是怎么控制生产

一个儒雅随和的男子·2025-02-16 03:54

浅聊MQ之Kafka与RabbitMQ简用

Kafka与RabbitMQ的使用举例Kafka的使用举例安装与启动：从ApacheKafka官网下载Kafka中间件的运行脚本。

天天向上杰·2025-02-16 03:24

浅聊MQ之Kafka、RabbitMQ、ActiveMQ、RocketMQ持久化策略

以下是主流消息队列（Kafka、RabbitMQ、ActiveMQ、RocketMQ）的持久化策略详解及实际场景示例：1.Kafka持久化策略核心机制：日志分段存储：每个Topic分区对应一个物理日志文件