【大数据】Kafka 第14页

深入理解 Kafka 主题分区机制

在分布式消息系统中，ApacheKafka的主题分区机制是其核心特性之一。它不仅提供了高吞吐量和可扩展性，还通过分区实现了消息的有序存储和高效消费。

t0_54program·2025-02-22 10:56

深入浅出数据中台：概念、架构与应用

它借助数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，形成大数据资产，并提供服务化的数据接口，以满足前台应用和业务创新的需求。

小四的快乐生活·2025-02-22 10:53

DeepSeek：为医疗数智化注入新动能

随着云计算、大数据、人工智能等前沿技术的迅猛发展，数智化转型成为企业提升竞争力、创新业务模式、优化客户体验的关键路径。

数澜悠客·2025-02-22 09:13

零工市场小程序的未来发展趋势

其实在零工市场小程序中，有着大数据的分析、算法，可以精准的匹配到自由职业者们的需求，以此来提高找兼职地效率；其次，就业者可在零工市场小程序上直接进行考勤打卡、工资结算，这样就避免了很多纠纷隐患。

汇匠源·2025-02-22 09:11

计算机毕业设计吊炸天Python+Spark地铁客流数据分析与预测系统地铁大数据地铁流量预测

开发技术SparkHadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点Spark大屏可视化爬虫预测算法功能1、登录注册界面，用户登录注册，修改信息2、管理员用户：（1）查看用户信息；（2）出行高峰期的10个时间段；（3）地铁限流的10个时间段；（4）地铁限流的前10个站点；（6）可视化大屏实时显示人流量信息。3、普通用户：（1）出行高峰期的10（5）可视化大

qq_80213251·2025-02-22 08:35

微构科技《VigorData一站式企业大数据平台产品白皮书》

本白皮书阐述了微构科技VigorData一站式企业大数据平台的定位与应用场景、系统架构、产品特性。

皙姑娘·2025-02-22 07:00

数据管道设计与实现：从源到目标的全流程解析

从数据源到目标数据存储的整个过程是数据分析和大数据处理中的关键环节。数据管道的设计不仅影响数据处理的效率，还决定了数据的质量和可用性。

Echo_Wish·2025-02-22 03:23

Python 的 WebSocket 实现详解

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。

王子良.·2025-02-22 03:23

【数据库技术NoSQL】MongoDB和Cassandra的使用

MongoDB的特点MongoDB的安装和配置MongoDB的基本操作Cassandra简介及使用Cassandra的特点Cassandra的安装和配置Cassandra的基本操作应用场景和最佳实践结论引言在大数据时代

爱技术的小伙子·2025-02-22 03:51

docker创建kafka集群

今天我们来创建试着创建一下kafka集群,本次采用但节点的zookeeper注册中心搭建kafka集群,并且未配置kafka-manager.1、创建docker-compose的yml文件创建kafka

陈小咩咩·2025-02-22 03:18

MongoDB与Cassandra数据库对比

与更传统的SQL式数据库相比，NoSQL可以更有效地存储大量非结构化数据，企业在大数据操作中通常会涉及非结构化数据。MongoDB和Cassandra也都是开源数据库，尽管现在也有商

2501_90243449·2025-02-22 02:42

什么是pytest.ini及如何在Pytest中应用以提升配置效率

关注开源优测不迷路大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动化测试中，重要的不是工具当通过控制台运行Pytest测试时你必须记住记录输出、运行时环境变量

开源优测·2025-02-22 02:09

docker安装kafka和zookeeper

下载zookeeperdockerpullwurstmeister/zookeeperdockerpullzookeeper:3.9.1#指定版本有问题启动说内存不够说要升级docker启动zookeeperdockerrun-d--namezookeeper-p2181:2181-twurstmeister/zookeeperdockerrun-d--namezookeeper-p2181:21

Rain_Rong·2025-02-22 01:04

一文看常见的消息队列对比

一、核心特性对比表维度KafkaRabbitMQRocketMQPulsar架构设计分布式日志系统，依赖ZooKeeper基于AMQP协议的代理模型主从架构+NameServer协调分层架构（Broker

蚂蚁在飞-·2025-02-22 00:49

Docker启动运行zookeeper和kafka命令

拉取镜像dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka运行dockerrun-d--namezookeeper-p2181:2181wurstmeister

灬Change·2025-02-21 22:08

【Kafka专栏 12】实时数据流与任务队列的较量：Kafka与RabbitMQ有什么不同

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景

夏之以寒·2025-02-21 20:25

Python爬虫实战：从零到一构建数据采集系统

1.2选择目标网站二、爬虫实现步骤2.1获取网页内容2.2解析HTML2.3数据保存三、完整代码示例四、优化与扩展4.1反爬应对策略4.2动态页面处理4.3数据可视化扩展五、注意事项六、总结互动环节前言在大数据时代

DevKevin·2025-02-21 20:17

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。

·2025-02-21 19:13

从MySQL迁移到PostgreSQL的完整指南

与MySQL相比，PostgreSQL在处理复杂查询和大数据集时表

m0_74824076·2025-02-21 15:32

小红书架构演进与关键技术解析

随着用户量的不断增加，系统面临着高并发、大数据量等挑战。同时，小红书还需要支持快速的业务创新和迭

ITPUB-微风·2025-02-21 09:16

【大数据技术】搭建完全分布式高可用大数据集群（MySQL+Hive）

搭建完全分布式高可用大数据集群（MySQL+Hive）apache-hive-3.1.3-bin.tar.gzmysql-connector-java-8.0.30注：请在阅读本篇文章前，将以上资源下载下来

Want595·2025-02-21 09:11

【AI大数据】数据中台的数据分析与挖掘：从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体（Entity）属性（Attribute）实体关系（EntityRelationships）2.2数据仓库2.3分析引擎2.4噪声数据2.5数据湖2.6数据总线2.7数据仓库模型3.核心算法原理和具体操作步骤以及数学公式讲解3.1数据挖掘技术概览（1）数据预处理（2）数据探查（3）数据清洗（4）数据转换（5）数据挖掘（6）知识发现（

AI天才研究院·2025-02-21 08:34

屏幕适配—在电脑默认推荐缩放比为125%或150%等情况下的浏览器100%显示的适配（适用大数据平台）

快乐的二进制鸭·2025-02-21 06:55

【Kafka】Kafka为什么快？

Kafka之所以快的原因有三个：顺序读写、页缓存、零拷贝。顺序读写Kafka依赖磁盘来存储和缓存消息。在我们的印象中，磁盘的读写速度会比内存的读写速度慢，但这是在随机读写场景下的比较。

卜塔·2025-02-21 04:33

【大数据分析】Spark SQL查询：使用SQL命令

对于使用关系型数据库或分布式数据库的用户可能更容易和更自然地使用SQL，比如Hive。在SparkSQL编写SQL命令时，它们将被转换为DataFrame上的操作。通过连接到Spark的Thrift服务器，它们可以通过标准的JDBC或ODBC协议从应用服务器连接到Spark。Spark支持两种SQL方言：SQL和HQL。Spark社区推荐的是HQL，因为HQL具有更丰富的功能。要使用HQL，需要使

sword_csdn·2025-02-21 02:58

什么是数据治理以及它在大数据处理中的重要性

数据治理在大数据处理中的重要性提高数据质量：准确

Java资深爱好者·2025-02-21 01:23

Kafka 简介

Kafka简介ApacheKafka是一个开源的分布式流处理平台，广泛应用于实时数据流处理、日志管理、消息传递等场景。Kafka最初由LinkedIn开发，并于2011年捐献给Apache软件基金会。

Y1nhl·2025-02-21 00:12

面试基础--高并发订单系统如何设计

通过消息队列（如Kafka/RabbitMQ）实现异步处理与延迟任务。订单状态机订单通常有多个状态：创建、待支付、已支付、已发货、已签收、已取消等。

WeiLai1112·2025-02-21 00:42

【Golang学习之旅】分布式任务队列（使用 RabbitMQ / Kafka）

1.1消息队列的特点2.为什么使用RabbitMQ和Kafka？

程序员林北北·2025-02-20 23:10

【update 更新数据语法合集】.NET开源ORM框架 SqlSugar 系列

一、实体对象更新1.1单条与批量1.2不更新某列1.3只更新某列1.4NULL列不更新1.5无主键/指定列1.6更新添加条件1.7大数据更新1.8重新赋值1：list中的值修改1.9重新赋值2:列中的值

m0_74824823·2025-02-20 23:08

Kafka消息服务之Java工具类

注：此内容是本人在另一个技术平台发布的历史文章，转载发布到CSDN；ApacheKafka是一个开源分布式事件流平台，也是当前系统开发中流行的高性能消息队列服务，数千家公司使用它来实现高性能数据管道、流分析

不会飞的小龙人·2025-02-20 23:05

简识MQ之Kafka、ActiveMQ、RabbitMQ、RocketMQ传递机制

四种主流消息队列（Kafka、ActiveMQ、RabbitMQ、RocketMQ）的生产者与消费者传递信息的机制说明，以及实际使用中的注意事项和示例：1.ApacheKafka传递机制模型：基于发布-

天天向上杰·2025-02-20 22:29

tidb实时同步到mysql

测试直接通过tidbcdc写入到mysql，有些字段是null，所以中间加了一个kafka实现客户库中创建表CREATETABLEtb_1(idbigintprimarykey,cidbigint,gidbigint

·2025-02-20 21:02

深入理解DAG任务调度系统：核心原理与实现

1.背景介绍随着大数据、人工智能等领域的发展，任务调度系统的重要性日益凸显。

AI天才研究院·2025-02-20 18:25

Salesforce联手阿里云，销售易联手腾讯，还在靠”卖血求生“的CRM独立玩家何去何从？

消息一出，便受到很多人的关注，这首当其中，最高兴的算要数销售易的客户，源自其将获得的三大核心价值升级，腾讯将进一步开放云计算、大数据、AI等核心技术能力

·2025-02-20 17:23

docker部署kafka（单节点） + Springboot集成kafka

DockerDesktop4.21.1(114176)、DockerEnginev24.0.2SpringBoot：2.7.15步骤1：创建网络：dockernetworkcreate--subnet=172.18.0.0/16net-kafka

wsdhla·2025-02-20 17:18

【Python系列】Python 解释器的站点配置

Kwan的解忧杂货铺@新空间代码工作室·2025-02-20 14:22

Python中的 redis keyspace 通知_python 操作redis psubscribe(‘keyspace@0 ‘)

学习Python门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。

2301_82243733·2025-02-20 13:39

YashanDB访问约束

%E6%A6%82%E5%BF%B5%...访问约束是YashanDB特有的一种关系数据结构，基于有界计算理论的访问约束模型（AC，AccessConstraint）实现：通过在数据源上建立AC，实现大数据变小的模型变换

·2025-02-20 13:11

探索天气预警API：精准预测，守护安全

天气预警API的工作原理天气预警API基于先进的气象监测技术和大数据分析，通过收集全球范围内的气象卫星、雷达、地面观测站等数据源，进行实

·2025-02-20 13:10

深入解析：Tableau在数据可视化中的高级应用

深入解析：Tableau在数据可视化中的高级应用引言在大数据时代，数据可视化已成为数据分析中不可或缺的一部分。

Echo_Wish·2025-02-20 07:18

Sharding-JDBC 实现分库分表

一、引言随着互联网业务的快速发展，数据量不断增长，传统的单一数据库架构已经难以满足高并发、大数据量的存储和查询需求。分库分表技术成为了解决这些问题的重要手段。

一叶飘零_sweeeet·2025-02-20 04:53

阿里云 MaxCompute MaxQA 开启公测，解锁近实时高效查询体验

为减少查询响应时间，提升数据效率，阿里云云原生大数据计算服务MaxCompute推出MaxQA（原MCQA2.0）查询加速功能，在独享的查询加速资源池的基础上，对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化

阿里云大数据AI技术·2025-02-20 00:23

《深入浅出AI》前言知识：深度学习基础总结

公众号:GoAI的学习小屋|交流群:704932595|个人简介：掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等，专注大数据与人工智能知识分享

GoAI·2025-02-20 00:22

EBS 性能不足？从吞吐量到 IOPS，阿里云全方位优化

在云计算环境中，存储性能对于业务稳定运行至关重要，尤其是数据库、大数据分析、AI计算等高IO需求的应用。

Anna_Tong·2025-02-19 22:31

DeepSeek接入大数据能做什么

DeepSeek作为一家专注于AGI和AI大模型技术的公司，在大数据领域可以通过以下方式切入，结合其核心能力提供创新解决方案：一、DeepSeek接入大数据领域的技术路径多模态数据处理能力支持文本/图像

PersistDZ·2025-02-19 22:59

Hadoop01-入门&集群环境搭建--非原创（test）

Hadoop01-入门&集群环境搭建今日内容Hadoop的介绍集群环境搭建准备工作Linux命令和Shell脚本增强集群环境搭建来来来大数据概述大数据:就是对海量数据进行分析处理，得到一些有价值的信息，

xl.liu·2025-02-19 21:50

AI技术在音乐产品中有哪些应用场景？

随着深度学习算法的出现、大数据和5G技术的成熟，AI人工智能已逐渐融入我们的生产生活中，在教育、医疗、政务办公、城市管理等多个方面发挥作用。

·2025-02-19 20:42

iot架构 mqtt netty_一个关于小程序Iot的具体实现（MQTT版）

前言Iot，这个名词应该很多人都听过了吧，即大数据、Ai等兴起后也紧跟着研发大潮流的到来，即物联网。

Alfred Cheng·2025-02-19 18:00

Kafka Raft知识整理

背景Kafka2.8之后，移除了Zookeeper，而使用了自己研发的KafkaRaft。为什么移除Zookeeper？

自东向西·2025-02-19 17:23

推荐频道

【大数据】Kafka