hadoop分布式

基于Docker 搭建Redis三主三从分布式集群

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、分布式系统规划二、准备配置文件1.创建redis集群目录三、启动Redis容器四、创建分布式系统1.创建集群2.查看节点信息总结前言提示

DBA学习之路·2025-03-20 03:47

《Linux运维总结：基于银河麒麟V10+ARM64架构部署多机elasticsearch7.17.21分布式集群+单机kibana7.17.21二进制版ssl集群》

东城绝神·2025-03-20 02:39

Rocky Linux安装部署Elasticsearch（ELK日志服务器）_rockylinux elk

它具有高性能、可扩展性和分布式特性，支持全文搜索、聚合分析、地理空间搜索等功能，是构建实时应用和大规模数据分析平台的首选工具。

2401_83739411·2025-03-20 02:37

努力的搬砖人.·2025-03-20 01:53

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

ApacheDoris是一款开源的分布式SQL引擎，专注于实时分析和查询。Iceberg是一种开放式表格格式

MfvShell·2025-03-20 00:10

【Apache Storm】

一、Storm简介1、概述官网地址：https://storm.apache.org/index.htmlApacheStorm是一个开源的、分布式的实时计算系统，专为处理流式数据而设计。

茉菇·2025-03-19 23:10

Node.js系列（4）--微服务架构实践

微服务架构概述Node.js微服务架构主要包括以下方面：服务拆分：业务领域划分与服务边界服务治理：服务注册、发现与负载均衡通信机制：同步与异步通信方案数据管理：分布式事务与数据一致性可观

一进制ᅟᅠ ‌‍‎‏ ·2025-03-19 23:32

flink从kafka读取数据写入clickhouse本地表的实现

实现功能因为直接写clickhouse的分布式表在数据量比较大的时候会有各种问题，所以做了一个flink读取kafka数据然后路由写入到相应的本地表节点，并且关于不同的表的配置信息可以随时更改并设置生效时间

Breatrice_li·2025-03-19 22:29

Flink读取kafka数据并写入HDFS

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021

王知无(import_bigdata)·2025-03-19 22:59

分布式事务3PC解决了2PC哪些问题？

三阶段提交（3PC，Three-PhaseCommit）是对二阶段提交（2PC，Two-PhaseCommit）的改进，旨在解决2PC的一些固有缺陷，特别是在分布式系统中的容错性和性能问题。

java干货仓库·2025-03-19 21:50

思途CMS高并发、高性能、高可用架构设计

通过分布式部署、负载均衡、多级缓存等技术手段，思途CMS能够有效应对大规模用户访问，保障系统的稳定性和响应速度。

·2025-03-19 21:29

按照时间排序的分布式游标分页

即分页查询是统一的，而数据存储是分布式的。方案由于是在高并发的场景下，

像云~·2025-03-19 20:47

深入探索 dubbo-rpc-jsonrpc：跨语言服务调用的高效桥梁

适合用于在应用程序中处理分布式服务。项目地址:https://gitcode.com/gh_mirrors/dub

郁铎舒·2025-03-19 20:14

Apache storm

Apachestorm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。它是一个流数据框架，具有很高的摄取率，无状态。

赵世炎·2025-03-19 19:09

【etcd】

一、ETCD简介etcd是一个由CoreOS团队开发的开源项目，旨在提供一个高可用的、分布式的、一致的键值存储，用于配置共享和服务发现。

茉菇·2025-03-19 19:09

Apache Storm实时流处理的核心技术

1.引言ApacheStorm是一个开源的、分布式的实时计算系统，专为处理流式数据而设计。它能够处理大量数据流并在极低的延迟下提供实时的结果。

Hello.Reader·2025-03-19 19:09

使用 DingoDB 创建自查询检索器的实战演示

DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。

fgayif·2025-03-19 19:34

什么是Apache Avro？

它由ApacheHadoop项目开发，广泛应用于大数据生态系统中（如Hadoop、Kafka等）。Avro提供了一种紧凑、快速的二进制数据格式，同时支持丰富的数据结构和模式演化。

maozexijr·2025-03-19 19:32

Apache Storm：实时数据处理的闪电战

ApacheStorm原理拓扑结构数据流处理容错机制官网链接基础使用安装与配置编写拓扑提交与运行高级使用状态管理窗口操作多语言支持优点高吞吐量低延迟可扩展性容错性总结ApacheStorm是一个开源的分布式实时计算系统

Aaron_945·2025-03-19 18:01

计算机毕业设计之基于Hadoop的热点新闻分析系统的设计与实现

本文拟采用PyCharm开发工具，django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。

微信bishe69·2025-03-19 18:31

Spring Boot 整合 Elasticsearch 实践：从入门到上手

引言Elasticsearch是一个开源的分布式搜索引擎，广泛用于日志分析、搜索引擎、数据分析等场景。

遇见伯灵说·2025-03-19 18:27

面试官问：什么是分布式定时任务调度？

任务调度的背景在业务系统中有很多这样的场景：1、账单日或者还款日上午10点，给每个信用卡客户发送账单通知，还款通知。如何判断客户的账单日、还款日，完成通知的发送？2、银行业务系统，夜间要完成跑批的一系列流程，清理数据，下载文件，解析文件，对账清算、切换结算日期等等。如何触发一系列流程的执行？3、金融机构跟人民银行二代支付系统对接，人民银行要求低于5W的金额（小额支付）半个小时打一次包发送，以缓解并

鸡米花不花·2025-03-19 17:48

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

一、HDFS命令显示当前目录结构#显示当前目录结构hadoopfs-ls#递归显示当前目录结构hadoopfs-ls-R#显示根目录下内容hadoopfs-ls/创建目录#创建目录hadoopfs-mkdir

dazhong2012·2025-03-19 17:48

HarmonyNext实战：基于ArkTS的跨设备文件同步与冲突解决案例详解

HarmonyOSNext提供了强大的分布式文件系统和冲突解决机制，帮助开发者实现高效、可靠的跨设备文件同步。本文将深入探讨如何在HarmonyOSNext中使用ArkTS实现跨设备文件同步与冲突

·2025-03-19 16:47

【Go基础】Go入门与实践资源帖

看到好的持续更新……Go系统教程从语法讲起：李文周博客七天快速上手项目Go测试驱动开发博客孔令飞项目开发实战课程，孔令飞图文教程《Go语言高级编程》书籍Go算法刷题模板Go实战项目KV系统crawlab分布式爬虫平台

小超人冲鸭·2025-03-19 16:41

HarmonyOS Next 用户认证应用

随着HarmonyOSNext的不断发展，其用户认证功能在安全性、个性化和分布式场景中的应用展现了强大的扩展性和适应性。

·2025-03-19 16:12

YashanDB资源类型

ashanDB资源管理通过配置物理资源（CPU、内存等）的分配规则，以满足不同用户或程序对资源的需求：CPU资源管理适用于单机部署（非级联备）和分布式部署，且适用于LINUX和ARM平台，不适用于docker

·2025-03-19 16:12

Git 的基本概念和使用方式

Git是一种分布式版本控制系统，广泛用于协作开发和追踪代码变更历史。以下是Git的基本概念和使用方式：仓库（Repository）：Git仓库是存储代码和版本历史的地方。

成风693·2025-03-19 15:05

ubuntu20.04系统安装zookeeper简单教程

Ubuntu系统中安装和配置Zookeeper的完整指南ApacheZookeeper是一个开源的分布式协调服务，广泛用于分布式应用程序中管理配置、提供命名服务、分布式同步以及组服务等。

楼下创了电瓶车·2025-03-19 15:04

彻底解决分布式环境下Redisson消息队列监听重复执行问题

问题现象：测试环境单台部署，没有问题，生产环境多台部署订单都是2条重复数据。问题描述：我们把每个服务都部署了2台，订单产生后，有redisson的mq发布，如果MQListener监听到就会执行后面的业务逻辑。现实的问题是2台MQListener都会监听到，会重复处理我们的逻辑，插入数据库或修改数据库或写入ES等都会执行2遍。本文的DEMO中使用的是redisson的mq来测试的，同时Rabbit

renkai721·2025-03-19 13:22

How Spark Read Sftp Files from Hadoop SFTP FileSystem

3.5.3'){excludegroup:"org.apache.logging.log4j",module:"log4j-slf4j2-impl"}implementation('org.apache.hadoop

IT•轩辕·2025-03-19 13:18

三分钟让你搞懂云计算中的CDN是什么？

它是一种分布式的网络架构，通过将网站的静态资源（如图片、视频、JavaScript文

云上的阿七·2025-03-19 12:16

5G时代新基建：边缘节点如何将云计算响应速度提升300%“

边缘计算的核心优势边缘计算（EdgeComputing）是一种分布式

云上的阿七·2025-03-19 12:46

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？

苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。

kkk1622245·2025-03-19 12:41

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序

智能计算研究中心·2025-03-19 11:06

医疗影像联邦学习可解释性算法研究

本研究以跨机构医疗影像协作场景为核心，系统性探讨联邦学习框架下可解释性算法的创新路径，重点解决医疗AI模型在分布式训练中的透明度缺失问题。

智能计算研究中心·2025-03-19 11:36

算力未来演进与多场景创新

从技术架构层面来看，异构计算通过整合CPU、GPU、FPGA等多元芯片实现性能跃升，边缘计算则借助分布式节点降低时延并提升响应效率，而量子计算在特定领域的指数级加速潜力已进入验证阶段。

智能计算研究中心·2025-03-19 11:06

融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训

·2025-03-19 11:59

如何实现一个分布式单例对象?什么场景需要分布式单例?

在分布式系统中，无论是单台机器多个实例，还是多台机器多个实例，每个实例通常运行在独立的进程中，分布式单例是在这些多进程环境中，确保某个类的实例对象在整个分布式系统中是唯一的，即所有进程访问的都是同一个对象实例

空说·2025-03-19 10:18

Seata：分布式事务的终极解决方案

Seata（SimpleExtensibleAutonomousTransactionArchitecture）作为阿里巴巴开源的分布式事务解决方案，提供了优雅的解决思路。

斗-匕·2025-03-19 09:43

Seata：分布式事务的终极解决方案与深度实践

Seata：分布式事务的终极解决方案与深度实践在微服务架构中，订单支付需调用支付服务、库存服务和积分服务，若其中一个服务失败，如何保证数据的一致性？

斗-匕·2025-03-19 09:43

分布式节点池：群联云防护抗DDoS的核心武器

一、节点池的核心作用与架构设计1.全球分布式节点布局物理层防御：根据产品文档，群联在全球部署“海量分布式节点”，每个节点具备独立清洗能力，攻击流量被分散至不同区域节点处理。

群联云防护小杜·2025-03-19 09:42

分布式事务原理深度解析：从ACID到BASE的架构演进

这就是分布式事务要解决的核心问题。本文将深入剖析分布式事务的原理，揭示其背后的设计哲学。

斗-匕·2025-03-19 09:10

C#网络通信实战：从零打造高性能Socket编程与TCP/IP协议栈应用

网络通信是现代软件开发中不可或缺的一部分，特别是在分布式系统和互联网应用中。C#提供了丰富的网络编程接口，尤其是基于Socket的TCP/IP协议栈编程，可以实现高性能的网络通信。

墨瑾轩·2025-03-19 09:40

微服务 vs 单体架构：你应该选择哪种模式？

今天，当“云原生”、“容器化”、“分布式”成为行业热词，微服务被推上了神坛。然而，单体架构真的过时了吗？微服务就注定是未来的唯一解法吗？如果你仍然在为“选择哪种架构”而困惑，这篇文章将带你跳

测试者家园·2025-03-19 07:52

案例驱动的 IT 团队管理：创新与突破之路：第二章团队组建：从人才画像到生态构建-2.2.1星型架构 vs 网状架构对比

点击关注不迷路点击关注不迷路点击关注不迷路文章大纲星型架构vs网状架构：IT团队结构创新的双模选择引言：从网络拓扑到组织设计的范式迁移一、架构解析：技术原理与管理哲学的融合1.1星型架构：中心化控制体系1.2网状架构：分布式协作网络二

言析数智·2025-03-19 06:47

Debezium系列之：使用Debezium采集oceanbase数据库

Debezium采集oceanbase数据库一、oceanbase数据库二、安装OceanBase三、安装oblogproxy四、基于Docker的简单采集案例五、生产实际应用案例Debezium是一个开源的分布式平台

快乐骑行^_^·2025-03-19 03:14

Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启

陈沐·2025-03-18 23:17

Hive函数大全：从核心内置函数到自定义UDF实战指南（附详细案例与总结）

用户自定义函数（UDF）分类二、常用函数详解与实战案例‌1.数学函数‌2.字符串函数‌3.窗口函数‌4.自定义UDF实战‌三、总结与优化建议‌1.核心总结2.性能优化建议‌3.常问问题背景‌Hive作为Hadoop

一个天蝎座白勺程序猿·2025-03-18 23:45

推荐频道