Hadoop分布式

思途CMS高并发、高性能、高可用架构设计

通过分布式部署、负载均衡、多级缓存等技术手段，思途CMS能够有效应对大规模用户访问，保障系统的稳定性和响应速度。
·2025-03-19 21:29

按照时间排序的分布式游标分页

即分页查询是统一的，而数据存储是分布式的。方案由于是在高并发的场景下，
像云~·2025-03-19 20:47

深入探索 dubbo-rpc-jsonrpc：跨语言服务调用的高效桥梁

适合用于在应用程序中处理分布式服务。项目地址:https://gitcode.com/gh_mirrors/dub
郁铎舒·2025-03-19 20:14

Apache storm

Apachestorm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。它是一个流数据框架，具有很高的摄取率，无状态。
赵世炎·2025-03-19 19:09

【etcd】

一、ETCD简介etcd是一个由CoreOS团队开发的开源项目，旨在提供一个高可用的、分布式的、一致的键值存储，用于配置共享和服务发现。
茉菇·2025-03-19 19:09

Apache Storm实时流处理的核心技术

1.引言ApacheStorm是一个开源的、分布式的实时计算系统，专为处理流式数据而设计。它能够处理大量数据流并在极低的延迟下提供实时的结果。
Hello.Reader·2025-03-19 19:09

使用 DingoDB 创建自查询检索器的实战演示

DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。
fgayif·2025-03-19 19:34

什么是Apache Avro？

它由ApacheHadoop项目开发，广泛应用于大数据生态系统中（如Hadoop、Kafka等）。Avro提供了一种紧凑、快速的二进制数据格式，同时支持丰富的数据结构和模式演化。
maozexijr·2025-03-19 19:32

Apache Storm：实时数据处理的闪电战

ApacheStorm原理拓扑结构数据流处理容错机制官网链接基础使用安装与配置编写拓扑提交与运行高级使用状态管理窗口操作多语言支持优点高吞吐量低延迟可扩展性容错性总结ApacheStorm是一个开源的分布式实时计算系统
Aaron_945·2025-03-19 18:01

计算机毕业设计之基于Hadoop的热点新闻分析系统的设计与实现

本文拟采用PyCharm开发工具，django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。
微信bishe69·2025-03-19 18:31

Spring Boot 整合 Elasticsearch 实践：从入门到上手

引言Elasticsearch是一个开源的分布式搜索引擎，广泛用于日志分析、搜索引擎、数据分析等场景。
遇见伯灵说·2025-03-19 18:27

面试官问：什么是分布式定时任务调度？

任务调度的背景在业务系统中有很多这样的场景：1、账单日或者还款日上午10点，给每个信用卡客户发送账单通知，还款通知。如何判断客户的账单日、还款日，完成通知的发送？2、银行业务系统，夜间要完成跑批的一系列流程，清理数据，下载文件，解析文件，对账清算、切换结算日期等等。如何触发一系列流程的执行？3、金融机构跟人民银行二代支付系统对接，人民银行要求低于5W的金额（小额支付）半个小时打一次包发送，以缓解并
鸡米花不花·2025-03-19 17:48

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

一、HDFS命令显示当前目录结构#显示当前目录结构hadoopfs-ls#递归显示当前目录结构hadoopfs-ls-R#显示根目录下内容hadoopfs-ls/创建目录#创建目录hadoopfs-mkdir
dazhong2012·2025-03-19 17:48

HarmonyNext实战：基于ArkTS的跨设备文件同步与冲突解决案例详解

HarmonyOSNext提供了强大的分布式文件系统和冲突解决机制，帮助开发者实现高效、可靠的跨设备文件同步。本文将深入探讨如何在HarmonyOSNext中使用ArkTS实现跨设备文件同步与冲突
·2025-03-19 16:47

【Go基础】Go入门与实践资源帖

看到好的持续更新……Go系统教程从语法讲起：李文周博客七天快速上手项目Go测试驱动开发博客孔令飞项目开发实战课程，孔令飞图文教程《Go语言高级编程》书籍Go算法刷题模板Go实战项目KV系统crawlab分布式爬虫平台
小超人冲鸭·2025-03-19 16:41

HarmonyOS Next 用户认证应用

随着HarmonyOSNext的不断发展，其用户认证功能在安全性、个性化和分布式场景中的应用展现了强大的扩展性和适应性。
·2025-03-19 16:12

YashanDB资源类型

ashanDB资源管理通过配置物理资源（CPU、内存等）的分配规则，以满足不同用户或程序对资源的需求：CPU资源管理适用于单机部署（非级联备）和分布式部署，且适用于LINUX和ARM平台，不适用于docker
·2025-03-19 16:12

Git 的基本概念和使用方式

Git是一种分布式版本控制系统，广泛用于协作开发和追踪代码变更历史。以下是Git的基本概念和使用方式：仓库（Repository）：Git仓库是存储代码和版本历史的地方。
成风693·2025-03-19 15:05

ubuntu20.04系统安装zookeeper简单教程

Ubuntu系统中安装和配置Zookeeper的完整指南ApacheZookeeper是一个开源的分布式协调服务，广泛用于分布式应用程序中管理配置、提供命名服务、分布式同步以及组服务等。
楼下创了电瓶车·2025-03-19 15:04

彻底解决分布式环境下Redisson消息队列监听重复执行问题

问题现象：测试环境单台部署，没有问题，生产环境多台部署订单都是2条重复数据。问题描述：我们把每个服务都部署了2台，订单产生后，有redisson的mq发布，如果MQListener监听到就会执行后面的业务逻辑。现实的问题是2台MQListener都会监听到，会重复处理我们的逻辑，插入数据库或修改数据库或写入ES等都会执行2遍。本文的DEMO中使用的是redisson的mq来测试的，同时Rabbit
renkai721·2025-03-19 13:22

How Spark Read Sftp Files from Hadoop SFTP FileSystem

3.5.3'){excludegroup:"org.apache.logging.log4j",module:"log4j-slf4j2-impl"}implementation('org.apache.hadoop
IT•轩辕·2025-03-19 13:18

三分钟让你搞懂云计算中的CDN是什么？

它是一种分布式的网络架构，通过将网站的静态资源（如图片、视频、JavaScript文
云上的阿七·2025-03-19 12:16

5G时代新基建：边缘节点如何将云计算响应速度提升300%“

边缘计算的核心优势边缘计算（EdgeComputing）是一种分布式
云上的阿七·2025-03-19 12:46

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？
苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。
kkk1622245·2025-03-19 12:41

算力技术创新驱动多场景应用演进

在工业互联网场景中，边缘计算通过分布式节点实现毫秒级响应，支撑智能制造产线的实时控制；智能安防系统依托深度学习模型与流计算技术，完成海量视频数据的动态解析；而科学计算领域通过分布式计算与模型压缩技术，将基因测序
智能计算研究中心·2025-03-19 11:06

医疗影像联邦学习可解释性算法研究

本研究以跨机构医疗影像协作场景为核心，系统性探讨联邦学习框架下可解释性算法的创新路径，重点解决医疗AI模型在分布式训练中的透明度缺失问题。
智能计算研究中心·2025-03-19 11:36

算力未来演进与多场景创新

从技术架构层面来看，异构计算通过整合CPU、GPU、FPGA等多元芯片实现性能跃升，边缘计算则借助分布式节点降低时延并提升响应效率，而量子计算在特定领域的指数级加速潜力已进入验证阶段。
智能计算研究中心·2025-03-19 11:06

融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训
·2025-03-19 11:59

如何实现一个分布式单例对象?什么场景需要分布式单例?

在分布式系统中，无论是单台机器多个实例，还是多台机器多个实例，每个实例通常运行在独立的进程中，分布式单例是在这些多进程环境中，确保某个类的实例对象在整个分布式系统中是唯一的，即所有进程访问的都是同一个对象实例
空说·2025-03-19 10:18

Seata：分布式事务的终极解决方案

Seata（SimpleExtensibleAutonomousTransactionArchitecture）作为阿里巴巴开源的分布式事务解决方案，提供了优雅的解决思路。
斗-匕·2025-03-19 09:43

Seata：分布式事务的终极解决方案与深度实践

Seata：分布式事务的终极解决方案与深度实践在微服务架构中，订单支付需调用支付服务、库存服务和积分服务，若其中一个服务失败，如何保证数据的一致性？
斗-匕·2025-03-19 09:43

分布式节点池：群联云防护抗DDoS的核心武器

一、节点池的核心作用与架构设计1.全球分布式节点布局物理层防御：根据产品文档，群联在全球部署“海量分布式节点”，每个节点具备独立清洗能力，攻击流量被分散至不同区域节点处理。
群联云防护小杜·2025-03-19 09:42

分布式事务原理深度解析：从ACID到BASE的架构演进

这就是分布式事务要解决的核心问题。本文将深入剖析分布式事务的原理，揭示其背后的设计哲学。
斗-匕·2025-03-19 09:10

C#网络通信实战：从零打造高性能Socket编程与TCP/IP协议栈应用

网络通信是现代软件开发中不可或缺的一部分，特别是在分布式系统和互联网应用中。C#提供了丰富的网络编程接口，尤其是基于Socket的TCP/IP协议栈编程，可以实现高性能的网络通信。
墨瑾轩·2025-03-19 09:40

微服务 vs 单体架构：你应该选择哪种模式？

今天，当“云原生”、“容器化”、“分布式”成为行业热词，微服务被推上了神坛。然而，单体架构真的过时了吗？微服务就注定是未来的唯一解法吗？如果你仍然在为“选择哪种架构”而困惑，这篇文章将带你跳
测试者家园·2025-03-19 07:52

案例驱动的 IT 团队管理：创新与突破之路：第二章 团队组建：从人才画像到生态构建-2.2.1星型架构 vs 网状架构对比

点击关注不迷路点击关注不迷路点击关注不迷路文章大纲星型架构vs网状架构：IT团队结构创新的双模选择引言：从网络拓扑到组织设计的范式迁移一、架构解析：技术原理与管理哲学的融合1.1星型架构：中心化控制体系1.2网状架构：分布式协作网络二
言析数智·2025-03-19 06:47

Debezium系列之：使用Debezium采集oceanbase数据库

Debezium采集oceanbase数据库一、oceanbase数据库二、安装OceanBase三、安装oblogproxy四、基于Docker的简单采集案例五、生产实际应用案例Debezium是一个开源的分布式平台
快乐骑行^_^·2025-03-19 03:14

Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启
陈沐·2025-03-18 23:17

Hive函数大全：从核心内置函数到自定义UDF实战指南（附详细案例与总结）

用户自定义函数（UDF）分类二、常用函数详解与实战案例‌1.数学函数‌2.字符串函数‌3.窗口函数‌4.自定义UDF实战‌三、总结与优化建议‌1.核心总结2.性能优化建议‌3.常问问题背景‌Hive作为Hadoop
一个天蝎座 白勺 程序猿·2025-03-18 23:45

Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案

本文将揭示如何构建Pandas+PySpark混合计算管道，在保留Pandas便捷性的同时，借助Spark分布式引擎实现百倍性能提升，并通过真实电商用户画像案例演示全流程实现。
Eqwaak00·2025-03-18 19:52

谷粒商城学习笔记，第七天：性能压测+缓存+分布式锁

谷粒商城学习笔记，第七天：性能压测+缓存+分布式锁一、性能压测我们希望通过压测发现其他测试更难发现的错误：内存泄漏、并发与同步。
「已注销」·2025-03-18 18:44

DeepSeek 3FS 与 JuiceFS：架构与特性比较

在AI业务中，企业需要处理大量的文本、图像、视频等非结构化数据，还需要应对数据量的爆炸式增长，分布式文件系统因此成为AI训练的关键存储技术。
·2025-03-18 18:07

HarmonyNext实战：基于ArkTS的分布式任务调度系统开发

HarmonyNext实战：基于ArkTS的分布式任务调度系统开发引言在HarmonyNext生态系统中，分布式任务调度是一个复杂且关键的需求。
·2025-03-18 18:06

分布式电商项目 谷粒商城 学习笔记＜4＞

文章目录十五、压力测试1.一些基本概念2.JVM内存机制3.压测记录4.Nginx动静分离5.优化三级分类查询十六、redisson分布式锁与缓存1.概念2.redis3.缓存失效缓存穿透缓存雪崩缓存击穿互斥锁
怎么又有bug单·2025-03-18 18:39

Hadoop MapReduce 词频统计（WordCount）代码解析教程

一、概述这是一个基于HadoopMapReduce框架实现的经典词频统计程序。程序会统计输入文本中每个单词出现的次数，并将结果输出到HDFS文件系统。
我不是少爷.·2025-03-18 17:07

鸿蒙Next开发与未来发展的变革：全场景操作系统的全新纪元

应用开发模式对比2.1.1元服务（MetaService）定义2.2开发工具链升级（DevEcoStudio4.0）2.2.1核心功能增强2.2.2工程结构变革三、关键技术突破3.1方舟编译器深度优化3.2分布式能力增强
北辰alk·2025-03-18 17:02

GraphQL 联邦架构：构建可扩展的分布式 API 生态系统

GraphQL联邦架构：构建可扩展的分布式API生态系统前言随着微服务架构在企业级应用中的广泛应用，各个服务需要独立演进与部署，API层的设计逐渐成为开发者面临的重要挑战。
全栈探索者chen·2025-03-18 14:44

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark的基本概念包括：弹性分布式数据集（RDD）：是Spark中基本的数据抽象，是一个可并行操作的分区记录集合。RDD可以在集群中的节点间进行分布式计算。转换（Transform
佛渡红尘·2025-03-18 13:31

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路说起大数据技术，Hadoop和Spark可以说是这个领域的两座里程碑。
Echo_Wish·2025-03-18 12:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他