分布式经典好文第22页

避免Hive和Spark生成HDFS小文件

HDFS是为大数据设计的分布式文件系统，对大数据做了存储做了针对性的优化，但却不适合存储海量小文件。

穷目楼·2025-03-03 22:36

MOSN 基于延迟负载均衡算法——走得更快，期待走得更稳

首先会对分布式系统中延迟出现的原因进行剖析，之后介绍MOSN都通过哪些方法来降低延迟，最后构建与生产环境性能分布相近的测试用例来对算法进行验证。在开始

·2025-03-03 21:59

面试题：你们的服务是怎么做日志收集的？

日志收集是分布式系统中非常重要的一环，用于监控、调试和故障排查。

clownAdam·2025-03-03 21:23

Redis——知识点

Redis问答1.认识Redis1.1什么是RedisRedis是一种基于内存的数据库，对数据的读写都在内存上操作，因此读写速度很快，常用于缓存、消息队列、分布式锁等的应用场景Redis提供了很多数据类型来支撑各种场景

其实不会敲代码·2025-03-03 21:23

Redisson 实现分布式锁

一、Redisson分布式锁的工作原理1.基本机制Redisson实现分布式锁的核心是基于Redis的SET命令。

山高自有客行路·2025-03-03 20:11

深入解析 ZooKeeper：分布式协调服务的原理与应用

ZooKeeper是一个开源的分布式协调服务，由ApacheSoftwareFoundation开发维护。它为构建分布式应用程序提供了一套简单且高效的协调接口。

guihong004·2025-03-03 20:40

模块一：Docker基础入门（一）

——这句开发者的经典辩解，背后暴露的是环境差异带来的致命问题。

GODLIKENESS·2025-03-03 19:04

数据库管理-第295期 IT架构与爆炸半径（20250221）

数据库管理295期2025-02-21数据库管理-第295期架构与爆炸半径（20250221）1术语新解2硬件：存储VS本地盘3数据库3.1多模VS专用3.2集中式VS分布式4公有云VS非公有云总结数据库管理

胖头鱼的鱼缸（尹海文）·2025-03-03 18:58

(面试经典问题之原子操作篇)原子操作CAS与锁实现

一、什么是原子操作原子操作（AtomicOperation）是指在多线程并发编程中，作为一个不可分割的单元执行的操作。无论操作过程中是否有其他线程或进程的干扰，它都会以整体的方式执行完毕。换句话说，原子操作在执行时要么完全完成，要么完全不做，过程中不会被中断，并且中间状态也不会暴露给其他线程。原子操作的关键特点包括：不可分割性：在执行过程中，操作不会被其他线程或进程打断。一致性：无论操作的执行顺序

文弱书生子·2025-03-03 17:52

11、SpringCloud

OpenFeign远程调用3）、LoadBalancer负载均衡的Ribbon（2021之前的版本）4）、Gateway网关5）、Sentinel服务保护限流现成隔离熔断降级方法（需要写代码）6）、Seata分布式事务

_Mortal__·2025-03-03 17:50

单链表：数据结构中的灵活“链条”

单链表作为一种经典的线性数据结构，以其简单、灵活且高效的特性被广泛应用于各种编程场景中。从动态数据集合的管理到内存分配，从队列和栈的实现到

EnigmaCoder·2025-03-03 17:49

C#微服务架构的奥秘：深入解析配置管理与服务发现机制

在现代软件开发中，微服务架构已经成为了构建复杂分布式系统的首选。它不仅提高了系统的可扩展性和灵活性，还使得团队能够更快速地响应市场需求。

墨夶·2025-03-03 17:49

【Python爬虫(96)】从0到1：打造爬虫驱动的数据分析平台

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。

奔跑吧邓邓子·2025-03-03 16:14

HarmonyOS Next跨设备拖拽——文件与文本自由流转

它实现了文件与文本在不同设备间的自由流转，极大地提升了用户的分布式交互体验，就像是给设备之间搭建了一座无形的桥梁，让数据传输变得轻松又高效。

·2025-03-03 13:09

Java架构师之路：微服务架构图解和详情

微服务框架搭建：总体规划框架名称当前技术选型方案微服务框架搭建开发框架单体服务SpringBoot分布式框架SpringCloud最新框架SpringCloudAlibaba服务配置中心+服务消息总线阿里巴巴

技术人小冯·2025-03-03 12:45

强者联盟——Python语言结合Spark框架

得益于在数据科学中强大的表现，Python语言的粉丝遍布天下，如今又遇上强大的分布式内存计算框架Spark，两个领域的强者走到一起，自然能碰出更加强大的火花（Spark可以翻译为火花），因此本文主要讲述了

博文视点·2025-03-03 12:15

分布式多卡训练(DDP)踩坑

多卡训练最近在跑yolov10版本的RT-DETR，用来进行目标检测。单卡训练语句（正常运行）：pythonmain.py多卡训练语句：需要通过torch.distributed.launch来启动，一般是单节点，其中CUDA_VISIBLE_DEVICES设置用的显卡编号，也可以不用，直接在main.py里面指定device也行，–nproc_pre_node每个节点的显卡数量。python-m

m0_54804970·2025-03-03 11:05

暗黑破坏神2：狱火重生重制版 for Mac

游戏介绍《暗黑破坏神II：狱火重生》（DiabloII:Resurrected）是由暴雪娱乐开发并发布的经典动作角色扮演游戏《暗黑破坏神II》的高清重制版。

Macdo_cn·2025-03-03 11:03

分布式监控Skywalking安装及使用教程（保姆级教程）(1)

前言本文主要讲解分布式链路追踪监控系统Skywalking的安装及使用教程，从0到1，图文并茂的保姆级教程。SkyWalking是一款用于分布式系统跟踪和性能监控的开源工具。

2401_84181145·2025-03-03 11:03

2024年linux——环境基础开发工具使用_gcc test file(4)，2024年最新程序设计+Linux运维+Web+数据库+框架+分布式

系统移植第2版Linux开源网络全栈详解从DPDK到OpenFlow第一份《Linux从入门到精通》466页====================内容简介====本书是获得了很多读者好评的Linux经典畅销书

2401_83740189·2025-03-03 11:02

大数据经典技术解析：Hadoop+Spark大数据分析原理与实践

作者：禅与计算机程序设计艺术1.简介大数据时代已经来临。随着互联网、移动互联网、物联网等新兴技术的出现，海量数据开始涌现。而在这些海量数据的基础上进行有效的处理，成为迫切需要解决的问题之一。ApacheHadoop和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点，大大提升了大数据应用的效率和效果。本文通过对Hado

AI天才研究院·2025-03-03 10:27

tidb和mysql性能优化有哪些区别

TiDB：-分布式架构，存储（TiKV）、计算（TiDBServer）、调度（PD）分离。-数据自动分片

大0马浓·2025-03-03 10:56

NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）

文本表示分类（基于表示方法）离散表示one-hot表示词袋模型与TF-ID分布式表示基于矩阵的表示方法降维的方法聚类的方法基于神经网络的表示方法NNLMCBOWSkip-gramGloVeELMoGPTBERT

陈宸-研究僧·2025-03-03 10:26

全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）

目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及分布式集群压测（待仔细学习）1.线程数量超过单机承载能力时的解决方案

m0_74822999·2025-03-03 10:55

STM32超级终端RTC日历系统开发实战 | 零基础入门STM32第四十步

师从洋桃电子，杜洋老师文章目录一、系统功能概述二、硬件系统架构2.1核心硬件组成2.2经典电路设计三、软件核心逻辑解析3.1主程序流程图3.2多任务处理机制四、RTC核心操作详解4.1时钟初始化流程4.2

触角01010001·2025-03-03 08:42

Redis学习笔记之——学习计划

Redis——RemoteDictionaryServer，开源、基于内存、速度快、key-value...Redis做为一个高性能的键值存储系统，广泛应用于缓存、会话存储、分布式锁以及其他需要快速访问的数据场景中

Jack_abu·2025-03-03 08:41

ES 的分布式架构原理能说一下么（ES 是如何实现分布式的啊）？

面试题ES的分布式架构原理能说一下么（ES是如何实现分布式的啊）？面试官心理分析在搜索这块，lucene是最流行的搜索库。几年前业内一般都问，你了解lucene吗？你知道倒排索引的原理吗？

小新杂谈社·2025-03-03 07:33

分布式系统debug日志链路日志-OnlineDebug

MDC分布式日志调用日志系统-OnlineDebug1、背景在分布式系统中，在排查线上问题的时候我们希望可以通过请求的唯一ID（或者用户Id等），打印整个请求在多个系统中的全链路，帮助我们提升问题排查能力

浮生若梦flw·2025-03-03 06:30

【Elasticsearch】Elasticsearch集群在分布式环境下的管理

分片与副本配置二、集群管理与运维2.1集群监控2.2故障处理2.3性能优化三、扩展与升级3.1集群扩展3.2集群升级3.3灾备与容灾️总结前言Elasticsearch是一种高度可扩展的开源搜索引擎，可以在大规模分布式环境中处理和存储海量数据

屿小夏·2025-03-03 06:30

20道经典自动化测试面试题

下面通过20道经典自动化测试面试题。让你能够在面试的时候轻松应对，也让你在学习自动化测试的时候明白应该关注哪些内容，而不仅仅只是

骨灰级收藏家·2025-03-03 06:30

数据结构 - 队列 [动画+代码注释超详解]，萌新轻松上手！！！

FirstInFirstOut)的顺序进行管理，这意味着最先加入队列的元素将会是最先从队列中被移除的元素队列的原型：只允许在一端进行插入数据的操作，在另一端进行删除数据的操作队列的原则：队列中的元素遵循先进先出的原则队列的两个经典操作

GalaxyPokemon·2025-03-03 06:29

Hadoop基础知识及部署模式

一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。

2301_82242502·2025-03-03 06:28

分布式微服务系统架构第92集：智能健康监测设备Java开发方案

加群联系作者vx：xiaoda0423仓库地址：https://webvueblog.github.io/JavaPlusDoc/https://1024bat.cn嗯，用户需要为血压、血糖、尿酸和血酮测试仪编写产品描述，同时涉及Java开发。首先，我得确定他们的需求是什么。可能他们是在开发一个健康监测系统，需要将这些设备的数据整合到一个应用中。产品描述需要专业但易懂，适合医疗或消费者市场。Jav

掘金-我是哪吒·2025-03-03 06:27

菜鸟Java基础教程 1.Java简介

Java简介Java简介Java分为三个体系：主要特性1.Java语言是简单的：2.Java语言是面向对象的：3.Java语言是分布式的：4.Java语言是健壮的：5.Java语言是安全的：6.Java

风之弋然·2025-03-03 05:52

RabbitMQ 高级配置与优化：从入门到精通

RabbitMQ高级配置与优化：从入门到精通引言在分布式架构中，消息队列（MQ）是必不可少的一环，而RabbitMQ作为业界广泛使用的消息中间件，凭借其高吞吐、可扩展、可靠性等特性备受青睐。

Echo_Wish·2025-03-03 05:49

Redis的主要数据类型及其应用场景

常用命令：SETkeyvalue/GETkeyINCRkey（原子递增计数器）SETNXkeyvalue（分布式锁）SETEXkeysecondsvalue（带过期时

阿湯哥·2025-03-03 05:16

WatchDog 看门狗

Watchdog机制（看门狗机制）是分布式系统或多进程/多线程应用中常见的一种防止服务或进程失效的机制。它的核心思想是：定期监控程序的健康状态，并在程序挂掉或死锁时进行自动恢复。

不要成为根号三·2025-03-03 05:15

redis分布式锁redission生产实战

一、为什么要用分布式锁？为什么要用分布式锁，首先要搞懂为什么要用锁？

2024程序员学习·2025-03-03 05:44

如何让 Git 管理本地项目

如何让Git管理本地项目：详细步骤指南Git是最流行的分布式版本控制系统，能够高效管理项目的代码变更历史。以下是将本地项目交给Git管理的完整流程，适用于首次使用Git的开发者。

有诺千金·2025-03-03 04:09

大数据技术学习框架（更新中......）

小技工丨·2025-03-03 04:05

面试题-秒杀系统的设计

文章目录什么是秒杀经典秒杀问题1.如何防止超卖？2.如何防止恶意请求？3.如何提高系统的并发能力？4.如何保证数据的一致性？

java路飞·2025-03-03 02:20

深入理解消息队列

二、消息队列的作用解耦：在一个大型的分布式系统

xxxmine·2025-03-03 01:45

机器学习之经典算法（十六） Birch算法

（一）Birch算法简介：BIRCH（BalancedIterativeReducingandClusteringUsingHierarchies）全称是：利用层次方法的平衡迭代规约和聚类。BIRCH算法是1996年由TianZhang提出来的。Birch算法就是通过聚类特征(CF)形成一个聚类特征树，root层的CF个数就是聚类个数。整个算法实现共分为4个阶段：1.扫描所有数据，建立初始化的CF

AI专家·2025-03-03 01:14

autojs一个经典的飘浮工具栏界面源码

autojs一般的项目都会有一个全屏界面，点击按钮，弹出个小悬浮窗。但是也有的时候只需要直接弹出小窗就够用了。这时候就用到了。"ui";importClass(android.view.View);auto.waitFor();auto.setMode('normal');setInterval(()=>{},1000);threads.start(function(){varwindow=flo

恶猫·2025-03-03 01:42

解释 Git 的基本概念和使用方式

Git是一种分布式版本控制系统，用于跟踪文件和文件夹的变化，以便多人协作开发代码、管理项目和跟踪代码变更历史。

liuhaoran___·2025-03-03 00:40

.Net Core HttpClient处理响应压缩

确实，如今分布式和负载均衡技术这么成熟，很多需要处理高并发大数据的场景都可以通过增加服务器节点来进行。但是，在资

溪源More·2025-03-03 00:10

破解高并发难题：百万到亿级系统架构实战指南

参考书籍《架构真意-企业级应用架构设计方法论与实践》作者范刚孙玄机械工业出版社本书通过架构设计方法论、分布式架构设计与实践和大数据架构设计三部分内容，系统阐述了在软件开发的时候，如何设计软件架构，并且对

繁华之中悟静·2025-03-03 00:09

Dubbo从入门到精通：一步步构建分布式服务架构

在现代互联网应用中，分布式系统已经成为一种趋势。随着业务规模的不断扩大，单体应用逐渐暴露出性能瓶颈和维护困难等问题。

Leaton Lee·2025-03-03 00:36

ElasticSearch是如何实现分布式的？

面试题es的分布式架构原理能说一下么（es是如何实现分布式的啊）？面试官心理分析在搜索这块，lucene是最流行的搜索库。几年前业内一般都问，你了解lucene吗？你知道倒排索引的原理吗？

weixin_30517001·2025-03-02 23:33

RocketMQ的架构及其工作流程详解

RocketMQ的架构及解析Producer1、消息发布的角色，支持分布式集群方式部署。

--流星。·2025-03-02 22:53

推荐频道

分布式经典好文