图论--DFS

Spark RDD 之 Partition

一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份，每份数据对应到RDD中的一个Partition，Partition的数量决定了task的数量，影响着程序的并行度支持保存点

博弈史密斯·2025-07-23 06:19

深入解析Hadoop中的Region分裂与合并机制

其架构核心由HDFS（HadoopDistributedFileSystem）和MapReduce组成，前者负责数据的分布式存储，后者实现分布式计算。

码字的字节·2025-07-23 00:45

大数据技术关键技术组件

大数据技术的关键组件通常包括：分布式存储系统：HadoopDistributedFileSystem(HDFS)：一个高度可扩展

·2025-07-23 00:12

【算法-图论】图的定义与一些常用术语

【算法-图论】图的定义图论编辑器1：https://csacademy.com/app/graph_editor/图论编辑器2：https://graphonline.top/ch/1.图是什么图（graph

小蛋编程·2025-07-23 00:10

大数据领域HDFS的集群资源管理优化

大数据领域HDFS的集群资源管理优化关键词：HDFS；集群资源管理；存储优化；性能调优；副本策略；负载均衡；NameNode优化摘要：HDFS（Hadoop分布式文件系统）作为大数据领域的基石，承载着海量数据的存储与管理重任

大数据洞察·2025-07-23 00:40

深入探索Hadoop技术：全面学习指南

本文旨在为初学者和进阶者提供一份详尽的Hadoop技术学习指南，涵盖HDFS、MapReduce、YARN等核心组件，以及Hive、Pig、HBase等生态系统工具，助您踏上H

·2025-07-23 00:09

【Elasticsearch】dfsPhase

`dfsPhase`（即DFS阶段）是在每个数据节点本地执行的，而不是在协调节点执行的。

·2025-07-22 23:39

【图论】CF——B. Chamber of Secrets (0-1BFS)

链接：https://codeforces.com/problemset/problem/173/B题目：思路：初识01BFS什么是01BFS呢？通常的BFS为一步权值为1，而某些题需要的不是走到步数，而是某种操作数，如花费一个操作可以走k步，而不花费只能走1步，通常我们使用双端队列可插队的性质来进行代码的编写，具体的对于不花费，那么就插入到前面，而对于花费则插入到最后本题中操作为“四射”，所以按

KyollBM·2025-07-22 23:38

算法工程师必备：数据结构10大经典算法详解

大经典算法详解关键词：数据结构、经典算法、时间复杂度、应用场景、代码实现摘要：本文是算法工程师的“算法工具箱”指南，系统讲解数据结构领域最核心的10大经典算法（快速排序、归并排序、二分查找、深度优先搜索DFS

数据结构与算法学习·2025-07-22 20:15

HDFS文件系统

HDFS文件系统是hadoop生态系统的核心，主要用于分布式文件存储，它具备高可用，流式读取，文件结构简单，跨平台的特点，它的集群采用的是主从结构，分为命名节点和数据节点，命名节点主要用于元数据管理（例如对目录

·2025-07-22 15:16

Flink-Hadoop实战项目

1.2技术栈流处理引擎:ApacheFlink1.18.1存储系统:HDFS(Hadoop分布式文件系统)数据

Dylan_muc·2025-07-22 14:12

大数据集群运维常见的一些问题以及处理方式

若为节点整体宕机：排查电源和网络，重启节点后，依次启动HDFS、YARN等服务进程，确认数据块完整性（避免因节点宕机导致副本不足）。

·2025-07-22 14:09

hadoop 集群问题处理

1.1.JournalNode的作用在HDFSHA配置中，为了实现两个NameNode之间的状态同步和故障自动切换，Hadoop使用了一组JournalNode来管理共享的编辑日志。

一切顺势而行·2025-07-22 04:53

sqoop从mysql导数据到hdfs，出现java.lang.ClassNotFoundException: Class QueryResult not found

运行sqoop从postgresql/mysql导入数据到hdfs,结果出现如下错误：2025-07-1816:59:13,624INFOorm.CompilationManager:HADOOP_MAPRED_HOMEis

无级程序员·2025-07-22 04:53

Metaverse 到底是什么？元宇宙是炒作，还是真正的科技大趋势？

他一边抱怨着，一边找到了自己的座位，是虚拟DFS体育馆最高层的绿区，

猫哥淮左·2025-07-21 23:29

hive的sql优化思路-明白底层运行逻辑

一、首先要明白底层map、shuffle、reduce的顺序之中服务器hdfs数据文件在内存与存储之中是怎么演变的，因为hive的性能瓶颈基本在内存，具体参考以下他人优秀文章：1.HiveSQL底层执行过程详细剖析

ycllycll·2025-07-21 18:50

14.优化算法之BFS解决FloodFill算法1

0.FloodFill简介dfs：深度优先遍历（红色）bfs：宽度优先遍历1.图像渲染算法原理classSolution{int[]dx={0,0,1,-1};int[]dy={1,-1,0,0};publicint

muyierfly·2025-07-21 17:38

六、深度剖析 Hadoop 分布式文件系统（HDFS）的数据存储机制与读写流程

深度剖析Hadoop分布式文件系统（HDFS）的数据存储机制与读写流程在当今大数据领域当中，Hadoop分布式文件系统（HDFS）作为极为关键的核心组件之一，为海量规模的数据的存储以及处理构筑起了坚实无比的根基

·2025-07-21 16:05

大数据处理技术：分布式文件系统HDFS

目录1实验名称：2实验目的3实验内容4实验原理5实验过程或源代码5.1HDFS的基本操作5.2HDFS-JAVA接口之读取文件5.3HDFS-JAVA接口之上传文件5.4HDFS-JAVA接口之删除文件

茜茜西西CeCe·2025-07-21 12:08

Java 递归方法详解：从基础语法到实战应用，彻底掌握递归编程思想

作为一名Java开发工程师，你一定在开发中遇到过需要重复调用自身逻辑的问题，比如：树形结构处理、文件夹遍历、斐波那契数列、算法实现（如DFS、回溯、分治）等。

大葱白菜·2025-07-21 10:25

21、子图同构问题的深度解析

子图同构问题的深度解析1.子图同构问题概述子图同构问题是图论中的一个核心问题，广泛应用于社交网络分析、生物信息学、模式识别等领域。

metal·2025-07-21 10:52

Dijkstra算法求最短路径问题

Dijkstra算法求最短路径问题——HM图论中最常见的问题就应是最短路径问题了，解决这一问题的几个基本算法有三个：Floyed、Dijkstra和SPFA了。

·2025-07-21 06:48

【Luogu】每日一题——Day8. P13085 [SCOI2009] windy 数（加强版）(数位DP)

链接：P13085[SCOI2009]windy数（加强版）-洛谷题目：思路：数位DP看到这种统计符合XX特征的数字时我们就能想到利用数位DP来做我们通常有两种做法，一种是DFS+记忆化，另一种则是直接

KyollBM·2025-07-21 01:41

算法：floyd和高精度洛谷最短路 P1037 [NOIP 2002 普及组] 产生数

思路：因为某个数变成另一个数是单向的，并且一个数变成另一个数后还可以变，让我联想到图论的内容，一个数变成其他数就相当于这个数与另一个数有单向边，而且边之间的线路可以让一个数可能变成很多数，因为数据量很小

健仙·2025-07-21 00:08

算法竞赛备赛——【图论】求最短路径——Floyd算法

floyd算法基于动态规划应用：求多源最短路时间复杂度：n^3dijkstra：不能解决负边权floyd：能解决负边权不能解决负边权回路问题求最短路径：dijkstrabfsfloyd思路1.让任意两点之间的距离变短：引入中转点k通过k来中转i---->k---->jj2.找状态：n个点都可以做中转点的情况下，i到j之间的最短路径的长度是x最终状态：dp[n][i][j]=x;中间状态：dp[k]

Aurora_wmroy·2025-07-21 00:07

公交路线图论BFS

给你一个数组routes，表示一系列公交线路，其中每个routes[i]表示一条公交线路，第i辆公交车将会在上面循环行驶。例如，路线routes[0]=[1,5,7]表示第0辆公交车会一直按序列1->5->7->1->5->7->1->...这样的车站路线行驶。现在从source车站出发（初始时不在公交车上），要前往target车站。期间仅可乘坐公交车。求出最少乘坐的公交车数量。如果不可能到达终点

吗喽对你问好·2025-07-20 23:56

免费开源 PDFsam Basic 一键搞定合并拆分旋转等 8 大 PDF 基础操作

今天给大家介绍一款超厉害的免费开源多功能PDF处理工具——PDFsamBasic，它主要就是为咱这些有基础PDF文档编辑需求的人准备的。先说说它的核心功能哈。

阿文软件园·2025-07-20 16:11

PDF 拆分合并PDFSam：开源免费多文件合并 + 按页码拆分本地处理

今天给你们安利一个神仙工具，PDFSam，听我的，不好用你回来打我（开玩笑的啦）！这家伙可是开源免费的，完全不用你掏一分钱，软件下载地址安装包它能干嘛呢，可太多了！你想把好几个PDF拧成一股绳？

文哥工具箱1·2025-07-20 16:39

深度优先搜索(DFS) vs 广度优先搜索(BFS)：核心区别与应用场景

#深度优先搜索(DFS)vs广度优先搜索(BFS)：核心区别与应用场景>关键词：深度优先搜索、广度优先搜索、图遍历、算法比较、应用场景>摘要：本文通过迷宫探险和消防灭火的生动比喻，揭示DFS与BFS的核心原理

·2025-07-20 13:22

fastDFS go客户端

FastDFS的Go客户端主要有两种实现方式：原生协议客户端和基于HTTPAPI的轻量级方案。

leijmdas·2025-07-20 12:14

代码随想录算法训练营第二十五天

递增子序列题目链接递增子序列题解classSolution{List>resList=newArrayList>();Listres=newArrayList>findSubsequences(int[]nums){dfs

天天开心(∩_∩)·2025-07-20 12:40

代码随想录算法训练营总结篇

当时做N皇后的题目看到卡哥的视频觉得大受裨益，就想着有时间能够刷完卡哥录制的整期课程，后面有算法训练营的监督让我很幸运地坚持了六十天，学到了很多东西，像贪心算法、动态规划、单调栈以及在二叉树里使用BFS和DFS

m0_74934708·2025-07-20 11:04

图论篇--代码随想录算法训练营第五十九天打卡|Bellman_ford 算法精讲，SPFA算法，Bellman ford之判断负权回路，Bellman ford之单源有限最短路

本系列算法用来解决有负权边的情况Bellman_ford算法精讲题目链接：94.城市间货物运输I题目描述：某国为促进城市间经济交流，决定对货物运输提供补贴。共有n个编号为1到n的城市，通过道路网络连接，网络中的道路仅允许从某个城市单向通行到另一个城市，不能反向通行。网络中的道路都有各自的运输成本和政府补贴，道路的权值计算方式为：运输成本-政府补贴。权值为正表示扣除了政府补贴后运输货物仍需支付的费用

無量空所·2025-07-20 11:34

代码随想录算法训练营第二十二天

LeetCode.77组合题目链接组合题解classSolution{List>result=newArrayListpath=newLinkedList>combine(intn,intk){dfs(

天天开心(∩_∩)·2025-07-20 11:31

代码随想录算法训练营第二十四天

newArrayList();Listres=newArrayList();publicListrestoreIpAddresses(Strings){if(s.length()==0)returnresList;dfs

天天开心(∩_∩)·2025-07-20 11:31

cdh6.3.2的hive使用apache paimon格式只能创建不能写报错的问题

解决方法原带的jars下的zstd开头的包旧了，重新下载zstd较新的包单独放到每个节点的hive/lib下; 然后将hdfsyarn用户下的mr-framework.tar.gz中的zstdjar

明天,今天,此时·2025-07-20 05:26

CodeFoeces-377A

利用dfs。如果需要填充k个，有t个路，那么只要不填充t-k个就可以。

ss5smi·2025-07-20 04:51

被围绕的区域洪水灌溉(FloodFill) 深度优先遍历(dfs) 暴力搜索 C++解题思路每日一题

二、题目拆解：提取核心关键点三、解题思路：从边界入手，反向标记四、算法实现：深度优先遍历（DFS）+两次遍历五、C++代码实现：一步步拆解代码拆解时间复杂度空间复杂度七、坑点总结八、举一反三九、总结零、

Q741_147·2025-07-19 18:02

Hadoop与云原生集成：弹性扩缩容与OSS存储分离架构深度解析

Hadoop与云原生集成的必要性Hadoop在大数据领域的基石地位作为大数据处理领域的奠基性技术，Hadoop自2006年诞生以来已形成包含HDFS、YARN、MapReduce三大核心组件的完整生态体系

·2025-07-19 16:49

LETTERS------dfs

题目链接：http://ybt.ssoier.cn:8088/problem_show.php?pid=1212【题目描述】给出一个roe×colroe×col的大写字母矩阵，一开始的位置为左上角，你可以向上下左右四个方向移动，并且不能移向曾经经过的字母。问最多可以经过几个字母。【输入】第一行，输入字母矩阵行数RR和列数SS，1≤R,S≤201≤R,S≤20。接着输出RR行SS列字母矩阵。【输出】

好好学习。天天编程·2025-07-19 12:50

POJ 156:LETTERS（dfs）

题目：忘题戳这题目大意：一个表格中每处有字母，从左上角开始走，不能经过重复的字母，看你最多能走多少个格子（包括左上角的起点格子）分析：一道非常典型的搜索题，寻路问题。深搜的同时，根据条件进入深搜（即没走过则进入，走过则跳过）用到的变量大概有，maxpos记录历史能走的最多的步数，nowpos记录当前走了多少格，visit[i]记录i点有没有走过，map[i][j]地图，还有行和列rc。小技巧：用字

Ctrl AC·2025-07-19 11:41

【DFS】LETTERS（C++）

【题目描述】给出一个roe×col的大写字母矩阵，一开始的位置为左上角，你可以向上下左右四个方向移动，并且不能移向曾经经过的字母。问最多可以经过几个字母。【输入】第一行，输入字母矩阵行数R和列数S，1≤R,S≤20。接着输出R行S列字母矩阵。【输出】最多能走过的不同字母的个数。【输入样例】36HFDFFBAJHGDHDGAGEH【输出样例】6这是一道回溯的题，比较容易弄懂，下面看代码：#inclu

·2025-07-19 11:11

信息学奥赛一本通1212：LETTERS DFS

1212：LETTERS时间限制:1000ms内存限制:65536KB提交数:31678通过数:14328【题目描述】给出一个roe×col的大写字母矩阵，一开始的位置为左上角，你可以向上下左右四个方向移动，并且不能移向曾经经过的字母。问最多可以经过几个字母。【输入】第一行，输入字母矩阵行数R和列数S，1≤R,S≤20。接着输出R行S列字母矩阵。【输出】最多能走过的不同字母的个数。【输入样例】36

0hang·2025-07-19 11:38

LETTERS（dfs，搜索与回溯）

【输入样例】36HFDFFBAJHGDHDGAGEH【输出样例】6题目分析：这属于dfs（深度优先搜索算法）。dfs带有三个

ナナ色のブランク·2025-07-19 10:36

蓝桥杯2023年第十四届省赛真题-岛屿个数

目录题目题目描述输入格式输出格式样例输入样例输出思路：两次DFS（染色法+合并）-Dotcpp编程社区代码：题目题目描述小蓝得到了一副大小为M×N的格子地图，可以将其视作一个只包含字符‘0’（代表海水）

撰卢·2025-07-12 14:05

ETL可视化工具 DataX -- 简介( 一)

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、

dazhong2012·2025-07-12 12:58

LeetCode第317题_离建筑物最近的距离

LeetCode第317题：离建筑物最近的距离文章摘要本文详细解析LeetCode第317题"离建筑物最近的距离"，这是一道图论和广度优先搜索的问题。

@蓝莓果粒茶·2025-07-12 08:27

Hive简介

数据类型Hive简介1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS

·2025-07-12 05:29

大数据技术之集群数据迁移

dfs.namenode.rpc-address.nameservice1.namenode30hadoop104:8020dfs.namenode.rpc-address.nameservice1.namenode37hadoop106

·2025-07-12 02:44

【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统

helyim是使用rust重写的seaweedfs，具体架构可以参考Facebook发表的haystack和f4论文。

·2025-07-11 20:03

推荐频道