DFS;BFS

OpenBayes 一周速览｜一键部署Qwen2.5-Coder，0编程经验实现代码生成自由！

公共资源速递5个数据集：Coil-100图像数据集Muharaf手写阿拉伯文数据集CollectiveActivity集体活动视频数据集MultimodalSpectroscopic化学多模光谱数据集CDFSOD-benchmark
·2025-01-20 22:17

flume系列之：flume落cos

、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS
快乐骑行^_^·2025-01-20 13:42

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

leetcode 87. 扰乱字符串

题目：87.扰乱字符串-力扣（LeetCode）dfs+状态记录。
fks143·2025-01-20 02:45

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

图论DFS：黑红树

我的个人主页往{\color{Red}{\Huge往}}往期{\color{Green}{\Huge期}}期文{\color{Blue}{\Huge文}}文章{\color{Orange}{\Huge章}}章DFS
Python_enjoy·2025-01-19 19:47

算法打卡：第十一章 图论part02

注意：每次传入dfs函数的节点都是符合结果收集条件的，所以不用写结束条件。也可以将判断条件（访问过/不是陆地）写入dfs的结束条件中。方法：importjav
菜鸟求带飞_·2025-01-19 15:11

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

ACwing算法备战蓝桥杯——刷题

BFS：全球变暖：你有一张某海域N×N像素的照片，”.”表示海洋、”#”表示陆地，如下所示：........##.....##........##...####....###........其中”上下左右
切勿踌躇不前·2025-01-18 10:55

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

深入浅出广度优先搜索（BFS）：从原理到 Python 代码实现

引言在图论和计算机科学中，广度优先搜索（Breadth-FirstSearch，简称BFS）是一种用于遍历或搜索图或树结构的算法。
纪至训至·2025-01-18 06:29

华为OD机试 - 跳马 - 广度优先搜索BFS（Java 2024 E卷 200分）

一、题目描述马是象棋(包括中国象棋只和国际象棋）中的棋子，走法是每步直一格再斜一格，即先横着或直着走一格，然后再斜着走一个对角线，可进可退，可越过河界，俗称马走“日“字。给项m行n列的棋盘(网格图)，棋盘上只有象棋中的棋子“马”，并目每个棋子有等级之分，等级为K的马可以跳1~k步(走的方式与象棋中“马”的规则一样，不可以超出棋盘位置)，问是否能将所有马跳到同一位置，如果存在，输出最少需要的总步数(
哪 吒·2025-01-17 20:34

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

LeetCode第 210 题：课程表 II(C++)

210.课程表II-力扣（LeetCode）LeetCode第207题：课程表(C++)_zj-CSDN博客的进阶输出一种顺序即可「拓扑排序」的一个附加效果是：能够顺带检测有向图中是否存在环bfsclassSolution
zj134_·2025-01-17 18:45

图论算法——最短路问题

例如：V2到V5可以是V2->V5，也可以是V2->V0->V3->V5，很明显最短路是前者算法主要思路：广度优先搜索（bfs）：对于每个顶点，我们将跟踪
青云遮夜雨·2025-01-17 15:47

算法之图论

连接图有向图问题无向图问题无向图最短路径127.单词接龙-力扣（LeetCode）分析：对于无向图最短路径问题，建议使用BFS（对点的扩展关联（扩散迭代方式））。
专业刷题Pia·2025-01-17 14:14

java搜索DFS BFS 剪枝 记忆化搜索相关例题算法学习笔记（持续更新中）

目录DFSP1706全排列问题P1596连接水池的数量P1036[NOIP2002普及组]选数P1219[USACO1.5]八皇后CheckerChallengeP2392kkksc03考前临时抱佛脚P2036
ddb酱·2025-01-17 14:42

图文详解两种算法：深度优先遍历（DFS）和广度优先遍历（BFS）

图文详解两种算法：深度优先遍历（DFS）和广度优先遍历（BFS）阅读本文前，请确保你已经掌握了递归、栈和队列的基本知识，如想掌握搜索的代码实现，请确保你能够用代码实现栈和队列的基本操作。
WANGHAOXIN364·2025-01-17 14:11

代码随想录算法训练营DAY56｜图论理论基础、98. 所有可达路径、深搜广搜基础

98.所有可达路径defdfs(graph,a,n,path,result):ifa==n-1:result.append(('').join(path[:]))forjinrange(N):ifgraph
阿緑·2025-01-17 14:38

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

引入前面我们已经对HDFS有了很多了解，但是光说不练假把式，今天开启深入源码的纯享模式，先来看看NameNode启动流程，在代码层面，到底是如何实现的。
黄雪超·2025-01-17 12:25

华为OD机试题库大全【JAVA&Python&C++&JS题解】

机试的内容主要包括算法和数据结构的应用，题型可能涵盖递归、分治、单调栈、并查集、滑动窗口、前缀和、查分、二分查找、BFS广搜以及DFS深搜等多种算法。
步入烟尘·2025-01-17 12:22

华为OD机试 - 可活动的最大网格点数目 - 广度优先搜索BFS（Python/JS/C/C++ 2024 E卷 200分）

华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试真题（Python/JS/C/C++）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述现有一个机器人，可放置于M×N的网格中任意
哪 吒·2025-01-17 11:46

华为OD机试 - 西天取经 - 广度优先搜索BFS（Python/JS/C/C++ 2024 E卷 200分）

华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试真题（Python/JS/C/C++）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述唐僧师徒四人去西天取经，一路翻山越岭。一天
哪 吒·2025-01-17 11:14

华为OD机试 - 返回矩阵中非1的元素个数 - 广度优先搜索BFS（Java 2024 E卷 200分）

华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试（JAVA）真题（E卷+D卷+A卷+B卷+C卷）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述存在一个m*n的二维数组Q，其成
哪 吒·2025-01-17 11:12

华为OD机试 - 周末爬山 - 广度优先搜索BFS（Python/JS/C/C++ 2024 E卷 200分）

华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试真题（Python/JS/C/C++）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述周末小明准备去爬山锻炼，0代表平地，山的高
哪 吒·2025-01-17 11:10

华为OD机试 - 特殊的加密算法 - 深度优先搜索DFS（Python/JS/C/C++ 2024 D卷 200分）

一、题目描述有一种特殊的加密算法，明文为一段数字串，经过密码本查找转换，生成另一段密文数字串。规则如下明文为一段数字串由0-9组成密码本为数字0-9组成的二维数组需要按明文串的数字顺序在密码本里找到同样的数字串，密码本里的数字串是由相邻的单元格数字组成，上下和左右是相邻的，注意:对角线不相邻，同一个单元格的数字不能重复使用。每一位明文对应密文即为密码本中找到的单元格所在的行和列序号(序号从0开始)
哪 吒·2025-01-17 10:39

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

【C++BFS算法】909. 蛇梯棋|2019

本文涉及知识点C++BFS算法LeetCode909.蛇梯棋给你一个大小为nxn的整数矩阵board，方格按从1到n2编号，编号遵循转行交替方式，从左下角开始（即，从board[n-1][0]开始）的每一行改变方向
闻缺陷则喜何志丹·2025-01-17 04:15

HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办？ 思维导图 代码示例（java 架构)

当在HDFS中上传文件时，如果其中一个DataNode突然挂掉，HDFS有内置的机制来确保数据的完整性和可靠性。以下是详细的处理流程、Java架构代码示例以及创建思维导图的建议。
用心去追梦·2025-01-17 03:37

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

1.16学习总结

本题考查深搜，所以需要定义结构体，调用bfs函数从（1，1）开始进行深搜，，向四个方向进行扩展，每扩展一次就按顺序放下路障，深搜完判断是否到达终点，到达舒畅Yes，反之输出No，需要注意的是有多组数据，
2401_89561082·2025-01-16 20:01

MYSQL数据库表的设计

jasonhui512/article/details/53134054页面原型需求分析表结构的设计数据库设计案例elasticSearchpostgresqlmongodbRedisneo4jfastDFSmemcachemavengitsvnluencemybatismybatisplusspringspringMVCspringbootspri
qq_45849275·2025-01-16 18:16

nosql数据库技术与应用知识点

Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink
皆过客，揽星河·2024-09-16 08:42

浅谈MapReduce

但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Android路上的人·2024-09-16 04:40

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。
傲雪凌霜，松柏长青·2024-09-16 00:16

Hadoop架构

HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

P1228 地毯填补问题

[](地毯填补问题-洛谷)#includeusingnamespacestd;#defineqwdfs(zx+l-1,zy+l-1,zx,zy,l);#definewedfs(zx+l-1,zy+l,zx
「已注销」·2024-09-15 17:17

hbase介绍

hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-·2024-09-15 13:06

洛谷 P1378 油滴扩展

本题可以利用dfs计算，重点是计算某一个油滴可以扩展的半径，并搜索得出所有油滴可以扩展的最大面积。
summ1ts·2024-09-15 04:39

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

【HDFS】【HDFS架构】【HDFS Architecture】【架构】

目录1Introduction介绍2AssumptionsandGoals假设和目标HardwareFailure硬件故障StreamingDataAccess流式数据访问LargeDataSets大型数据集SimpleCoherencyModel简单凝聚力模型“MovingComputationisCheaperthanMovingData”“移动计算比移动数据更便宜”PortabilityAc
资源存储库·2024-09-14 04:53

Hadoop学习第三课（HDFS架构--读、写流程）

个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize
小小程序员呀~·2024-09-14 03:53

hdfs启动流程

Namenode1.init()namenode初始化，执行加载配置文件等操作2.loadFsImage()开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系
weixin_44352020·2024-09-14 03:52

hdfs开机启动流程

第一步：加载name目录下最新的那个fsimage_xxx019文件，将里面存储的元数据（目录树结构）维护到内存中，但是还不是关机前的状态第二步：将关机前的最后使用的edits_inprogress_xxxx0160进行重命名edits_0000000000000000160-0000000000000000169操作，然后生成一个最新的edits_inprogress_xxx170文件，并修改s
鸭梨山大哎·2024-09-14 03:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他