DFS;BFS

Quorum Journal实现HDFS HA配置dfs.ha.fencing.methods

1.为什么使用QuorumJournal方式实现hdfsha配置dfs.ha.fencing.methods只需要写shell(true)？
sf_www·2024-01-20 11:22

Hadoop配置文件加载

hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml和hdfs-site.xml
sf_www·2024-01-20 11:52

HDFS垃圾回收源码解析

1.TrashPolicy类：所有的垃圾回收策略都需要实现该类，hdfs默认的实现方式是：TrashPolicyDefault，可通过fs.trash.classname来配置。
sf_www·2024-01-20 11:52

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
坐在风口上de猪·2024-01-20 10:10

125 从上到下打印二叉树II

BFS求解。publicList>bfs(TreeNoderoot){Queuequeue=newLinkedList>res;while(!
布林组-？·2024-01-20 08:07

122 解二叉树的右视图的两种方式

BFS方式求解，每一层只保留最后一个节点即可。
布林组-？·2024-01-20 07:32

hdfs命令参考1-判断文件存在后删除

#cleanoutputPathhdfsdfs-test-e$outputPathif[$?
liuzx32·2024-01-20 05:24

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

图的遍历(广度优先遍历)(深度优先遍历)

的关系，我们可以将树看作是图的一种特例图的遍历方式分为两种，分别为广度优先遍历和深度优先遍历广度优先遍历广度优先遍历是一种由近及远的遍历方式，从根节点出发，优先遍历距离根节点最近的节点，并一层层的向外扩张BFS
༺❀ൢ望༒月❀ൢ❀·2024-01-20 03:39

acwing 图的深度搜索DFS

写目录邻接表的构建邻接表DFSAcWing846.树的重心无向图pat1034HeadofaGang无向图/有向图的深度搜索，各连通块分别搜索有向图版无向图版邻接表的构建邻接表DFSconstintN=
honortech·2024-01-20 02:36

acwing 图的广度搜索BFS

目录PAT1076ForwardsonWeiboAcWing847.图中点的层次图的BFS也是借助队列实现PAT1076ForwardsonWeibo注意控制深度，并且避免影响以查找过的点的深度，也要进行
honortech·2024-01-20 02:36

力扣211. 添加与搜索单词 - 数据结构设计

节点放一个标记位，如果是单词结束则标记；字典树插入：字典树默认有26个slot槽代表a-z；遍历单词，如果字符对应槽存在则迭代到子节点，如果不存在则创建；在单词结尾的节点，将flag标记；字典树查询：定义dfs
slowfastflow·2024-01-20 00:09

网络流问题总结

有关技巧：利用容量为INF的边来干涉决策，如最大权闭合子图将所选集合的点的邻接边权求和分析，如最大密度子图判定S，T集合时必须用dfs相关算法：分数规划易错点：cnt初始时没有赋为1（很容易浪费时间）在写
cqbzcsq·2024-01-19 21:16

hadoop dfs web页面访问增加鉴权

前言装好了Hadoop，通过浏览器访问，发现竟然不需要鉴权就能访问，且暴露了很多服务器层文件路径信息，基于多年积累的安全意识，必须得配置些鉴权信息，就有了该文，仅做学习记录，下次自己再装时能提高效率。生成密码//hadoop安装目录下创建secret目录，存放密码mkdir-p/home/test/hadoop-3.2.2/secret//创建密码文件touchhadoop-http-auth-s
花菜回锅肉·2024-01-19 21:10

【C++】经典算法总结

文章目录1.DFS和BFS2.Dijkstra算法1.DFS和BFSDFS（DepthFirstSearch，深度优先搜索）是一种沿着图的深度遍历的算法。
盛世隐者·2024-01-19 21:37

Day32- 贪心算法part06

一、单调递增的数字题目一：738.单调递增的数字738.单调递增的数字当且仅当每个相邻位数上的数字x和y满足x0;i--){if(str[i]left,cameras);intright=dfs(node
小丸子_daydayup·2024-01-19 18:15

从零学算法78

：nums=[1,2,3]输出：[[],[1],[2],[1,2],[3],[1,3],[2,3],[1,2,3]]示例2：输入：nums=[0]输出：[[],[0]]如果将该题想象成一棵n叉树，进行dfs
李牧九丶·2024-01-19 17:33

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

【重点】【二叉树】662.二叉树最大宽度

题目法1：BFS，最佳方法classSolution{publicintwidthOfBinaryTree(TreeNoderoot){intans=0;Dequedeque=newLinkedList
Allenlzcoder·2024-01-19 15:39

【重点】【回溯】【DFS】39.组合总数

题目法1：回溯必须掌握基本算法！！！classSolution{publicList>combinationSum(int[]candidates,inttarget){List>res=newArrayListtmp=newArrayList>res,Listtmp){if(idx==candidates.length){return;}if(target==0){res.add(newArra
Allenlzcoder·2024-01-19 15:08

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。
Key-Key·2024-01-19 10:50

2020.10.31-笔记-深度优先与宽度优先

深度优先搜索（DFS)从某个状态开始，不断转移状态，直到无法转移，然后退回前一步状态，继续转移到其他状态，直到找到最终的解。深度优先搜索采用递归函数实现比较简单。
Juerr·2024-01-19 10:35

全排列的结果-深度优先搜索-DFS

代码：#includeusingnamespacestd;intn;inta[10];boolr[10];voidprint(intk){for(inti=1;i>n;fun(1);return0;}
信息学奥赛C++·2024-01-19 10:00

奶牛和草丛---深度优先搜索-DFS

代码：#includeusingnamespacestd;chara[100][100];intfx[4]={0,-1,0,1};intfy[4]={-1,0,1,0};intm,n;intc;voiddfs
信息学奥赛C++·2024-01-19 10:30

素数环-深度优先搜索-DFS

includeusingnamespacestd;intn,a[19],c=0;boolf[19];boolprime(intn){if(n==1)returnfalse;for(inti=2;i*i>n;dfs
信息学奥赛C++·2024-01-19 10:30

迷宫的所有路径-深度优先搜索-DFS

boolvis[100][100];intq[35][3];intc;voidprint(intk){c++;cout";}}cout=1&&tx=1&&ty>n;vis[1][1]=true;dfs
信息学奥赛C++·2024-01-19 10:57

centos中安装nfs实现服务器文件共享

如果一个服务使用集群方式部署，在文件读写时就需要考虑多个服务之间文件共享的问题，在共享文件时可以考虑部署一个单独的文件服务器，比如hdfs、minio、fastdfs等，也可以使用简单的文件目录共享方式实现
腊笔不小新xingo·2024-01-19 09:18

任务15：使用Hive进行全国气象数据分析

进行数据分析重点：掌握Hive基本语句熟练使用Hive对天气数据进行分析内容：使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv文件上传到HDFS
Dija-bl·2024-01-19 08:44

力扣22. 括号生成

回溯思路：定义函数dfs(item,open,close,n)表示当前item有左括号个数open和右括号个数close；使用递归，长度为n的序列就是在长度为n-1的序列后加左括号或者右括号：先放左括号
slowfastflow·2024-01-19 07:52

ACwing算法备战蓝桥杯——Day20——二分图

两个相邻两个结点只能具有不同的属性；可以抽象成将两种属性的点划分成两个集合，同一集合的点之间没有边；查看一个图是否为二分图：染色法思路：对于一个图的结点，枚举每个结点，如果遇到一个未染色的结点，就进行dfs
切勿踌躇不前·2024-01-19 07:18

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

Spark基础学习--基础介绍

首先我们回顾一下MapReduce的架构：MR基于HDFS实现大数据存储，基于Yarn做资源调度，且MR是基于进程处理数据的总结一下MR的缺点：1.MR是基于进程进行数据处理，进程相对
Yan_bigdata·2024-01-19 06:37

力扣刷题框架——二叉树的搜索和回溯

二叉树的搜索和回溯1.BFS1.1基本框架1.2例题1.2.1剑指offer13.机器人的运动范围2.DFS2.1基本框架2.2例题2.2.1剑指offer26.树的子结构2.2.2矩阵中的路径2.2.3
猫猫头不写bug·2024-01-19 05:39

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

HBase第一章：集群搭建

ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。一、环境准备再开始之前，我们要先安装
超哥--·2024-01-19 00:57

hbase学习笔记-hbase集群安装部署

tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop中的配置core-site.xml、hdfs
陈同学：·2024-01-19 00:22

HBase学习三：集群部署

gt;启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2机器分配hdfs
Studying！！！·2024-01-19 00:50

HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制

目录前言1.NameNode的启动和对edits和QJM相关配置文件的解析2.使用FSImage和FSEditLog类对image和editlog文件进行读写和管理3.EditsDoubleBuffer双缓存，让flush和write同时进行，互不干扰4.AsyncLoggerSetl类代理对QJM集群的读写6.QuorumCall封装了对基于paxos算法的QJM集群的异步操作7.StandBy
麦兜和小可的舅舅·2024-01-18 22:56

Hadoop的心脏：中央异步调度器AsyncDispatcher代码和设计解析

以Yarn、HDFS和MapReduce为主要组成的Hadoop，涉及到大量复杂的、交互的事件处理、状态转换，同时，这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅·2024-01-18 22:56

Hadoop RPC Server基于Reactor模式和Java NIO 的架构和原理

尤其是作为Master/Slave结构的Hadoop设计，比如HDFSNameNode或者YarnResourceMan
麦兜和小可的舅舅·2024-01-18 22:26

HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究

文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的
麦兜和小可的舅舅·2024-01-18 22:52

寒假刷题-递归与递推

#include#include#include#includeusingnamespacestd;constintN=16;intn;intst[N];voiddfs(intu
Paradox_M·2024-01-18 22:13

【数据采集与预处理】数据传输工具Sqoop

Sqoop原理三、Sqoop安装配置（一）下载Sqoop安装包并解压（二）修改配置文件（三）拷贝JDBC驱动（四）验证Sqoop（五）测试Sqoop是否能够成功连接数据库四、导入数据（一）RDBMS到HDFS
Francek Chen·2024-01-18 22:19

2024/1/18 DFS BFS

目录奇怪的电梯马的遍历PERKET（个人认为很抽象）奇怪的电梯P1135奇怪的电梯-洛谷|计算机科学教育新生态(luogu.com.cn)思路，还是用的bfs，建立一个结构体类型的队列，一个存当前的电梯层数
极度的坦诚就是无坚不摧·2024-01-18 21:39

Hive入门

Hive把表和字段转换成HDFS中的文件夹和文件，并将这些元数据保持在关系型数据库中，如derby或mysql。Hive查询的数据存储在HDFS上，运行在Yarn上。Hive适合做离线数
kongxx·2024-01-18 17:11

搜索与图论第二期 BFS

前言BFS跟DFS同样重要，也一定要熟练的掌握！！！一、BFS的基本内容BFS是从根节点开始，沿着树(图)的宽度遍历树(图)的节点。如果所有节点均被访问，则算法中止。BFS同样属于盲目搜索。
娇娇yyyyyy·2024-01-18 17:49

搜索与图论第一期 DFS（深度优先搜索）

前言DFS这部分难度不大，大家应该完全掌握！！！
娇娇yyyyyy·2024-01-18 17:19

搜索与图论第三期 树与图的深度优先遍历

前言该部分内容实际上是DFS的一个扩展，只要是会了DFS之后，这部分其实也差不多，直接上例题啦就。
娇娇yyyyyy·2024-01-18 17:16

.NET使用QuestPDF高效地生成PDF文档

前言在.NET平台中操作生成PDF的类库有很多如常见的有iTextSharp、PDFsharp、Aspose.PDF等，今天我们分享一个用于生成PDF文档的现代开源.NET库：QuestPDF，本文将介绍
追逐时光者·2024-01-18 17:45

2019-05-31LeetCode77. 组合

标准dfs，5minclassSolution:defcombine(self,n:int,k:int)->List[List[int]]:res=[]self.dfs(1,res,[],n,k)returnresdefdfs
mztkenan·2024-01-18 17:58
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他