图论——DFS——Tarjan

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

HDFS DataNode高密度存储机型的探索尝试

这里就涉及到了数据存储能力的问题，需要存储的数据越多，其实意味着我们需要更多的机器来扩增HDFS集群存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。
Android路上的人·2024-02-05 16:05

CDH使用Disk Balancer平衡磁盘HDFS数据

文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源前言当集群磁盘空间不足时，需要增加新硬盘到机器，此时新加入的磁盘空间基本为空，而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式，但如果磁盘空间大小本身不一致，通过该方法平衡后，磁盘空间不平衡情况依然存在。从CDH5.8.2开始，ClouderaManager提供了一个全面的存储容量管理解决方
Alderaan·2024-02-05 16:05

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

2024.2.3 寒假训练记录（17）

补一下牛客，菜得发昏了，F搞了两个小时都没搞出来，不如去开H了还没补完剩下的打了atc再来文章目录牛客寒假集训1ADFS搜索牛客寒假集训1B关鸡牛客寒假集训1C按闹分配牛客寒假集训1D数组成鸡牛客寒假集训
Texcavator·2024-02-05 15:10

【图论】基环树

基环树其实并不是树，是指有n个点n条边的图，我们知道n个点n-1条边的连通图是树，再加一条边就会形成一个环，所以基环树中一定有一个环，长下面这样：由基环树可以引申出基环内向树和基环外向树基环内向树如下，特点是每个点的出度为1基环外向树如下，特点是每个点的入度为1下面放点题，做到相关题目随时更新基环树+组合数学CF1454ENumberofSimplePaths先记录环上的点，每个环上的点引出去的子
Texcavator·2024-02-05 15:37

2.4日总结

第一题：选数题解：思路还是很简单的，只需要想清楚dfs里的函数都是什么就可以了，还有一个简单的判断素数的函数，这题真没啥难度，就是属于基础题吧，请看AC代码#include#include#includeintn
已经成为了代码的形状·2024-02-05 15:06

强连通分量（dfs version）

定义我们称有向图G=(V,E)G=(V,E)G=(V,E)是强连通的当且仅当对于GGG中任意两点u,vu,vu,v都存在一条uuu到vvv的路径和一条vvv到uuu的路径。如果G′G'G′为GGG的一个子图且G′G'G′是强连通的，则称G′G'G′是一个强连通子图。若G′G'G′满足极大性，则称G′G'G′是一个强连通分量。那么，如果我们将所有的强连通分量都缩成一个点，就可以得到一张DAGDAGD
yan_qiu_ynlchrz·2024-02-05 14:05

2016 第七届 蓝桥杯 JavaB组 剪邮票——全排列和dfs

思路:该题要是直接用dfs来做的话会遗漏掉一下情况,就如下图这样的
鹿谷門実·2024-02-05 14:34

搜索（3）dfs的连通性模型和搜索顺序

一、连通性模型1.没什么可说的，从起点开始，dfs四周，当到达#时returnfalse，到达终点时returnfalse。
BlessingSoftware1·2024-02-05 14:34

算法竞赛——强连通分量

DFS生成树DFS生成树是根据DFS搜索顺序构成的一颗生成树，形如（自上而下，自左而右）：有向图的DFS生成树主要有4种边：树
ThXe·2024-02-05 14:03

图论 —— 图的连通性 —— Kosaraju 算法

【基本思想】1.对原图G进行DFS搜索，计算出各顶点完成搜索的时间f2.计算图的反图GT，对反图也进行DFS搜索，但此处搜索时顶点的访问次序不是按照顶点标号的大小，而是按照各顶点f值由大到小的顺序3.反图
Alex_McAvoy·2024-02-05 14:03

图论（三）：DFS的应用——拓扑排序与强连通分量

本节介绍如何使用DFS对有向无环图进行拓扑排序，以及求强连通分量的算法。目录一拓扑排序二拓扑排序的实现三强连通分量参考一拓扑排序什么是拓扑排序呢？
Sunburst7·2024-02-05 14:32

图的遍历算法——DFS、BFS原理及实现

文章目录图的遍历定义如何判别某些顶点被访问过深度优先搜索（Depth-First-Search）深度优先搜索的递归实现深度优先搜索的非递归实现广度优先搜索（Breadth-First-Search）广度优先搜索实现图的遍历定义图的遍历（搜索）：从图的某一顶点出发，对图中所有顶点访问一次且仅访问一次。访问：抽象操作，可以是对节点进行的各种处理。连通图与非连通图都可以。但是图结构具有复杂性，不像线性表
W24-·2024-02-05 14:02

acwing提高——DFS之连通性问题+搜索顺序

1连通性问题（内部搜索）内部搜索一般不用恢复现场1.迷宫题目http://ybt.ssoier.cn:8088/problem_show.php?pid=1215#includeusingnamespacestd;constintN=110;boolst[N][N];charg[N][N];intn;intsx,sy,ex,ey;intdx[]={-1,0,1,0},dy[]={0,-1,0,1}
(￣(工)￣)霸天下·2024-02-05 14:01

DFS应用——遍历无向图

README0.1）本文总结于数据结构与算法分析，源代码均为原创，旨在理解如何对无向图进行深度优先搜索的idea并用源代码加以实现；0.2）本文还引入了背向边（定义见下文描述），并用源代码找出了给定图的在DFS
PacosonSWJTU·2024-02-05 14:30

图论——连通性

割点：1.无向图2.删去这个点及其所连边后，图不再联通点双连通图：1.无向图2.没有割点（删去任意一个点图仍联通）点双联通分量：无向图G中所有子图G’如果G’1.是点双联通子图2.不是其他点双联通子图的真子集，则G’是G的极大点双联通子图，也称点双联通分量。桥（割边）：1.无向图2.删此边（不删其连着的点），剩下的图不再联通边双连通图：1.无向图2.删任意一边，剩下的图仍联通边双联通分量：无向图G
Albert.Jw·2024-02-05 14:00

DFS——连通性和搜索顺序

dfs的搜索是基于栈，但一般可以用用递归实现，实际上用的是系统栈。
as_sun·2024-02-05 14:29

Hudi学习6：安装和基本操作

目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装HDFS2.2安装Spark3
hzp666·2024-02-05 14:59

Hudi学习1：概述

Hudi概念Hudi跟hive很像，不存储数据，只是管理hdfs数据。
hzp666·2024-02-05 14:59

Hudi学习 6：Hudi使用

准备工作：1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装sparkspark学习4：spark安装_hzp666的博客
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive
计算机毕业设计大神·2024-02-05 14:48

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

数据结构与算法：图论（邻接表板子+BFS宽搜、DFS深搜+拓扑排序板子+最小生成树MST的Prim算法、Kruskal算法、Dijkstra算法）

前言图的难点主要在于图的表达形式非常多，即数据结构实现的形式很多。算法本身不是很难理解。所以建议精通一种数据结构后遇到相关题写个转换数据结构的接口，再套自己的板子。邻接表板子（图的定义和生成）publicclassGraph{publicHashMapnodes;//点集，第一个参数是点的编号。和Node类中的value一致。不一定是Integer类型的，要看具体的题，有的题点编号为字母。publ
鸡鸭扣·2024-02-05 12:18

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

2024-02-04（hive）

分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。
陈xr·2024-02-05 10:54

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术·2024-02-05 09:29

CDH添加新节点小记

，jdk，防火墙及时间同步安装配置CM子节点，创建parcels，后续安装的软件都会分发到该文件夹下启动当前节点的CM，转到CDH管理界面，可以看到节点已添加到主机列表中选择该节点，添加角色：例如：hdfs
sx_1706·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

中的一些常用配置-CSDN博客目录3.1加载文件(本地)1.加载本地文件路径使用textFile加载本地txt文件使用textFile加载本地json文件使用sequenceFile加载本地二进制文件HDFS
王哪跑nn·2024-02-05 09:28

DFS和BFS基础算法框架

一，DFSDFS算法（深度优先搜索算法）是一种用于遍历或搜索树或图的算法。深度优先搜索（DFS）算法的递归版本框架如下：1，创建一个集合S，用于存储已经访问过的节点。树或是无环图则无需集合S。
bug猎人·2024-02-05 08:02

【算法】{画决策树 + dfs + 递归 + 回溯 + 剪枝} 解决排列、子集问题（C++）

文章目录1.前言2.算法例题46.全排列78.子集1.前言dfs问题我们已经学过，对于排列、子集类的问题，一般可以想到暴力枚举，但此类问题用暴力解法一般都会超时，时间开销过大。
卜及中·2024-02-05 07:23

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言
shandongwill·2024-02-05 07:44

(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能

前言本节内容我们主要介绍一下如何在springboot项目中集成fastdfs组件，实现文件的上传与下载。关于fastdfs服务中间键的安装过程，本节内容不做介绍。
厉害哥哥吖·2024-02-05 07:07

1.0 Hadoop 教程

其核心部件包括分布式文件系统(HadoopDFS，HDFS)和Ma
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

Hadoop主要包含HDFS和MapReduce两大组件，HDFS负责分布储存数据，MapRed
二当家的素材网·2024-02-05 06:38

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

详解洛谷P2912 [USACO08OCT] Pasture Walking G(牧场行走)(lca模板题)

includeusingnamespacestd;intn,q,a,to[100001][22],b,deep[100001],c,t[1000001];structff{intid,len;};vectorvec[100001];voiddfs
伟大的拜线段树jjh·2024-02-05 05:08

AcWing算法学习笔记：搜索与图论1（DFS + BFS + 树与图的深度优先遍历 + 树与图的广度优先遍历 + 拓扑排序）

搜索与图论一、DFS①排列数字②n-皇后问题（还没写）二、BFS①走迷宫②八数码（还没写）三、树与图的深度优先遍历（树的重心）四、树与图的广度优先遍历（图中点的层次）五、有向图的拓扑序列比较空间特点数据结构
一只可爱的小猴子·2024-02-05 05:58

[LeetCode] 22. Generate Parentheses(medium)

原题思路：利用DFS，搜索每一种情况，同时先加“(”后加")"，保证()匹配正确。最近开始学习前端，尝试用js来写。
弱花·2024-02-05 02:34

【暖*墟】#洛谷网课1.30# 树上问题

树上倍增基环外向树DPDFS序与欧拉序树链剖分可以参考wjyyy的https://www.wjyyy.top/421.htmlwjyyy是这样说的：树链剖分是一种优化，将树上最常经过的几条链划为重点，用线段树来优化区间修改和查询
Christy2222·2024-02-05 01:28

CDH5.X中使用Sqoop导数据报Cannot run program “mysqldump“: error=2, No such file or director

一、背景CHD5.16环境中，使用sqoop从MySQL中进行ETL导数据到hdfs过程中，报了如下错误：20/12/2213:58:48INFOmapreduce.Job:TaskId:attempt
江畔独步·2024-02-05 01:49

Leetcode刷题笔记题解（C++）：200. 岛屿数量

思路：利用深度优先搜索的思路来查找1身边的1，并且遍历之后进行0替换防止重复dfs，代码如下所示classSolution{public:intnumIslands(vector>&grid){introw
Demo.demo·2024-02-05 00:48

Leetcode刷题笔记题解（C++）：1863. 找出所有子集的异或总和再求和

0101060606060+6+1+7+5+3+4+2=28classSolution{public:intres=0;intn=0;intsubsetXORSum(vector&nums){n=nums.size();dfs
Demo.demo·2024-02-05 00:48

【读红宝书（一）】背景知识

相反，MapReduce市场已经转变为HDFS市场，并且似乎准备成为关系型SQL市场。最近，HDFS领域出现了另一个值得讨论的重点，即“数据湖”。
三半俊秀·2024-02-04 23:41

算法题目题单——图论

简介本文为自己做的一部分图论题目，作为题单列出，持续更新。题单由题目链接和题解两部分组成，题解部分提供简洁题意，代码仓库：Kaiser-Yang/OJProblems。
kaiserqzyue·2024-02-04 22:14

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz·2024-02-04 21:33

[NOIP2001 提高组] 数的划分

##输入格式$n,k$（$6usingnamespacestd;inta,b,c;voiddfs(intx,inty,intz){if(z==b){if(y==a)c++;return
you0214·2024-02-04 21:56

hive小文件合并问题

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong·2024-02-04 20:16

（三）Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
小猪Harry·2024-02-04 19:20
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他