DFS深度优先

美团4.8后端开发笔试

arr[i][j];}}for(inti=0;iusingnamespacestd;constintN=1e5+5;intn,x,y;vectoredges[N];intlen,vis[N];voiddfs
努力搬砖的小王·2024-09-11 17:03

hive表格统计信息不准确

，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs
weixin_41956627·2024-09-11 09:37

SeaweedFS接口-Filer Server API

YoucanappendtoanyHTTPAPIwith&pretty=ytoseeaformattedjsonoutput.FilerserverPOST/PUT/Getfiles#BasicUsage://createoroverwritethefile,thedirectories/path/towillbeautomaticallycreatedPOST/path/to/file//get
九品神元师·2024-09-11 09:35

人生苦短我用Python pandas文件格式转换

1excel与csv互转常用格式的方法FlatfileExcelJSONXML示例2常用格式转换简要需求依赖export方法main方法附其它格式的方法HTMLPicklingClipboardLatexHDFStore
程序喵D·2024-09-11 08:58

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

解决flume在抽取不断产生的日志文件时，hdfs上出现很多小文件的问题

问题在使用flume时，需要编写conf文件，然后执行，明明sinks已经指定了roll的三个参数：a1.sinks.k1.hdfs.rollInterval=0（根据写入时间来切割）a1.sinks.k1
lzhlizihang·2024-09-10 07:36

Hadoop的搭建流程

第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化

JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。
Juicedata·2024-09-10 05:51

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【LeetCode每日一题】【2021/12/7】1034. 边界着色

文章目录1034.边界着色前言方法1：广度优先搜索方法2：深度优先搜索（非递归）1034.边界着色LeetCode:1034.边界着色中等\color{#FFB800}{中等}中等给你一个大小为mxn的整数矩阵
亡心灵·2024-09-09 23:03

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Apache Beam简介及相关概念

简介二.基本概念1.Pipelines2.PCollection3.Transforms4.ParDo5.PipelineI/O6.Aggregation7.User-definedfunctions(UDFs
奋斗的源·2024-09-09 23:30

搜索与图论

第三章搜索与图论1.深度优先搜索DFS一条路走到黑数字全排列[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g3u66CKm-1657019682316)(C:\Users
yy代码·2024-09-09 16:12

（十二）基础算法

文章目录数学函数math.h（cmath）头文件float.h头文件拆位拆位进阶奇偶判断质数判断电灯在c++中，会涉及到一些算法，例如递归、递推、动态规划（DP）、深搜（DFS）、广搜（BFS）……今天我们要说的是一些简单的算法数学函数
小蛋编程·2024-09-09 15:08

【代码随想录训练营第42期 Day53打卡 - 图论Part4 - 卡码网 110. 字符串接龙 105. 有向图的完全可达性

目录一、个人感受二、题目与题解题目一：卡码网110.字符串接龙题目链接题解：BFS+哈希题目二：卡码网105.有向图的完全可达性题目链接题解：DFS三、小结一、个人感受对于两大基本搜索：深度优先搜索DFS
逝去的秋风·2024-09-09 15:07

【代码随想录训练营第42期 续Day52打卡 - 图论Part3 - 卡码网 103. 水流问题 104. 建造最大岛屿

目录一、做题心得二、题目与题解题目一：卡码网103.水流问题题目链接题解：DFS题目二：卡码网104.建造最大岛屿题目链接题解：DFS三、小结一、做题心得也是成功补上昨天的打卡了。
逝去的秋风·2024-09-09 15:37

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

分布式文件系统FastDFS动态扩容

FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。
欢醉·2024-09-08 18:38

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

NonrecursiveDFS

packagecom.lab1.test6;importjava.util.Iterator;importcom.lab1.test1.LinkedStack;publicclassNonrecursiveDFS
賈小強·2024-09-08 10:36

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

Error: java.io.IOException: java.lang.reflect.InvocationTargetException

java.lang.reflect.InvocationTargetException；往下继续看log，发现是car3g_prpcitemkind（文件名）显示prpcitemkind分区数据不在了，这种通常发生在抽数的时候，抽数脚本最一开始有没有进行-rm一些hdfs
lics10·2024-09-07 20:12

【图论】虚树 - 模板总结

*****虚树*********************/structedge{intto,next;intval;};structVirtual_Tree{intn;//点数intdfn[N];//dfs
Texcavator·2024-09-07 19:32

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client
静听山水·2024-09-07 17:47

DataX用hdfsreader导入或导出hive数据

DataX读取Hive数据的话，其本身只提供了hdfsreader，因为hive一来不是个数据库，它只是hdfs数据的结构化管理工具，所以datax默认没有自带hive的reader，因此默认只能直接用
尘世壹俗人·2024-09-07 10:02

【Py/Java/C++三种语言OD独家2024E卷真题】20天拿下华为OD笔试之【DFS/BFS】2024E-BOSS的收入【欧弟算法】全网注释最详细分类最全的华为OD真题题解

OD、大厂真题绿色聊天软件戳od1441了解算法冲刺训练（备注【CSDN】否则不通过）文章目录相关推荐阅读题目描述与示例题目描述输入描述输出描述补充说明示例输入输出解题思路拓扑排序BFS解法*自底向上的DFS
闭着眼睛学算法·2024-09-07 06:00

【Py/Java/C++三种语言OD独家2024E卷真题】20天拿下华为OD笔试之【DFS】2024E-计算三叉搜索树的高度【欧弟算法】全网注释最详细分类最全的华为OD真题题解

可上欧弟OJ系统练习华子OD、大厂真题绿色聊天软件戳od1441了解算法冲刺训练（备注【CSDN】否则不通过）文章目录相关推荐阅读题目描述与示例题目描述：输入描述输出描述示例一输入输出说明示例二输入输出说明示例三输入输出说明解题思路节点的表示三叉搜索树的节点插入过程（举例说明）三叉搜索树的节点插入过程（递归三要素）计算树的高度在建树过程中计算树的高度在建树完毕后计算树的高度代码解法一：建树过程中计
闭着眼睛学算法·2024-09-07 05:53

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/
星星法术嗲人·2024-09-07 04:21

实验楼 python实现markdown解析器_C++ 打造 Markdown 解析器

手动实现一个Markdown解析器，作为展示，还将为文档生成目录本项目由欧龙崎发布在实验楼，完整教程及在线练习地址：C++打造Markdown解析器一、概述效果展示如图所示：项目涉及的知识点词法分析技术语法树DFS
weixin_39517400·2024-09-07 03:12

最短路径算法——A*算法

A*算法是一种启发式的搜索算法，它是基于深度优先算法(DepthFirstSearch,DFS)和广度优先算法(BreadthFirstSearch,BFS)的一种融合算法，按照一定原则确定如何选取下一个结点
有一点点想CoCo你·2024-09-06 18:46

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持
Helen_Cat·2024-09-06 18:35

全排列问题

一.DFS(递归+回溯）原题题目：给定一个整数n，将数字1∼n排成一排，将会有很多种排列方法。现在，请你按照字典序将所有的排列方法输出。输入格式共一行，包含一个整数n。
AlgorithmAce·2024-09-06 13:06

spark读取csv文件

测试spark读取本地和hdfs文件frompyspark.sqlimportSparkSessionspark=SparkSession.builder\.appName("ExamplePySparkScript
静听山水·2024-09-06 10:44

图的邻接表建立方法和深搜广搜

深度优先搜索（DFS）和广度优先搜索（BFS）是图论中两种经典的图遍历算法，它们在解决各种问题如路径查找、迷宫求解、连通性分析等方面有着广泛的应用。
翔山代码·2024-09-06 09:40

hadoop-hdfs系统构成

2019独角兽企业重金招聘Python工程师标准>>>HDFS组成1)NameNode元数据2)DataNode存储文件内容block3)SecondaryNameNode合并NameNode与editsHDFS
weixin_33701564·2024-09-06 00:46

字节跳动10万节点HDFS集群多机房架构演进之路(1)

如何高效运维如此超大规模的集群要回答这些问题需要HDFS从多个方向迭代优化，例如DanceNN的上线、运维平台的建设等，本文不会介绍字节跳动HDFS所有的演进方案，而是聚焦在HDFS多机房架构的演进策略上
2401_84122782·2024-09-05 21:23

394. 字符串解码

递归：代码：是我忘记之前dfs的递归怎么写的了，回溯那一块全是用的递归，用递归需要很注意传入当前处理字符的位置这个参数！注意这里index应该要用引用传递，才能保证index能实时传递。
WJX574·2024-09-05 02:46

leetcode算法题之N皇后

解法：回溯回溯是基于DFS的一种算法，它通过在解
前端码农小黄·2024-09-05 02:45

HDFS的读写流程

写入的流程流程：客户端先向NameNode节点发送上传数据的请求NameNode接收到请求之后进行权限校验，校验之后，会计算出来三个节点客户端会将输入的文件切割成块，然后一个个块进行传递客户端先跟第一个服务器创建连接，这个通道的名字是PipeLine每次传递数据的时候都是以Packet为单位进行传递的，每个Packet大约是64KB各个数据节点（DataNode）之前也会创建连接PipeLine，
Yz9876·2024-09-04 22:57

代码随想录训练营 Day50打卡 图论part01 理论基础 98. 所有可达路径

代码随想录训练营Day50打卡图论part01一、理论基础DFS（深度优先搜索）和BFS（广度优先搜索）在图搜索中的核心区别主要体现在搜索策略上：1、搜索方向：DFS：深度优先，一条路走到黑。
那一抹阳光多灿烂·2024-09-04 19:06

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式
进击的小白菜·2024-09-04 16:50

精准设计与高效开发：用六西格玛设计DFSS实现新能源汽车开发突破

六西格玛中的DFSS（DesignforSixSigma）模型提供了一种系统的方法，通过科学的设计和数据驱动的决策，可以帮企业实现这一目标。
张驰课堂·2024-09-04 12:21

三，Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
__元昊__·2024-09-04 04:02

C#语言基础速成Day07

常见数据结构：1.集合（Collection）1.1**List**1.2**HashSet**1.3**LinkedList**1.4**ObservableCollection**2.栈（Stack）2.1深度优先搜索
blaizeer·2024-09-03 20:11

hive学习（五）

inpath'路径'[overwrite]intotable表名[partition(partcol1=val1,…)];特殊说明1）local：标识从本地加载数据到Hive表，若没有local的话从HDFS
2301_79721847·2024-09-03 14:00

hive学习记录

数据存储：Hive处理的数据存储在HDFS（HadoopDistributedFileSystem）上。执行引擎：Hive的
2302_80695227·2024-09-03 12:46

二叉搜索树的最近公共祖先(dfs+二叉搜索树)

文章目录1.题目来源2.题目解析1.题目来源链接：235.二叉搜索树的最近公共祖先题单：【题单】链表、二叉树与一般树（前后指针/快慢指针/DFS/BFS/直径/LCA）二、二叉树§2.8最近公共祖先2.
Ypuyu·2024-09-03 05:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他