--------DFS

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
m0_74823336·2025-02-07 16:57

Hbase基础

HBase是基于Google的Bigtable技术实现的，GoogleBigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce
yandao·2025-02-07 13:38

搜索与图论-------DFS与BFS与拓扑排序

核心代码：intdfs(intu){   st[u]=true;//st[u]表示点u已经被遍历过   for(inti=h[u];i!=-1;i=ne[i])   {       in
尉迟黎烨·2025-02-07 12:56

图论- DFS/BFS遍历

DFS/BFS遍历深度优先搜素(DFS)Vertex模版-遍历所有节点为什么成环会导致死循环呢临接矩阵和临接表版-遍历所有节点遍历所有路径-临接矩阵和临接表版广度优先搜索(BFS)不记录遍历步数的需要记录遍历步数的需要适配不同权重边的深度优先搜素
左灯右行的爱情·2025-02-07 11:22

使用Aspose将Excel转PDF,解决linux乱码问题(中文全是小方格)，windows环境正常

excel转pdf工具类importcom.aspose.cells.PdfSaveOptions;importcom.aspose.cells.Workbook;importcom.aspose.words.FontSettings
黑咖啡热牛奶·2025-02-07 06:18

【前序、中序、后序遍历递归&栈的实现】

前序、中序、后序遍历递归&栈的实现递归实现前序遍历中序遍历后序遍历栈实现前序遍历中序遍历后序遍历特性DFS（深度优先搜索）BFS（广度优先搜索）遍历顺序深度优先，沿着树的深度遍历，直到叶子节点再回溯。
schedule___·2025-02-06 20:13

HIVE常见面试题

1.简述hiveHive‌是一个构建在Hadoop之上的数据仓库工具，主要用于处理和查询存储在HDFS上的大规模数据。
兔子宇航员0301·2025-02-06 18:59

【starrocks学习】之将starrocks表同步到hive

目录方法1：通过HDFS导出数据1.将StarRocks表数据导出到HDFS2.在Hive中创建外部表3.验证数据方法2：使用ApacheSpark同步1.添加StarRocks和Hive的依赖2.使用
chimchim66·2025-02-06 12:52

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce
web_15534274656·2025-02-06 03:43

Hadoop1.0-HDFS介绍

最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

SQL on Hadoop

SQL引擎通常运行在Hadoop系统外部，作为一个桥梁查询HDFS
Lostgreen·2025-02-06 03:42

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

2022.3.3 回溯 —— 回溯算法解题套路框架

回溯算法其实就是我们常说的DFS(DepthFirstSearch)算法，本质上就是一种暴力穷举算法。二、如何使用回溯
LGoGoGo！·2025-02-05 22:35

深度优先搜索（DFS）——算法详解与Java实例

在之前的剑指offer系列大数问题中遇到了深度优先搜索（DFS）的问题，此处特做出详细讲解与说明。什么是DFS（深度优先搜索）？
ktkiko11·2025-02-05 22:01

libxml2-dev : Depends: libxml2 (= 2.9.3+dfsg1-1) but 2.9.3+dfsg1-1ubuntu0.5 is to be installed

ubuntu16.04在安装torch的sudobashinstall-deps命令的时候，出现了有libxml2-dev破损包存在libgraphicsmagick1-dev:Depends:libxml2-devbutitisnotgoingtobeinstalledE:Unabletocorrectproblems,youhaveheldbrokenpackages.如下图所示：这时候首先第
zhanglinjiang1234·2025-02-05 18:06

开源项目推荐：基于Lambda架构的大数据管道

Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,Kafka,HDFSandCassandra
柳旖岭·2025-02-05 16:53

【知识分享】HDFS基础操作以及修改配置文件命令

HDFS基本操作命令查看文件常用命令命令格式hdfsdfs-lspath--查看文件列表hdfsdfs-ls-Rpath--递归查看文件列表hdfsdfs-dupath--查看path下磁盘情况，单位字节使用示例
星环科技TDH社区版·2025-02-05 09:27

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。
专注大数据的Lyer·2025-02-05 09:56

蓝桥杯飞机降落（DFS、贪心）

输入样例：230100101010100220301020101020201020输出样例：YESNO题目对数据要求不是很大，且想要看看是否能找到一种飞机降落可行的顺序，所以可以尝试暴力dfsdfs:对每一个分支深入到不能再深入为止
YYJ333_333·2025-02-05 08:53

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查Hadopp和java版本是否对应，在官网中查hadoop-3.1.3JDK1.8hadoop-2.10.2JDK1.7or1.8hadoop-2.9.2JDK1.7or1.8hadoop-2.
碟中碟山·2025-02-05 07:16

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li·2025-02-05 07:14

蓝桥杯备考——算法

一、排序冒泡排序、选择排序、插入排序、快速排序、归并排序、桶排序二、枚举三、二分查找与二分答案四、搜索（DFS）DFS（DFS基础、回溯、剪枝、记忆化）1.DFS算法（深度优先搜索算法）深度优先搜索（DFS
糖醋排骨xp·2025-02-04 14:16

深度优先搜索（DFS)

深度优先搜索（DFS）：Java实现与原理解析深度优先搜索（Depth-FirstSearch，简称DFS）是一种用于遍历或搜索树或图的算法。
某个默默无闻奋斗的人·2025-02-04 11:43

Hadoop3.2.1安装-单机模式和伪分布式模式

主要包括HDFS和MapReduce两个组件。
花菜回锅肉·2025-02-04 07:13

Spark3.1.2单机安装部署

类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。
花菜回锅肉·2025-02-04 07:43

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。
唐僧不爱八戒·2025-02-04 00:50

如何在Java中调用Python

DataX是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
梦想画家·2025-02-03 17:17

Hive修复分区

通常用于那些已在HDFS中存在，但尚未在Hive元数据中注册的分区。当你在HDFS文件系统中手动添加或删除分区目录，Hive并不会自动识别这些更改。
码农小旋风·2025-02-03 14:27

hive分区和分桶详解

1、分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
CodeShelby·2025-02-03 14:56

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

【博学谷学习记录】超强总结，用心分享 | Hive分区表和分桶表

所谓的分区表，指的就是将数据按照表中的某一个字段进行统一归类，并存储在表中的不同的位置，也就是说，一个分区就是一类，这一类的数据对应到hdfs存储上就是对应一个目录。当我们需要进行处
Onzswhite·2025-02-03 14:52

Hive分区和分桶

每个分区对应一个特定值，并映射到HDFS的不同目录。为大幅减少数据量，基本必须要做！常用于经常查询的列，如日期、区域等。
码农小旋风·2025-02-03 14:51

算法初学者（DFS搜索）

搜索分为DFS(图论)：深度优先搜索，是一种用于遍历或搜索树或图的算法，所谓优先，就是说每次都尝试向更深的节点走。
KuaCpp·2025-02-03 10:54

FastDFS实用笔记 （Docker 搭建环境 + 整合 SpringBoot）

解决了大容量存储和负载均衡的问题，特别适合中小文件（4KB>文件路径为空…”);return“文件路径不能为空”;}try{StorePathstorePath=StorePath.parseFromUrl(fileUrl);storageClient.deleteFile(storePath.getGroup(),storePath.getPath());}catch(Exceptione){l
字节全栈_kYu·2025-02-03 07:29

day51|dfs与bfs的应用：岛屿数量，岛屿面积

深搜思路：利用深度搜索，每一执行dfs就将几块连在一起
kcwqxx·2025-02-03 05:16

搜索与图论复习1

1深度优先遍历DFS2宽度优先遍历BFS3树与图的存储4树与图的深度优先遍历5树与图的宽度优先遍历6拓扑排序1DFS：#includeusingnamespacestd;constintN=10;intn
KuaCpp·2025-02-03 01:09

sqoop导出orc数据至mysql,将Sqoop导入为OrC文件

IsthereanyoptioninsqooptoimportdatafromRDMSandstoreitasORCfileformatinHDFS?
终有尽头·2025-02-02 15:28

sqoop从orc文件到oracle,Sqoop import as OrC file

问题IsthereanyoptioninsqooptoimportdatafromRDMSandstoreitasORCfileformatinHDFS?
余革革·2025-02-02 15:58

日常题解——LCA和RMQ1

Tarjan算法：DFS+并查集求LCARMQ查询区间最大最小值，st（动态规划写法）dfs序/dfn序->使用dfn编号构建的dfs序，在dfs序上rmq查询区间最小值得到的就是lca的编号，映射得到的是节点板子话不多说
xiaowang524·2025-02-02 04:07

java.io.FileNotFoundException: /tmp/log/flume-ng/flume.log (Permission denied)

文章目录问题描述：原因分析：解决方案：问题描述：使用Flume将本地文件监控上传到HDFS上时出现log4j:ERRORsetFile(null,true)callfailed.java.io.FileNotFoundException
海洋 之心·2025-02-02 04:05

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下
诺特兰德·2025-02-02 03:38

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00
字节全栈_rJF·2025-02-02 02:56

【Python蓝桥杯备赛宝典】

三分法2.5倍增法和ST算法2.6前缀和与差分2.7离散化2.8排序与排列2.9分治法2.10贪心法1.接水时间最短问题2.糖果数量有限问题3.分发时间最短问题4.采摘苹果最多问题三、搜索3.1BFS和DFS
殇在山风·2025-02-01 21:52

Blood Cousins（LCA+DFS序+二分）【2100】

对于第二点，我们可以按照深度，将所有节点的DFS序全部存储到vector中，因为DFS序的单调性，直接二分查找即可
Auto114514·2025-02-01 20:14

HBase Shell基本操作

一、进入HbaseShell客户端先在LinuxShell命令行终端执行start-dfs.sh脚本启动HDFS，再执行start-hbase.sh脚本启动HBase。
wanglingli95·2025-02-01 17:20

Hadoop--HA架构详解

一、HA架构工作背景HDFS集群中的nameNode存在单点故障因素。
娘子，出来看上帝·2025-02-01 10:20

Hadoop HA 架构

企业里面,多台机器伪分布式每一个角色都是一个进程HDFS:NNSNNDNYARN:RMNM大数据所有组件,都是主从架构master-slaveHDFS读写请求都是先到NN节点,但是,HBase读写请求不是经过
weixin_30569033·2025-02-01 09:49

（动态规划基础 打家劫舍）leetcode 198

已知h2和h1，用已知推出未知推是求答案，回溯是给答案这里图片给出dfs暴力，再进行记录答案完成记忆化搜索，再转为dp数组#include#include#include//nums:2,1,1,2//
维齐洛波奇特利(male)·2025-02-01 06:53

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。
weixin_39710660·2025-02-01 04:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他