DFS(深度优先搜索)

FastDFS分布式文件存储

为什么会有分布式文件系统？分布式文件系统是面对互联网的需求而产生。因为互联网时代要对海量数据进行存储。很显然靠简单的增加硬盘个数已经满足不了我们的要求。因为硬盘传输速度有限但是数据在急剧增长，另外我们还要要做好数据备份、数据安全等。采用分布式文件系统可以将多个地点的文件系统通过网络连接起来，组成一个文件系统网络，结点之间通过网络进行通信，一台文件系统的存储和传输能力有限，我们让文件在多台计算机上存
愚人钊呀·2024-01-23 09:12

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题：1.直接saveAsTextFile没有覆盖true参数；2.转dataframe时，还得一个一个字段显化才能转成dataframe；3.write时，一开始打算写text，说字段里不能含有long和int，换成str
gegeyanxin·2024-01-23 09:42

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

DATAX的架构和运行原理

一.概念DATAX呢就是把各个不同构的数据库进行同步的过程，具体有hdfshiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图，大大的简化了工作量。
加林so cool·2024-01-23 08:37

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~·2024-01-23 07:35

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。
zdkdchao·2024-01-23 07:02

刷题--leetcode559.N叉树的最大深度

代码classSolution{public:intdfs(Node*node){if(node==nullp
睡不醒的年代·2024-01-23 07:01

【leetcode100-051到054】【图论】四题合集

思路：很经典也很基础的图搜题，bfs或者dfs都行，这题先用dfs写一下。每次开启函数（而不是被递归调用），会将当前起点能接触到的所有陆地都访问一次再退出，记录函数开启的次数即可。对每
_六六_·2024-01-23 06:50

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

图论基本知识---＞最短路练习---＞最小生成树

入度每个图的最大度，最小度完全图（无向图）：完全图（有向图）：子图，生成子图：补图：点集相同，边集不相交，并集为完全图连通图，连通块：图的储存方式：邻接矩阵，邻接表（链式，ve）图的遍历：（BFS，双向DFS
~Cc·2024-01-23 06:07

Leetcode—22.括号生成【中等】

括号生成算法思想实现代码classSolution{public:vectorgenerateParenthesis(intn){vectorans;intm=n*2;stringpath(m,0);functiondfs
源代码•宸·2024-01-23 04:05

Leetcode—39.组合总和【中等】

vector&candidates,inttarget){vector>ans;vectorpath;sort(candidates.begin(),candidates.end());functiondfs
源代码•宸·2024-01-23 04:35

Leetcode—216.组合总和III【中等】

组合总和III算法思想实现代码classSolution{public:vector>combinationSum3(intk,intn){vector>ans;vectorpath;functiondfs
源代码•宸·2024-01-23 04:35

Leetcode—40.组合总和II【中等】

vector&candidates,inttarget){vector>ans;vectorpath;sort(candidates.begin(),candidates.end());functiondfs
源代码•宸·2024-01-23 04:33

【技术预研】starRocks高性价比替换hbase

与hdfs等组件解耦，降低运维压力。starRock通过以下三个优化来提升性能：排序键相当于在存储的时候，选择某一列或者某
偏振万花筒·2024-01-23 03:00

Hbase

等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）HBASE相比于其他NoSQL数据库(mongodb、redis、cassendra、hazelcast)的特点：Hbase的表数据存储在HDFS
Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

解决 :dpkg: 处理软件包 linux-image-4.15.0-33-generic (--configure)时出错 的问题

报错内容正在读取软件包列表...完成正在分析软件包的依赖关系树正在读取状态信息...完成nodejs-legacy已经是最新版(4.2.6~dfsg-1ubuntu4.2)。
Tavi_·2024-01-23 01:39

【代码随想录算法训练营|216.组合总和III、17.电话号码的字母组合】

先看代码：classSolution{public:vector>res;vectorpath;vector>combinationSum3(intk,intn){dfs(1,k,n);
Dom Wotingtun·2024-01-22 21:54

Go使用记忆化搜索的套路【以20240121力扣每日一题为例】

int],k:int)->int:n=len(nums)#寻找分割子数组中和的最小的最大值s=[0]fornuminnums:s.append(s[-1]+num)#print(s)@cachedefdfs
白速龙王的回眸·2024-01-22 20:25

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面·2024-01-22 19:53

Impala：基于内存的MPP查询引擎

1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop的HDFS
对许·2024-01-22 17:26

acwing讲解篇之93. 递归实现组合型枚举

层表示第i个数选或不选，当选择了m次左节点后退出我们记录当前递归的深度deep然后用state进行状态压缩，state第i位是1表示选第i个数，第i位是0表示不选第i个数count表示我们选择数的个数进行dfs
醉墨居士·2024-01-22 17:22

acwing讲解篇之94. 递归实现排列型枚举

然后返回深度加一遍历未使用的数字，选择数字，然后进行递归，递归结束，恢复used恢复深度直到整个递归结束，程序结束题解代码n=int(input())used=0deep=0path=[0for_inrange(n)]defdfs
醉墨居士·2024-01-22 17:22

acwing讲解篇之92. 递归实现指数型枚举

文章目录题目描述题解思路题解代码题目描述题解思路本题相当于二叉树的深度优先遍历，树的第i层是第i个数选或不选我们记录当前递归的深度deep然后用state进行状态压缩，state第i位是1表示选第i个数，第i位是0表示不选第i个数进行dfs
醉墨居士·2024-01-22 17:21

Hadooop和Hbase是什么关系

HBase通过Hadoop的HDFS(Hadoop分布式文件系统)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138·2024-01-22 17:50

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是
小枫@码·2024-01-22 17:17

CF888G Xor-MST DFS 最小生成树 01Trie

Xor-MST传送门题面翻译给定nnn个结点的无向完全图。每个点有一个点权为aia_iai。连接iii号结点和jjj号结点的边的边权为ai⊕aja_i\oplusa_jai⊕aj。求这个图的MST的权值。1≤n≤2×1051\len\le2\times10^51≤n≤2×105，0≤aiusingnamespacestd;#defineintlonglongconstintMaxn=6e6+5;i
BestMonkey·2024-01-22 17:14

C++ 分割字符串（包括含有连续分隔符）

C++分割字符串（包括含有连续分隔符）网上很多教程都是分割字符串，但是不能正确分割含有连续分隔符得字符串，比如分割："Iu0fdfsdffdsdaasq.qwwqe32133213^^^"，里面有多个连续空格
[email protected]·2024-01-22 17:32

数据库查询百万级数据导出excel功能优化

数据库查询数据导出excel功能优化需求1.根据sql语句从数据库查询到数据2.将数据写入excel2.1获取列头信息2.2根据列头信息存放列数据3.excel文件打包压缩4.文件上传fastdfs服务器
小科粒·2024-01-22 17:57

递归引发的血案

正确写法：//根据parent列表，从end到begin自底向上DFS遍历voidDFS_Path(vector>&parent,vector&s,intstart,int&max_group,int&
小幸运Q·2024-01-22 16:02

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。并将bin/hadoop.dll添入windows\system32文件夹内。需重启。3.配置windows系统环境变量HADOOP_HOME=hadoop所在包。HADOOP_USER_NAME=r
有七段变化·2024-01-22 15:43

Apache doris Datax DorisWriter扩展使用方法

DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋·2024-01-22 15:27

1.使用分布式文件系统Minio管理文件

分布式文件系统DFS分类文件系统文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索文件系统是负责管理和存储文件的系统软件
echo 云清·2024-01-22 15:39

跟着Nature Genetics学作图：R语言ggplot2散点图突出强调其中某些点

PlasmaproteomeanalysesinindividualsofEuropeanandAfricanancestryidentifycis-pQTLsandmodelsforproteome-wideassociationstudieshttps://www.nature.com/articles/s41588-022-01051-w本地pdfs41588
小明的数据分析笔记本·2024-01-22 15:10

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

操作实录：1、hive中建立数据库后，会在hdfs中出现对象的库名.db的文件夹文章中，我们使用了
流火星空·2024-01-22 14:58

渗透项目（六）：LORD OF THE ROOT

2、MysqlUDFsys_exec/sys_eval提权。3、反弹、创建用
Ays.Ie·2024-01-22 14:25

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

Impala

Impala概述Impala是什么Impala是一款针对HDFS和HBASE中的PB级别数据进行交互式实时查询工具。
奋斗的蛐蛐·2024-01-22 10:42

Ranger概述及安装配置

一、前序希望拥有一个框架，可以管理大多数框架的授权，包括：hdfs的目录读写权限各种大数据框架中的标的权限，列级（字段）权限，甚至行级权限，函数权限（UDF）等相关资源的权限是否能帮忙做书库脱敏Ranger
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~·2024-01-22 09:35

HDFS 读流程和写流程

读流程1.客户端向namenode请求下载⽂件，namenode通过查询元数据，找到⽂件块所在的datanode地址。2.挑选⼀台datanode（就近原则，然后随机）服务器，请求读取数据。3.datanode开始传输数据给客户端（从磁盘⾥⾯读取数据放⼊流，以packet为单位来做校验）。4.客户端以packet为单位接收，先在本地缓存，然后写⼊⽬标⽂件。写流程1.客户端向namenode请求上传
不良人-程序星·2024-01-22 09:02

10 Hadoop的安全模式及权限介绍

1、HDFS工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行editslog日志中的事务操作。
水无痕simon·2024-01-22 08:02

Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向YarnResourceManager提交任务，ResourceManager分配Container资源并通知对应的
疯子1313·2024-01-22 08:00

【Flink】Flink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs

群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfsjar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数yarn.provided.lib.dirs。
九师兄·2024-01-22 08:59

Hadoop基本概论

.大数据的概念2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2.x/3.x6.HDFS
LzYuY·2024-01-22 08:25

hive sql转换成MR任务过程

浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；3）Hadoop使用HDFS
上官沐雪·2024-01-22 08:08

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Hbase 基于HDFS分布式列存储Nosql数据库(五) 概念及原理介绍

Hbase优化概念：hbase优化可通过以下几个方面，flush，compaction，split和列簇属性来实现Flush意义：用于将memstore中的数据写入HDFS，变成storefile文件，
章云邰·2024-01-22 06:13
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他