DFS

分布式文件系统应该从哪些方面考虑

分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
吃胖点儿·2024-01-16 13:44

岛屿问题(DFS)

DFS的基本结构网格结构比二叉树结构稍微复杂一点，它其实是一种简化版的图的结构。要写好网格上的DFS遍历，我们首先要理解二叉树上的DFS遍历方法，再类比写出网格结构上的DFS遍历。
DalaQL·2024-01-16 12:57

DataX&数据同步（全量）

1.DataX简介1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
韩顺平的小迷弟·2024-01-16 11:29

Flume用法总结

可以实时读取服务器的日志写入HDFS。
天选之子123·2024-01-16 10:53

HIVE总结

HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在HDFS的默认位置为：/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123·2024-01-16 10:52

【HDFS】HDFS-16348：将慢节点标记为badnode进而从pipeline中踢除并进行pipeline恢复

本文的主要内容是介绍这个PR（PullRequest）：HDFS-16348.Markslownodeasbadnodetorecoverpipeline(#3704)通过本文可以获得如下知识：datanode
小北觅·2024-01-16 07:09

FRS升级DFSR（FRS迁移DFSR）--附实验手册

说是升级，实则是FRS迁移至DFSR。因为windows2016RS1系统为最后一版支持FRS。迁移状态简介：SYSVOL复制从使用文件复制服务（FRS）到使用分布式文件复制服务有四种状
AdatumCC·2024-01-16 07:24

Hive 数据迁移

/hadoopdistcphdfs://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}hdfs://${NameNode_I
bigdata-余建新·2024-01-16 07:14

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying！！！·2024-01-16 06:36

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储
寂夜了无痕·2024-01-16 06:30

HDFS和MapReduce综合实训

文章目录第1关：WordCount词频统计第2关：HDFS文件读写第3关：倒排索引第4关：网页排序——PageRank算法第1关：WordCount词频统计测试说明以下是测试样例：测试输入样例数据集：文本文档
柔雾·2024-01-16 06:24

dfs + 记忆化搜索

上篇文章给大家带来了dfs的走迷宫，那么今天的文章继续拓展dfs的相关知识。
记得开心一点嘛·2024-01-16 06:10

DFS算法详解 ---- 走迷宫

上期内容给大家带来了排列型dfs，这期给大家带来了使用dfs来进行图的遍历。
记得开心一点嘛·2024-01-16 06:07

Hive基础知识（十六）：Hive-SQL分区表使用与优化

1.分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse的HDFSEngine
静听枫语·2024-01-16 05:11

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻·2024-01-16 05:10

MapReduce总结

执行分布式计算和任务处理split读取数据，一个map任务处理一个分片，通常一个分片对应一个HDFS文件Block。
w未然·2024-01-16 05:51

大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase

大数据技术原理与应用第三版林子雨期末复习（二）HadoopHDFSHBaseHadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS
头发多多，肆意生长·2024-01-16 05:21

存储的基本架构

如何生成可参考右边的帮助文档文章目录一、存储的需求背景二、自下而上存储架构总结一、存储的需求背景1、人的身份信息需要存储这种信息可以用关系型数据库，例如mysql，那种表格类型关系型都可以用mysql2、图片存储fastdfs
猥琐猿·2024-01-16 05:42

力扣每日一题：回溯解法 全排列I & II

示例：示例:输入:[1,2,3]输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]分析遇到全排列，所有可能等关键字，我们需要考虑DFS、回溯等解法。
清风Python·2024-01-16 05:36

刷题 ------ 深度（DFS）与广度（BFS）优先搜索

文章目录1.N叉树的最大深度（1）DFS（2）BFS2.N叉树的前序遍历（1）DFS（2）迭代3.N叉树的后序遍历（1）DFS4.图像渲染（1）DFS（2）BFS5.翻转二叉树（1）DFS（2）BFS6
Layflok·2024-01-16 04:38

ClickHouse - 01

1、ClickHouse与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用
ArthurHC·2024-01-16 02:17

代码随想录第六十三天——被围绕的区域，太平洋大西洋水流问题，最大人工岛

’A’步骤二：遍历地图，将’O’全部改成’X’，将’A’改回’O’classSolution{private:intdir[4][2]={-1,0,0,-1,1,0,0,1};//保存四个方向voiddfs
荒野饮冰室·2024-01-16 00:21

代码随想录第六十一天——所有可能的路径

深度优先搜索dfs是朝一个方向去搜，不到黄河不回头，直到遇到绝境了，搜不下去了，再换方向（换方向的过程就是回溯）深度优先搜索的代码框架：voiddfs(参数){if(终止条件){存放结果;return;
荒野饮冰室·2024-01-16 00:51

代码随想录第六十二天——岛屿数量，岛屿的最大面积，飞地的数量

这样计数器就是最终岛屿的数量方法一：深度优先搜索版本一：classSolution{private:intdir[4][2]={0,1,1,0,-1,0,0,-1};//四个方向voiddfs(vect
荒野饮冰室·2024-01-16 00:48

L2-026 小字辈

裸的DFS比赛的时候没想出来血亏后面用stack写了个https://pintia.cn/problem-sets/994805046380707840/problems/994805055679479808
smatrcHendsa·2024-01-15 23:05

力扣77. 组合

递归思路：找到一个长度为nnn的序列aaa的所有子序列，代码框架：std::vectortemp;voiddfs(intcur,intn){if(cur==n+1){//记录答案//...return;
slowfastflow·2024-01-15 23:21

HNU-算法设计与分析-实验1

分治法查找最大最小值问题描述想法代码评测算法分析（2）分治法实现合并排序问题描述想法代码评测算法分析（3）实现题1-3最多约数问题引言题目描述做法1（直接遍历求解+比较）代码评测做法2（使用约数定理计算）代码评测做法3（约数定理+DFS
甘晴void·2024-01-15 23:09

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce
Dija-bl·2024-01-15 22:21

动态规划 -- 01背包问题和完全背包问题

01背包问题：如果使用dfs，每件物品都有选和不选两种可能，把所有的情况都枚举一遍，可以得出一个最大价值，但是时间复杂度为O(2n),这个复杂度太高了。
Lucky小黄人·2024-01-15 22:32

怎么在蓝桥杯多拿点分

蓝桥杯常考的算法有：1.枚举（暴力）2.递归3.贪心4.搜索（dfs和bfs）等基础算法。难度比较大的是动态规划。严格按要求输出，不要画蛇添足地打印类似：“请您输入…”的多余内容。
你小汁完了·2024-01-15 20:11

蓝桥杯_搜索算法(DFS和BFS)

蓝桥杯dfs深度优先搜索之凑算式、排列组合、图连通2015年（第六届）蓝桥杯B组省赛水题1（3分）2（5分）4（11分）19分DFS/爆破3（9分）5（15分）7（21分）45分冒泡（加法乘法）6（17
你小汁完了·2024-01-15 20:10

数据结构学习 jz38 字符串的排列

关键词：字典序排列dfs回溯哈希这种全排列题目可以考虑用下一个排列的方法做，这是最优解（方法四）题目：套餐内商品的排列顺序我的：[用时:21m11s]回溯dfs哈希表方法一：我写的回溯dfs哈希表思路：
_Rindo·2024-01-15 20:57

图文详解 DFS 和 BFS

来源公众号：码海作者：码海前言深度优先遍历（DepthFirstSearch,简称DFS）与广度优先遍历（BreathFirstSearch）是图论中两种非常重要的算法，生产上广泛用于拓扑排序，寻路（走迷宫
码农小光·2024-01-15 18:45

【蓝桥杯/DFS】分考场 (Java)

分考场题目描述nnn个人参加某项特殊考试。为了公平，要求任何两个认识的人不能分在同一个考场。求是少需要分几个考场才能满足条件。输入描述输入格式：第一行，一个整数nnn(1≤n≤1001\leqn\leq1001≤n≤100)，表示参加考试的人数。第二行，一个整数mmm，表示接下来有mmm行数据。以下mmm行每行的格式为：两个整数a,ba,ba,b，用空格分开(1≤a,b≤n1\leqa,b\leq
JaredYe·2024-01-15 17:26

【蓝桥杯/DFS】路径之谜 (Java)

路径之谜小明冒充X星球的骑士，进入了一个奇怪的城堡。城堡里边什么都没有，只有方形石头铺成的地面。假设城堡地面是nxn个方格。【如图1.png】所示。按习俗，骑士要从西北角走到东南角。可以横向或纵向移动，但不能斜着走，也不能跳跃。每走到一个新方格，就要向正北方和正西方各射一箭。（城堡的西墙和北墙内各有n个靶子）同一个方格只允许经过一次。但不必做完所有的方格。如果只给出靶子上箭的数目，你能推断出骑士的
JaredYe·2024-01-15 17:52

数据结构学习 数位dp

关键词：数位dp记忆化搜索dfs数位dp属于比较难的题目，所有数位dp在leetcode都是hard。因为没有做出jz43.里面用到了数位dp，所以去学习了一下，学习看了这位大神的基础知识。
_Rindo·2024-01-15 14:06

数据结构学习 jz43 数字 1 的个数

关键词：数位dp记忆化搜索dfs专门写了数位dp的笔记，里面的第一题和这个是一模一样的。建议直接看链接。
_Rindo·2024-01-15 14:36

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:04

大数据开发之HA

HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。
Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:29

Datax同步（高可用HDFS版本）

这是一个mysql同步到hive的json脚本，hive的底层使用的是HDFS存储，同步到hive，只能用hdfswritermysql->hive{"job":{"setting":{"speed":
暴走的贼宇·2024-01-15 12:59

双机热备部署方案

目录双机热备部署方案一、方案介绍二、准备工作三、部署ActiveDirectory域服务和主域控制器四、部署第二台主域控制器五、安装应用服务六、配置DFS数据复制功能七、部署故障转移群集八、配置数据库主主复制一
1843857898·2024-01-15 09:29

分布式计算平台 Hadoop 简介

其主要采用MapReduce分布式计算框架，包括根据GFS原理开发的分布式文件系统HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong·2024-01-15 08:19

47. Permutations II

PermutationsIIclassSolution:defpermuteUnique(self,nums:List[int])->List[List[int]]:self.res=[]nums.sort()self.dfs
ujn20161222·2024-01-15 07:44

【算法】Java-二叉树的右视图(BFS、DFS两种解法)

题目要求：给定一个二叉树的根节点root，想象自己站在它的右侧，按照从顶部到底部的顺序，返回从右侧所能看到的节点值。示例1:输入: [1,2,3,null,5,null,4]输出: [1,3,4]示例2:输入: [1,null,3]输出: [1,3]示例3:输入: []输出: []提示:二叉树的节点个数的范围是[0,100]-100rightSideView(TreeNoderoot){Listr
小王师傅66·2024-01-15 07:17

java大数据hadoop2.92 Java连接操作

hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体ipfs.defaultFShdfs
crud-boy·2024-01-15 06:29

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client${hadoop.version}org.apache.hadoophadoop-hdfs
crud-boy·2024-01-15 06:23
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他