--DFS

【HBase】——安装部署

1规划&前提Zookeeper、HDFS正常部署规划如下2解压并重命名cd/opt/software/tar-zxvfhbase-2.4.11-bin.tar.gz-C/opt/module/cd/opt
那时的样子_·2023-12-28 14:59

Leetcode—62.不同路径【中等】

2023每日刷题（七十二）Leetcode—62.不同路径超时dfs代码classSolution{public:intuniquePaths(intm,intn){intstarti=1,startj
源代码•宸·2023-12-28 14:40

关于netty kafka hdfs hbase性能调研记录

1.netty调研记录项目中准备用netty框架来实现socket接口，对于netty的性能做了个初步调研，大致过程如下：1.1调用socket接口的客户端为了让客户端快速发送数据，我们已经提前将需要传输的数据通过java的ObjectInputStream写数据到了一个文件，主要是节省客户端接口的编码，然后让客户端不断循环发送数据一段时间(比如20分钟，时间是可以指定)，客户端代码如下：impo
aperise·2023-12-28 13:09

HDFS基于动态代理的客户端运行逻辑

RetryDecisionRetryInfo几种常见的RetryPolicy实现和使用场景FailoverOnNetworkExceptionRetryTryOnceThenFailRetryForeverRetryLimitedHDFS
小昌昌的博客·2023-12-28 13:39

HDFS 短路读的实现(全网最全面深入讲解)

文章目录前言1.知识准备1.1关于域套接字(DomainSocket)什么是DomainSocketDomainSocket通信在ShortCircuitRead中做了什么DomainSocket在Hadoop上的基本实现1.2关于内存映射(MMAP)什么是MMAPMMAP在ShortCircuit中的作用是什么1.3关于共享内存(SharedMemory)什么是共享内存共享内存在Hadoop短路
小昌昌的博客·2023-12-28 13:38

springboot远程连接HDFS-hadoop3.0

一.hadoop前置环境:hadoop3.0+CDH6.1这里默认已经在linux环境配置好;如何安装hodoop不在本次范围内;注意：此时集群没有开启Kerberos认证我的环境:win10+IDEA2019.3+jdk8二.准备环境:1.获取fs.defaultFS链接在core-site.xml里面这个等下配置在application.propties里面2.下载winutilshttps:
尚云峰·2023-12-28 13:33

java.net.UnknownHostException: hadoop

或者直接在node节点上面执行：hdfsdfs-mkdir/test时报错：mkdir:java.net.UnknownHostException:mkdir:mkdir:java.net.UnknownHostException
綠竹清水之福荫·2023-12-28 13:33

hadoop面试问题

1当前你们公司使用的Hadoop版本是什么Hadoopcdh-5.7.6/hadoop-2.6.02HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式Gzip优点是压缩率高，速度快。
code学习社·2023-12-28 13:31

【Hadoop】RPC在client端的源码解析

最近在看《Hadoop2.XHDFS源码剖析》这本书（其实看了挺久的，但是进度比较慢），要看懂hadoop源码真的是需要一定的代码和框架的基础，用到的东西还真是蛮多的，真的厉害，哎，我太菜了~我们会用hadoop
lsr40·2023-12-28 13:01

HDFS2.x之RPC流程分析

HDFS2.x之RPC流程分析1概述Hadoop提供了一个统一的RPC机制来处理client-namenode,namenode-dataname,client-dataname之间的通信。
can007·2023-12-28 13:59

HDFS客户端UnknownHostException事故解析

文章目录前言事故现场问题分析是否是整个域名解析服务当时都出问题了是否是出问题的pods本身的域名解析有问题异常发生的全部过程域名的解析是什么时候发生的，怎么发生的域名解析的详细流程重试发生在什么地方为什么重试会无效Bugfix代码详解关于StandardHostResolver和QualifiedHostResolver关于InetAddress关于InetSocketAddress相关文章前言我
小昌昌的博客·2023-12-28 12:55

回溯算法 典型习题

vector>res;vectorpath;voiddfs(){if(递归终止条件){res.push_back(path);return;}//递归方向for(xxx){path.push_back(
大法师安东尼ds·2023-12-28 12:00

Hadoop之HDFS 详细教程

1、HDFS概述Hadoop分布式系统框架中，首要的基础功能就是文件系统，在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类
白鸽呀·2023-12-28 11:29

Hive DDL语法

MySQL大部分都相同一、数据库操作1.1、创建数据库CREATEDATABASE[IFNOTEXISTS]databasename[COMMENTdatabase_comment][LOCATIONhdfspath
有人看我吗·2023-12-28 11:28

Hive实战：统计总分与平均分

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-28 10:16

pdf.js实现pdf的预览与下载（vue+springboot+pdf.js）

环境：文件服务器：fdfs前端：vue后段：springboot单纯的使用pdf.js进行预览出现了跨域问题，所以需要后端把文件流传给前端，然后前端进行展示。
Tz.·2023-12-28 08:16

zkw费用流算法

利用DFS在子图上求最小费用增广路，如果无法求，则转3。调整距离标号，使得在最小增量的情况下有一个点进入子图，转2，如果无法调整，结束。代码(从1到n的费用流)：#include#inclu
AmadeusChan·2023-12-28 07:39

572.另一棵树的子树(DFS/双重递归，简单)

题目链接给你两棵二叉树root和subRoot。检验root中是否包含和subRoot具有相同结构和节点值的子树。如果存在，返回true；否则，返回false。二叉树tree的一棵子树包括tree的某个节点和这个节点的所有后代节点。tree也可以看做它自身的一棵子树。示例1：输入：root=[3,4,5,1,2],subRoot=[4,1,2]输出：true示例2：输入：root=[3,4,5,1
cqf·2023-12-28 05:44

Hive

Hive概述由于MapReduce开发难度大，学习成本高，Hdfs文件没有字段名、没有数据类型，不方便进行数据的有效管理。因此使用MapReduce框架开发，项目周期长，成本高。
之古·2023-12-28 02:58

Hadoop集成对象存储和HDFS磁盘文件存储

1.1版本说明组件版本是否必须其他事项Hadoop3.3.0+是hadoop3.3.0之后原生支持国内主要对象存储Hive3.1.3否实测没有Hive也可以使用sparksql，使用hive更好的管理HDFS
tuoluzhe8521·2023-12-28 02:38

EMR集群迁移自建Hadoop(元数据及HDFS数据）

1.背景老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。
tuoluzhe8521·2023-12-28 02:37

HDFS_DELEGATION_TOKEN 还原及解决方案

HDFS_DELEGATION_TOKEN这个BUG在很多文章中都出现着，讲了很多原理，但是只给出了官方引用地扯，完全没有给出如何解决，我们线上的业务就有着这样的问题，7天一到马上出现这问题了，官方明明说这个
大猪大猪·2023-12-28 00:39

Hive 部署

Hive构建在ApacheHadoop之上，并通过hdfs支持S3，adls，gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址二、架构Hive中主要包
有人看我吗·2023-12-27 23:54

Hive实战：词频统计

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-27 23:24

Flutter PDF阅读，可显示页数，源码

添加flutter_pdfview:^1.2.1组件classPDFScreenextendsStatefulWidget{finalStringurl;finalStringpath;finalStringtitle
xiaovtoulu·2023-12-27 22:28

Hadoop集群shell常用命令

1.启动hadoop所有进程start-all.sh#等价于start-dfs.sh+start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。
Youngmon·2023-12-27 21:10

大数据库分析

ElasticSearch和impala首先，对于两个数据库作出说明，有hive查询比较慢，hbase会针对于列的查询不太友好，所以CDH推出了impala搜索引擎，都是基于HDFS的。
靈08_1024·2023-12-27 19:00

大数据面试题-1

一、map-reduce原理map过程：1.1读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。1.2覆盖map()，接收1.1产生的，进行处理，转换为新的输出。
edwin1993·2023-12-27 19:29

【hive】hive的调优经验

一、hive自己进行优化对union这样的命令进行了优化二、数据本地化率hdfs数据本地化率对hive性能产生影响在数据大小一定的情况下，500个128M的文件和2个30G的文件跑hive任务，性能是有差异的
kiraraLou·2023-12-27 18:49

HBase基础知识（六）：HBase 对接 Hive

1.HBase与Hive的对比1．Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。
依晴无旧·2023-12-27 14:49

南邮计算机811数据结构经验贴

课后习题需要熟练掌握；书中的各类数据结构，如各种链表、图、树等，以及一些基础代码，如树的层次遍历、先序遍历，DFS、BFS等1.2王道数据结构光看指定教材内容其实偏少
Sao_E·2023-12-27 13:00

Spark与Hadoop的关系和区别

它包括两个核心组件：Hadoop分布式文件系统（HDFS）：用于存储大规模数据的分布式文件系统。H
晓之以理的喵~~·2023-12-27 12:13

Hadoop生产集群各种维护命令

1.HDFS运维1.1HDFS集群操作命令#HDFS集群启停start-dfs.shstop-dfs.sh#获取HDFS集群信息hdfsdfsadmin-report#namenode和datanode
tuoluzhe8521·2023-12-27 12:12

HDFS shell 快查

HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够储存很大量文件，HDFS提供多种的访问的策略，首先我们来认识其通过shell接口的访问方式。hdfsshell与linux命令基本相同。
Tim在路上·2023-12-27 12:16

Spark生产集群各种使用

1.1版本说明要求版本是否必须其他事项Hadoop3.3.4是hadoop3.3.0之后原生支持国内主要对象存储Hive3.1.3否实测没有Hive也可以使用sparksql，使用hive更好的管理HDFS
tuoluzhe8521·2023-12-27 10:15

datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路
tuoluzhe8521·2023-12-27 10:14

6s 15.8 不完美越狱教程

palen1x-amd64，一般都选amd64这个--制作完之后，u盘启动2.进入palera1n越狱工具界面后，选择palera1n，然后回车进入--由于设备是16g，选option--空格选择2CreateBindFS
1David·2023-12-27 09:39

[spark] 存储到hdfs时指定分区

在SparkSQL中指定多个分区字段进行数据存储：类似hive分区存储文章目录代码示例代码importorg.apache.spark.sql.SparkSessionvalspark=SparkSession.builder().appName("MultiPartitionedWriteExample").getOrCreate()//假设你有一个DataFrame叫做data，包含了需要存储
言之。·2023-12-27 06:33

[spark] DataFrame 的 checkpoint

具体来说，checkpoint方法执行以下操作：将DataFrame的物理计划执行，并将结果存储到指定的分布式文件系统（例如HDFS）上的检查点目录中。用新的DataFrame代替原始的Da
言之。·2023-12-27 06:29

hive学习笔记

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫·2023-12-27 06:05

Python-71 用pypdf2实现两个pdf文件的mergeh合并 2020-09-25

#pdf_merging.pyfromPyPDF2importPdfFileReader,PdfFileWriterdefmerge_pdfs(paths,output):pdf_writer=PdfFileWriter
RashidinAbdu·2023-12-27 06:49

动态规划、DFS 和回溯算法：二叉树问题的三种视角

动态规划、DFS和回溯算法：二叉树问题的三种视角在计算机科学中，算法是解决问题的核心。特别是对于复杂的问题，不同的算法可以提供不同的解决方案。
一休哥助手·2023-12-27 06:27

[使用Python操作Hadoop，Python-MapReduce

环境环境使用：hadoop3.1，Python3.6，ubuntu18.04Hadoop是使用Java开发的，推荐使用Java操作HDFS。有时候也需要我们使用Python操作HDFS。
叫我老村长·2023-12-27 05:35

TikTok真题第5天 | 386. 字典序排数、785.判断二分图、886.可能的二分法

386.字典序排数题目链接：386.exicographical-numbers解法：解法1：DFS，也就是回溯。第一层从1开始，遍历到9，而后面层的循环，也就是递归，从0遍历到9。
Jack199274·2023-12-27 05:03

180.【2023年华为OD机试真题（C卷）】寻找最富裕的小家庭（深度优先搜索（DFS）实现Java&Python&C++&JS）

文章目录180.【2023年华为OD机试真题（C卷）】寻找最富裕的小家庭（深度优先搜索（DFS）实现Java&Python&C++&&JS）
一见已难忘·2023-12-27 03:35

2023.12.11力扣每日一题——最小体力消耗路径

2023.12.11题目来源我的题解方法一DFS暴力解法（无法通过）方法二BFS/DFS+二分查找并查集最短路径算法题目来源力扣每日一题；题序：1631我的题解方法一DFS暴力解法（无法通过）在这个题可以直接使用
菜菜的小彭·2023-12-27 02:33

orc小文件合并趣谈

之前做到存储和计算的管理，后续做了简单hdfs画像（其中，就有小文件趋势监控）。最近，集群中namenode压力有所显现。于是，针对小文件多的目录进行了排查和治理。
艾伦_alan·2023-12-27 01:02

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Java机械师·2023-12-26 23:13

YARN知识点总结

如果把大数据Hadoop集群当作一台计算机,那么HDFS=磁盘YARN=任务调度器+资源管理器所有任务都是运行在Yarn上Yarn分为两个大的模块:ResourceManagerNodeManagerResourceManager
飞有飞言·2023-12-26 23:16

Hadoop大数据实战系列文章之HDFS文件系统

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。
测试帮日记·2023-12-26 21:39
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他