Hadoop文件系统

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

高级shell编程笔记(第十三章 系统与管理命令)

这些命令通常总是被root用户使用，用与系统维护或者是紧急文件系统修复。一定要小心使用这些工具，因为如果滥用的话，它们会损坏你的系统。Users和Groups类命令users显示所有的登录的用户。
panbuhei·2024-01-26 00:29

树莓派4b切换64位系统

但是这时候根文件系统还是32位，缺少64位的运行库，64位程序是不能正常运行的。
叶迎宪·2024-01-25 22:05

【JuiceFS】理解juicefs缓存

4.1概念4.2预读和预取4.3写入4.4观测和调优5.数据缓存5.1内核页缓存5.2内核回写模式5.3客户端读缓存5.4客户端写缓存5.5缓存位置6.参考1.简介对于一个由对象存储和数据库组合驱动的文件系统
Henry Patch·2024-01-25 22:25

NODE笔记 0

一些简单的node学习笔记记录，是Vue等前端框架的基础入门学习备忘录文章目录前言一、node.js下载与调试二、简单的使用0.注意事项1.Buffer的简单使用2.node.js中的文件系统fs模块（
灰乌鸦乌卡·2024-01-25 21:48

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

Node.js_fs文件系统(三)

Node.js_fs文件系统(三)fs.stat()判断文件类型isFile()：判断是否是一个文件isDirectory：判断是否是一个文件夹constfs=require("fs");fs.stat
learninginto·2024-01-25 21:32

面向经验丰富的开发人员的最佳 Linux 发行版

此后不久，它作为一对软盘镜像分发，其中包括一个可启动版本和一组用于设置和配置文件系统的工具。由于这个过程有些复杂，人们创建了不同的发行版来简化它，而这些正是Lin
Incredibuild·2024-01-25 20:25

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

fsx 简介：适用于 JavaScript 的现代文件系统 API

JavaScript运行时中的文件系统API已经很久没有这么好了，这是我试图做出一个更好的文件系统API的尝试。我们今天拥有的JavaScriptAPI比十年前要好得多。
独立开发者张张·2024-01-25 19:45

数据持久化-沙盒

每个iOS程序都有一个独立的文件系统（存储空间），而且只能在对应的文件系统中进行操作，此区域被称为沙盒。应用必须待在自己的沙盒里，其他应用不能访问该沙盒。
lltree·2024-01-25 17:50

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

CMD(DOS)查看电脑硬盘内存信息等

)命令查看硬盘和内存/CPU信息等1.查看磁盘信息：freedisk可以查看每一个盘的剩余空间wmicdiskdrive可以看出来牌子和大小.Wmiclogicaldisk可以看到有几个盘，每一个盘的文件系统和剩余空间
大熊猫.·2024-01-25 16:22

Linux 之shell脚本编程

01Linux系统环境文件系统结构/虚拟目录的根目录。
wangchuang2017·2024-01-25 16:21

dos磁盘管理命令

状态报告显示MS-DOS文件系统中的逻辑错误
花落~伊人醉·2024-01-25 16:18

2020重新出发，MySql前瞻，数据库管理技术的发展阶段

数据管理就是对各种数据进行分类、组织、编码、查询和维护，主要经历了3个阶段，即人工管理阶段、文件系统阶段和数据库系统阶段。每一个阶段都是以减小数据冗余、增强数据独立性和方便操作数据为目的进行发展。
夜雨流云·2024-01-25 15:35

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

DockerFile

可以在dockerbuild命令中使用-f标志指向文件系统中任何位置的Dockerfile。例：dockerbuild-f/path/to/a/Docker
yangfhit·2024-01-25 14:19

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

FAST2015Paper元数据论文阅读汇总问题现有的文件系统，即使是存储数百PB数据的可伸缩系统，也会将文件元数据存储在单个服务器上，或通过共享磁盘架构，以确保元数据的一致性和有效性。
妙BOOK言·2024-01-25 14:02

Building an Efficient Key-Value Store in a Flexible Address Space——论文泛读

现有方法局限性现有文件系统已经提出了一些方法进行原地更新，但无法直
妙BOOK言·2024-01-25 14:01

【云原生】Docker 网络

容器时，可以用--net或--network选项指定容器的网络模式网络模式详解1．host模式2．container模式--name选项可以给容器创建一个自定义名称查看容器进程号查看容器的进程、网络、文件系统等命名空间编号创建容器相同的
思华年^O^·2024-01-25 12:55

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

MySQL数据库

数据库：存储数据的仓库，本质就是一个文件系统。数据库按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加、修改、删除及查询操作。SQL分类：数据定义语言：简称DDL。
洛临_·2024-01-25 12:23

Docker Image(镜像）

Docker镜像是什么Dockerimage本质上是一个read-only只读文件，这个文件包含了文件系统、源码、库文件、依赖、工具等一些运行application所必须的文件。
指挥部在下面·2024-01-25 11:18

【软考】位示图

要将文件保存到外部存储器（外存或辅存），首先得知道存储空间的使用情况2.要清楚哪个物理块已经被占用，哪个物理块是空闲的3.当对大容量的磁盘存储空间被多用户共享时，用户执行程序经常要在磁盘上存储文件和删除文件，所以文件系统需要对磁盘空间进行管理
王佑辉·2024-01-25 11:47

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

如何使用静态化freemarker和分布式文件系统minIO去存储静态文件 增强访问效率

有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令（List和Map）3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~·2024-01-25 10:31

Mysql的备份以及恢复

有时候不可避免会出现数据丢失或者被破坏，这样情况下，我们必须保证数据的安全性和完整性，就需要使用日志来查看或者恢复数据了数据库中数据丢失或被破坏可能原因：1、误删除数据库2、数据库工作时、意外程序终止、程序崩溃3、病毒的入侵4、文件系统损坏后
匿名好友657·2024-01-25 10:12

【学习笔记 39】 buu [BJDCTF2020]ZJCTF，不过如此

答：PHP伪协议事实上就是支持的协议与封装协议一共有一下12种a.file://—访问本地文件系统b.http://—访问HTTP(s)网址c.ftp://—访问FTP(s)URLsd.php://—访问各个输入
Noslpum·2024-01-25 10:40

存储空间（Bucket）

同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的对象都直接隶属于其对应的存储空间。每个用户可以拥有多个存储空间存
W_枫叶·2024-01-25 09:48

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hudi学习笔记(一)

大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储，支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更，也支持下游系统对这个数据集的增量处理。
一一|一一一亅·2024-01-25 09:37

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

2024年mongodb自建三节点副本集详细教程

环境说明系统centos7.9自建服务器或云服务器，硬件要求不低于2核2G内存，20G硬盘，文件系统默认是ext4即可。
周公挚友·2024-01-25 09:08
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他