Hadoop文件系统

Linux 内核弃用 ReiserFS

不知道你知不知道ReiserFS文件系统，老式的服务器管理员可能门清。
CIb0la·2024-01-23 19:57

【Java文件操作】文件操作常用API

Java中的文件操作可以分为两类，一类是对于文件系统的操作，例如获取文件路径信息、创建文件、删除文件等等；另一类是对于文件内容的操作，比如对于文件的读写操作。
米饭好好吃.·2024-01-23 18:09

JVM系列2：JVM结构-类加载（详解）

1.类加载子系统的作用类加载器子系统负责从文件系统或者网络中加载class文件，class文件在文件开头有特定的文件标识（字节码文件都以CAFEBABE标识开头）。
段茜琳·2024-01-23 18:28

【Linux命令】du 和 df 查看磁盘占用情况

du和df算是一对同门师兄弟，du侧重在文件夹和文件的磁盘占用方面，而df则侧重在文件系统级别的磁盘占用方面。这两个命令都非常的基础，也是每位Linux工程师都应该掌握的命令。
CodeCharm——CC姐·2024-01-23 17:26

第8章-网络设备文件管理

1.网络设备的文件系统1.1.概述1.2.文件类型1.3.存储方式1.4.文件管理2.文件的管理3.网络设备软件维护基础4.常见问题1.网络设备的文件系统1.1.概述①设备以文件的方式对运行所需的数据进行存储
李秋天·2024-01-23 16:34

分布式存储

，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储
王德发666·2024-01-23 16:16

【Godot4自学手册】第二节主人公设置

其次在文件系统res://上单击右键，选择新建->文件夹单击弹出文件夹命名框。我们新建一个Scenes文件夹，用
相信神话2021·2024-01-23 16:09

Spark RDD分区数和分区器

TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过hadoopFile
maplea2012·2024-01-23 15:40

【架构】分布式系统及相关技术栈初了解

1.3分布式系统的功能解耦分布式系统按层次划分：2）分布式架构的演变1、初始阶段架构2、应用服务和数据服务分离3、使用缓存改善性能4、使用应用服务器集群5、数据库读写分离6、反向代理和CDN加速7、分布式文件系统和分布式数据库
黑黑白白君·2024-01-23 15:14

Zookeeper+Kafka集群

分布式系统管理框架，主要用来解决分布式应用集群中应用系统的一致性问题，想大于各种分布式应用的注册中心+文件系统+通知机制本质用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发生变化就会通知到客户端数据结构
王德发666·2024-01-23 12:25

linux文件系统 - 初始化(一)

linux文件系统-初始化(一)术语表：structtask：进程structmnt_namespace：命名空间structmount：挂载点structvfsmount：挂载项structfile：
盼望孤独的二进制·2024-01-23 12:45

Ubuntu硬盘分区和挂载

sudofdisk/dev/nvme0n1p3n：表示建立新的分区​p：表示主分区​e：表示拓展分区1：分区号，输入1表示只分一个区w：保存分区表格式化将分区/dev/nvme0n1p3格式化为ext4文件系统
枭玉龙·2024-01-23 11:40

Hadoop集群配置及测试

Hadoop集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源，因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_·2024-01-23 11:07

Qemu 启动 Linux（aarch64 与 riscv64）

Qemu启动Linux（aarch64与riscv64）我的平台架构为x86_64，操作系统为Ubuntu22.04.3这部分涉及内核的编译以及文件系统的制作本博客中涉及了aarch64以及riscv64
京雨·2024-01-23 11:51

大数据分布式实时大数据处理框架Storm，入门到精通！

介绍：Storm是一个分布式实时大数据处理框架，被业界称为实时版的Hadoop。首先，Storm由Twitter开源，它解决了HadoopMapReduce在处理实时数据方面的高延迟问题。
知识分享小能手·2024-01-23 09:42

FastDFS分布式文件存储

为什么会有分布式文件系统？分布式文件系统是面对互联网的需求而产生。因为互联网时代要对海量数据进行存储。很显然靠简单的增加硬盘个数已经满足不了我们的要求。
愚人钊呀·2024-01-23 09:12

前端项目技术选型以及页面展示【第二期】

将流程，数据库操作，建模、docker运维、文件系统等抽象出来方便的调用。会定期提升代码质量。目的：将工作中使用到的技术脱离业务剥离出来，方便复用、借鉴。
呆呆呆呆梦·2024-01-23 09:42

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-23 09:45

CentOS 7部署 Ceph分布式存储架构

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
大帅同学·2024-01-23 09:48

Sqoop与Kafka的集成：实时数据导入

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。
晓之以理的喵~~·2024-01-23 08:01

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

linux性能优化-磁盘I_O优化

1.文件系统1.1.文件系统的工作原理文件系统是在磁盘的基础上，提供了一个用来管理文件的树状结构。接下来我们就看看Linux文件系统的工作原理。
一杯可乐、·2024-01-23 08:42

K8s（八）持久化存储emptyDir、hostpath、nfs

kubectlexplainpods.spec.volumesawsElasticBlockStore#AWSElasticBlockStore（EBS）卷的配置对象azureDisk#AzureDisk卷的配置对象azureFile#AzureFile卷的配置对象cephfs#Ceph文件系统的配置对象
心葉493·2024-01-23 08:38

k8s hostPath

hostPathhostPath卷能将主机节点文件系统上的文件或目录挂载到您的Pod中。虽然这不是大多数Pod需要的，但是它为一些应用程序提供了强大的逃生舱。
qq_42533216·2024-01-23 08:06

2020-04-27

IPFS（InterPlanetaryFileSystem）的中文译名是“星际文件系统”，是一个基于内容寻址、分布式的、点对点的新型超媒体传输协议，其创建的初衷是颠覆传统网络的HTTP传输协议。
IPFS_Evangelist·2024-01-23 07:19

墨色琉璃的Linux学习周记--第二周

1.Linux的文件系统层级结构标准（FHS）FilesystemHierarchyStandard(文件系统层级结构标准)，多数的Linux版本采用这种文件组织形式，类似于Windows操作系统中c盘的文件目录
墨色琉璃_3897·2024-01-23 07:58

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~·2024-01-23 07:35

网络安全全栈培训笔记（55-服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE）

第54天服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE知识点：1、服务攻防数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122
清歌secure·2024-01-23 07:24

RK3568 移植Ubuntu

使用ubuntu-base构建根文件系统1、到ubuntu官网获取ubuntu-base-18.04.5-base-arm64.tar.gzUbuntuBase18.04.5LTS(BionicBeaver
smile_5me·2024-01-23 06:48

RK3568 Ubuntu关于rootfs大小问题

有关如何移植Ubuntu可以参考博客：RK3568移植Ubuntu-CSDN博客但是移植完成之后会发现一个问题，就是文件系统的容量已经满了，若想安装软件和库是不可能的，所以需要在打包镜像文件那里做个修改
smile_5me·2024-01-23 06:18

数仓建设 - 维度建模 - DIM维度

2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[hadoop
m0_46218511·2024-01-23 05:14

[Linux 系统管理]文件录操作命令

创建空文件或修改文件时间所在路径:/bin/touch执行权限:所有用户功能描述:修改文件的时间戳2.stat查看文件详细信息的命令,所在路径:/usr/bin/stat执行权限:所有用户功能描述:显示文件或文件系统的详细信息
芒果奶油卷·2024-01-23 04:39

Databend 开源周报第 128 期

使用Databend查询位于HuggingFace文件系统上的数据HuggingFace是目前最火热的AI社区。Databend现已支持
Databend·2024-01-23 03:01

文件系统(六)—文件系统mount过程 转载

https://blog.csdn.net/u012489236/article/details/124523247前一章学习了虚拟文件系统组成的超级块、索引节点、目录项、文件四个结构体对象，那么就开始看内核是如何建立挂载点目录项与挂载文件系统的
盼望孤独的二进制·2024-01-23 02:48

Linux内核源码学习 Ext2文件系统布局，文件数据块寻址，VFS虚拟文件系统 转载

https://zhuanlan.zhihu.com/p/441979618文件系统布局文件系统中存储的最小单位是块（Block），一个块究竟多大是在格式化时确定的，例如mke2fs的-b选项可以设定块大小为
盼望孤独的二进制·2024-01-23 02:18

linux文件系统调用---mount（图例解析）转载

https://zhuanlan.zhihu.com/p/477655049一、目的本文将介绍linux挂载文件系统的过程。
盼望孤独的二进制·2024-01-23 02:18

浅谈ARM嵌入式中的根文件系统rootfs

1.根文件系统和Linux内核是分开的，单独的Linux内核是没法正常工作的根文件系统是Linux内核启动以后挂载(mount)的第一个文件系统，然后从根文件系统中读取初始化脚本，比如rcS，inittab
盼望孤独的二进制·2024-01-23 02:46

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导
Cool_Pepsi·2024-01-23 02:12

Hbase

等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）HBASE相比于其他NoSQL数据库(mongodb、redis、cassendra、hazelcast)的特点：Hbase的表数据存储在HDFS文件系统中从而
Cool_Pepsi·2024-01-23 02:12

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处
Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

Hadoop -- ZooKeeper

ZooKeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)等的管理员。
Cool_Pepsi·2024-01-23 02:42

Linux-ionde（软硬件链接）剖析

这是针对于文件系统而言的，而对于磁盘来说，其实没有块这样的概念，只是文件系统为了提高读取速率而延申的一个概念；即磁盘的基本单位是扇，而文件系统的基
chen_ever·2024-01-23 01:08

【操作系统和计网从入门到深入】（四）基础IO和文件系统

前言这个专栏其实是博主在复习操作系统和计算机网络时候的笔记，所以如果是博主比较熟悉的知识点，博主可能就直接跳过了，但是所有重要的知识点，在这个专栏里面都会提到！而且我也一定会保证这个专栏知识点的完整性，大家可以放心订阅～#基础IO1.文件描述符预备工作Linux系统下一切皆文件1.1复习C文件接口相关细节#include#include//复习C语言文件接口intmain(){FILE*fp=fo
@背包·2024-01-23 00:41

探索 Docker 容器的文件系统

问：我注意到docker我需要了解容器内发生了什么或其中存在哪些文件。一个例子是从dockerindex下载图像——你不知道图像包含什么，因此无法启动应用程序。理想的情况是能够通过ssh进入它们或等效的。是否有工具可以做到这一点，或者我对docker的概念化认为我应该能够做到这一点是错误的。答1:一个优秀的自由职业者，应该有对需求敏感和精准需求捕获的能力，而huntsbot.com提供了这个机会这
HuntsBot·2024-01-23 00:14

每天一个Linux命令 2019/02/27 ln

我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间语法：`ln[参数][源文件或目录][目标文件或目录]`Linux文件系统中
zhui1·2024-01-22 23:46

ARM-Linux驱动内核（S3C2440）

程序)：驱使设备行动的程序1.启动bootloader---引导操作系统启动的(裸机)程序，为操作系统启动准备环境，并引导操作系统启动2.启动kernel---操作系统核心(俗称的操作系统)3.加载根文件系统
Omedetou。·2024-01-22 22:05

【gstreamer】入门介绍

GStreamer框架的核心是基于插件的体系结构，插件可以用于解码、编码、过滤、音频和视频处理等各种任务，同时也包括了一些基础插件，如基本的HTTP和TCP网络协议支持以及文件系统读写等。
Z_shsf·2024-01-22 22:08

U-Boot 中使用 nfs 命令加载文件报错指南

目录问题一问题描述错误原因解决方案问题二问题描述解决方案更多内容在嵌入式Linux开发中，我们经常使用nfs命令加载服务端的共享文件或者挂载文件系统。
Hello阿尔法·2024-01-22 21:03

hadoop搭建服务器

一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存，40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192
成_7b38·2024-01-22 20:47
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他