GFS分布式文件系统

无需专有硬件 星辰天合 XDcache 大幅提升文件写性能

XSKY文件存储XGFS能获得市场高度认可、市场份额快速增长，离不开以客户为中心的需求开发，创新性的技术突破，以及贴近各行业数字化转型的细分解决方案。
XSKY星辰天合·2023-12-21 16:06

hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件

在Hadoop分布式文件系统（HDFS）中，你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制，包括目录中的子目录和子文件。
言之。·2023-12-21 14:27

数据结构与算法之美学习笔记：38 | 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结前言本节课程思维导图：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS（hdfs）和Bigtable(hbase
浊酒南街·2023-12-21 03:51

linux通过configfs方式开启uvc、uac、adb等功能

setusbconfiguvc：开启uvc功能。切换到usbdevice模式：cat/sys/devices/platform/soc/usbc0/usb_device#!/bin/shname=`basename$0`usage(){echo"$nameUsage:"echo""echo"$name[function]"echo"function:mtp,supportMTPfunction"e
IamGroot2023·2023-12-20 23:55

GFS分布式文件系统

gfdglusterFS开源的分布式文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统是依赖于元服务器，元服务器保存存储节点的目录树信息。
早上的星星·2023-12-20 20:22

SeaweedFS介绍安装集群部署总结

什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
编程无霸哥·2023-12-20 17:07

HDFS工作机制和原理

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上·2023-12-20 15:36

ceph存储服务结构介绍以及速度优化的方法

以下是这些存储服务的简要介绍和结构：CephFS（Ceph文件系统）：结构：CephFS是Ceph提供的分布式文件系统，它基于RADOS（可扩展自动分布式对象存储）构建。
小果运维·2023-12-20 14:19

go-fastdfs

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。
芋头哥·2023-12-19 20:41

内部集成M0内核MCU Sub-1G 高性能低功耗的单片集成收发芯片DP4306F

该芯片集成了射频接收器、射频发射器、频率综合器、GFSK调制器、GFSK解调器等功能模块。
C18025394486·2023-12-19 15:23

从零开始了解大数据(三)：HDFS分布式文件系统篇

目录前言一、HDFS分布式文件系统基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell
橘子-青衫·2023-12-19 13:23

短视频矩阵系统多账号搭建技术源码（源头3年开发者技术独立搭建）

通过使用分布式文件系统（例如AWSS3）和自动化上传工具，可以实现批量上传功能，并通过设置定时任务和
云罗互动yx898978·2023-12-19 13:52

大数据技术11：Hadoop 原理与运行机制

前言：HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
Java架构何哥·2023-12-18 21:56

Hadoop Single Node Cluster的安装

安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化
艾醒(AiXing-w)·2023-12-18 16:50

Ceph存储

没有冗余，不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储（ceph）时代1PB级别用raid很难实现分布式文件系统文件系统管理的物理存储资源不一定直接连接在本地节点上
叫我家驹范·2023-12-18 15:15

VMware中Linux虚拟机挂载主机共享文件夹的方法

自动挂载点是“/mnt/hgfs”。1、进入VMware菜单栏中的虚拟机设置选项——共享文件夹设置中添加主机中用来给客户机共享的目录。
weixin_39877717·2023-12-18 08:12

【运维笔记】mvware centos挂载共享文件夹

成功后即可在文件夹栏看到自己共享的文件夹挂载文件夹临时挂载启动虚拟机，启动终端，执行“vmware-hgfsclient”命令可以输出启用的共享文件夹名称（显示的是添加共享目录时设置的共享名称）。
Left_Zzzz·2023-12-18 08:05

【Hadoop面试】HDFS读写流程

HDFS（HadoopDistributedFileSystem）是GFS的开源实现。
话数Science·2023-12-18 06:16

GFS分布式文件系统

GFS分布式文件系统：全称：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。
DDYYmmm·2023-12-18 05:26

Hadoop （海量数据存储及计算） 基本概念

[1]Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
ronmy·2023-12-18 02:51

【linux内核源码】 io操作之read

使用ftrace来跟踪read系统调用.以下脚本默认机器已经挂载了debugfs。具体的ftrace使用可参考https://01.org/linuxgraphics/gfx-docs/
tanghui·2023-12-18 02:13

分布式文件系统之HDFS

前言一、HDFS简介1.1HDFS产出背景及定义1）HDFS产生背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（HadoopDistribu
僖僖cc·2023-12-17 17:41

从传统型数据库到非关系型数据库

其本质是一个具有数据存储功能的复杂系统软件，数据库最终把数据保存在计算机硬盘，但数据库并不是直接读写数据在硬盘，而是中间隔了一层操作系统，通过文件系统把数据保存为本地文件系统的数据文件；我们讲过Hadoop，分布式文件系统
僖僖cc·2023-12-17 17:38

高效存储大规模数据的方法与实现

分布式文件系统分布式文件系统是一种常见的大数据存储解决方案。它将数据划分为多个块，并将这些块存储在不同的机器上。这种方式可以提高数据的可靠性和可扩展性。
静谧星光c·2023-12-17 11:47

KVM+GFS分布式存储系统构建KVM高可用

一、安装部署KVM虚拟化平台1、安装KVM虚拟化平台yum-yinstallqemu-kvmqemu-kvm-toolsvirt-installqemu-imgbridge-utilslibvirtvirt-manager2、验证cat/proc/cpuinfo|grepvmxlsmod|grepkvm3、开启libvirtd服务systemctlstartlibvirtd&&systemctle
叮咚网工·2023-12-17 10:28

2018-06-14

hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统
hoose·2023-12-17 09:26

PDF转为图片

起初是用分布式文件系统，将pdf以流的形式直接传递给前端，前端使用canvas将dpf转为图片，再用jQuery、turn.js进行3
老攀呀·2023-12-17 04:56

NFS远程文件共享系统！

NFS（NetworkFileSystem，网络文件系统）是一种分布式文件系统，允许用户通过网络访问远程主机上的文件。
M乔木·2023-12-16 23:31

什么是Z-Wave，技术特点，各国支持的频段

2.1技术特点低功耗、高可靠、根据不同的选型适于短距离、长距离方案的无线通信技术.工频908.42MHz使用在美国、工频868.42MHz使用在欧洲等国家，采用调制方式有FSK、BFSK、GFSK，短距离数
Aaron Mo·2023-12-16 13:41

分布式文件存储系统Minio使用总结

分布式文件存储系统Minio使用总结1.分布式文件系统应用:1.1、Minlo介绍：Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
北执南念·2023-12-16 11:40

分布式文件系统及Minio配置及测试

功能强大，使用简单~分布式文件系统要理解分布式文件系统首先了解什么是文件系统。文件系统是方便对磁盘上的文件进行管理的一种系统。把若干计算机通过网络连接起来，共同提供存储和访问的服务。
happystudy_neu·2023-12-16 11:04

大数据学习（一）-------- HDFS

2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph是一个开源的分布式存储系统，它由多个组件组成，包括分布式对象存储（RADOS）、分布式块存储（RBD）和分布式文件系统（CephFS）等。
瓦哥架构实战·2023-12-15 07:40

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

Ubuntu 设置共享文件夹

/vmware-install.pl成功的话/home/mnt/hgfs就可以看到自己的共享文件夹了
Zlb2214·2023-12-14 18:02

HarmonyOS分布式文件系统开发指导

分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：●两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾·2023-12-14 15:02

Linux Kernel 与应用交互的一些方式

LinuxKernel与应用交互的一些方式内核与应用的交互环节通常离不开内核的文件系统，通常使用proc、sysfs、debugfs三种1.Debugfs1.debugfs的介绍通常debugfs用来在调试内核驱动时
不吃辣的同学·2023-12-06 19:09

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
数据萌新·2023-12-06 18:40

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。HDFS官方架构图一、NameNode（NN）——基于内存存储：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件owership和permi
A尚学堂Nancy老师·2023-12-06 15:56

比较 Apache Hive 和 Spark

Hive是一个运行在Hadoop分布式文件系统上
vvoennvv·2023-12-06 06:50

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem
粥一样温柔·2023-12-06 05:40

分布式文件存储系统Minio，tuling，fox

MinIO|高性能，对Kubernetes友好的对象存储MinIOHighPerformanceObjectStorage—MinIOObjectStorageforLinux一分布式文件系统应用场景fastDFS
aiwokache·2023-12-06 01:28

linux 如何调用其他用户conda安装的软件

下载的目录的绝对路径配置在自己的bashrc里面就行3.例如，别人安装了某个安装包叫做XXX，放在miniconda的XXX4.首先vi~/.bashrc，之后将这句话输入5.exportPATH="/mnt/beegfs
SunflowerOlive·2023-12-05 12:18

gitlab-jenkins-shell-helm-chart-k8s自动化部署微服务

-namenode1420-patternx-v/data/var/www/:/data/var/www/-v/var/jenkins_home/:/var/jenkins_home/-v/mnt/hgfs
l386913·2023-12-05 07:06

Hadoop

Hadoop的基本架构包括以下几个核心组件：HDFS（HadoopDistributedFileSystem）：它是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白·2023-12-05 06:30

IPFS将颠覆HTTP在互联网的霸主地位？

IPFS是一个点对点的分布式文件系统（比特币是一种点对点的电子现金系统），作为文件系统嘛，当然可以用来存储文件，这个文件包括文本、图片、视频等等。
仁正·2023-12-05 02:55

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

linux eMMC驱动分析

下半部延时任务处理），基于状态机处理硬件中断（上半部紧急的事务）5.启动硬件atmci_interrupt中断，处理mmc控制器的状态6.配置DMA7.设置一个超时的软定时器8.初始化mmc插槽9.初始化debugfs
JDSH0224·2023-12-04 19:14

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。主要解决，海量数据的存储和海量数据的运算问题。1.2大数据特征容量大，种类多，速度快，价值高1、容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息微博，5亿用户，每天上亿条微博朋友圈，10亿用户，每天
落叶飘雪2014·2023-12-04 15:40
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他