hadoop大数据文件系统

【QML】 如何导入QML文档目录

本地文件系统上的所有QML文件都可以使用绝对或相对路径的导入，导入时使用：import"目录名称”语句来完成。从而使我们能使用该目录中定义的对象类型。很多情况下，如果本地目录中包含一个qmldi
iriczhao·2024-01-31 07:43

STM32与FPGA实现以太网功能--web、UDP、tcp测试

打印排查下，发现读网页大小不对（估计用W25Q16弄的文件系统哪里bug，记录下，等以后处理）问题2：we
weixin_41719055·2024-01-31 07:22

分布式虚拟文件系统，如何实现多种存储系统的融合

为了给不同的计算框架提供存储服务，存储的服务类型也是很多，常见的如AWS的S3存储、NFS文件系统和Ceph分布式系统等。
数据存储张·2024-01-31 07:20

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

Linux 文件IO

目录linux下的文件分类：文件描述符原理：（底层原理，可跳过）虚拟文件系统：内存中的inode与磁盘中的inodeopen函数函数原型：形参列表：代码：close函数errno函数read函数write
逸兴云飞~·2024-01-31 06:49

大数据----4.hadoop分布式框架搭建

-使用本地文件系统，而不是分布式文件系统。-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce
学无止境的大象·2024-01-31 06:49

Hadoop大数据原理(3) - 分布式计算框架MapReduce

文章目录1.大数据的通用计算2MapReduce编程模型3.MapReduce计算框架3.1三类关键进程大数据应用进程JobTracker进程TaskTracker进程3.2作业启动和运行机制3.3数据合并与连接机制shuffle的过程1.大数据的通用计算  Hadoop出现前就已经有了分布式计算，那个时候的分布式计算是专用的系统，只能专门处理某一类计算，比如进行大规模数据的排序。这样的系统无法复
小爱玄策·2024-01-31 06:09

Linux 基础IO

对文件进行写入对文件进行读取默认打开的三个流系统文件IOopenclosereadwrite文件描述符磁盘文件&&内存文件文件描述符的分配规则重定向输出重定向输入重定向追加输出重定向重定向函数dup2FILEFILE当中的缓冲区文件系统
C++下等马·2024-01-31 06:34

[linux] which和find有什么区别？

find命令：find命令是用来在文件系统中查找文件或目录的。它可以根据
super_journey·2024-01-31 06:18

AI场景下存储架构有哪些？

以下是一些常见的存储架构及其优势：文件系统存储：NAS(NetworkAttachedStorage)：如阿里云NAS等，提供高可用、可扩展的网络文件共享服务，适合于AI训练过程中模型文件和大量非结构化数据的存储需求
古猫先生·2024-01-31 05:25

HDFS Federation前世今生

一背景熟悉大数据的人应该都知道，HDFS是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行·2024-01-31 05:31

Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系

Flink定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。如果发生故障，Flink可以恢复应用程序的完整状态并继续处理，就如同没有出现过异常。Fli
PONY LEE·2024-01-31 04:22

Python爬虫：XPath基本语法

它使用路径表达式来选择节点或节点集，类似于文件系统中的路径表达式。不啰嗦，讲究使用，直接上案例。
大数据左右手·2024-01-31 04:36

转帖 linux 公司面试题

2.Linux内核引导时，从文件/etc/fstab中读取要加载的文件系统。3.Linux文件系统中每个文件用i节点来标识。4.全部磁盘块由四个部分组成，分别为引导块、专用块、i节点表块和数据存储块。
ZhengboCai·2024-01-31 04:59

【开源操作系统】上海道宁为您带来稳定、安全、开源和易用的操作系统——Ubuntu，为您的数字化生活保驾护航

Ubuntu是源于非洲的一种传统价值观意为“人性、关爱和共享”这种价值观在开源、稳定、安全、易用的Ubuntu操作系统中得到了完美的体现除此之外，Ubuntu还具有强大的安全性它自带了诸多安全功能如防火墙、加密文件系统等可以有效地保护用户的隐私和数据安全开发商介绍
51component技术交流·2024-01-31 03:46

linux /etc/fstab 文件详细说明

原文链接：https://blog.csdn.net/xiaolongwang2010/article/details/8657332————————————————fstab这个文件描述系统中各种文件系统的信息
黄金大师傅·2024-01-31 00:15

从零开始学Docker-Day4（回顾）

它也相当于是一个root文件系统。比如官方镜像centos:7就包含了完整的一套centos:7最小系统的root文件系统。相当于容器的”源代码“容器（containe
小龙在慢慢变强..·2024-01-30 23:54

操作系统（四）文件管理

文章目录文件系统系统基础基本概念打开一个文件的步骤目录管理文件控制块FCB索引结点目录结构目录实现（目录检索方式）文件共享基于Inode的共享方式（硬链接）利用符号链实现文件共享（软链接）文件保护文件的逻辑结构
chengzic1999·2024-01-30 22:35

了解一些常用的文件系统和一些基础定义

了解一些常用的文件系统和一些基础定义基础定义:文件系统就是在存储设备上组织文件的方法。而存储设备就是常见的磁盘，也有基于NANDFlash的固态硬盘等。
swimming_in_it_·2024-01-30 22:35

4-18课堂笔记

3、网卡NFS网络文件系统，通过网络挂载，网络没起如何挂载？又想在fstab里实现挂载、就用一个服务，延迟启动。延迟满足：小孩给棉花糖的故事，学会延迟满足是成就自己的优秀思维。
张鑫泽_2109·2024-01-30 22:35

linux用多线程实现网络聊天程序,Linux下C语言多线程,网络通信简单聊天程序

出于演示目的，这里采用UNIX域协议(文件系统套接字)，程序分为客户端和服务端。应用select
王火龙果·2024-01-30 19:48

MySQL学习笔记

ssl的链接服务层：主要完成大部分的核心服务，查询解析、分析、优化、缓存等等引擎层：复杂对数据的存储和提取，第二层服务层通过Api与引擎通信，不同引擎具有不同功能存储层：将数据存储在运行mySql的设备的文件系统中
一只大耗子。·2024-01-30 17:40

黑猴子的家：Hive 分区表基本操作

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
黑猴子的家·2024-01-30 16:59

第 3 章：文件系统

你将详细了解Linux中的文件系统（FS）及其特点。我们不会深入探讨特定的文件系统实现，因为你会看到有很多种，但我们将确立与它们交互的基本原则。
段舸·2024-01-30 16:44

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

Spark的核心RDD（ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念
fcyh·2024-01-30 15:46

Spark RDD（弹性分布式数据集）

RDD是通过Hadoop文件系统（HDFS）中文件或者驱动程序中现有的Scala集合开始，然后对其进行转换来创建的。1.2RDD特性*-Alisto
JOEL-T99·2024-01-30 15:15

linux命令 — lsof 查看进程打开那些文件 或者 查看文件给那个进程使用

被打开的文件可以是：1.普通的文件，2.目录3.网络文件系统的文件，4.字符设备文件5.
CaiGuangyin·2024-01-30 13:55

（五）MySQL的备份及恢复

有时候不可避免会出现数据丢失或者被破坏，这样情况下，我们必须保证数据的安全性和完整性，就需要使用日志来查看或者恢复数据了数据库中数据丢失或被破坏可能原因：误删除数据库数据库工作时、意外程序终止、程序崩溃病毒的入侵文件系统损坏后
魏大橙·2024-01-30 13:36

MySQL介绍

数据库的本质是一个文件系统数据库中记录是有行有列的数据库就是关系型数据库原生数据中Oracle比MySQL强大，不过一般使用MySQL数据库。
xmh-sxh-1314·2024-01-30 13:29

linux下查看硬盘哪些文件夹比较大

使用df-h命令可以查看整个文件系统的磁盘空间占用情况。使用du命令可以查看指定目录的磁盘空间占用情况。
#君君#·2024-01-30 12:12

Docker镜像的创建

目录1.基于现有镜像创建首先启动一个镜像，在容器里做修改然后将修改后的容器提交为新的镜像，需要使用该容器的ID号创建新镜像2.基于本地模板创建3.基于Dockerfile创建联合文件系统（UnionFS
Ybaocheng·2024-01-30 11:49

ext文件系统

Ext文件系统1.文件目录1.1文件控制块FCB文件系统通过文件控制块（FileControlBlcok）来维护文件结构，FCB包含有关文件的信息，包括所有者、权限、文件内容的位置等文件目录用于组织文件
月落呜啼霜满天天天·2024-01-30 10:43

手动挂载apex镜像

这要先从mount的流程来理解，挂载操作，实际上就是把设备上的文件系统/目录文件连接到指定的目录（directory）下，在操作系统层面就是把挂载设备和挂载目录的对应关系加到内核中的Vfsmount里的对应表单里
月落呜啼霜满天天天·2024-01-30 10:13

shell脚本find和grep区别

find命令：用途：用于在文件系统中搜索文件和目录。
何浩钧·2024-01-30 09:26

Ubuntu服务器运维必备技能

/根目录：该目录是Linux文件系统的根目录，包含系统的大部分文件和目录。该目录应该分配在SSD硬盘上，大小建议在30GB左右。/ho
码蚁先生·2024-01-30 09:27

filenet市值将在2023年超过比特币，区块链有ipfs会更好

所以，大家的目光开始瞄向一些新的币种，这其中ipfs（星际文件系统），目前产业部署比较成熟，受关注度很高。ipfs的中文名称是“星际文件系统”，它本质上是一种点对点的分布式存储，传输协议
区小楼·2024-01-30 07:35

文件系统与日志分析

目录一.inode与block详细描述1.2inode的内容结构1.3目录与inode1.4inode的大小1.5inode耗尽的故障处理二.恢复误删除的文件三.分析日志文件3.2三大类的日志1.内核和公共日志2.用户日志2.1查询当前登录的用户情况1）users2）who3）w2.2查询用户登录的历史记录1）last2）lastb3.程序日志一.inode与block详细描述1.文件是存储在硬盘
Beloved Susu·2024-01-30 07:47

Docker 的基本概念和优势，以及在应用程序开发中的实际应用

镜像是一个只读的模板，包含了运行应用程序所需的文件系统和参数。镜像可以用来创建容器，每个容器都是镜像的一个可执行实例，可以在
数据科学与艺术的贺公子·2024-01-30 07:21

如何将千亿文件放进一个文件系统，EuroSys‘23 CFS 论文背后的故事

这是一个技术创新的故事。在现实业务的压力和技术理想的感召下，带着模糊的地图，百度沧海·存储CFS和TafDB两个技术团队启程进入无人区，寻找解开「千亿文件的情况下，文件存储系统依然保持高性能」难题的钥匙。新架构小试牛刀后带来的惊喜还未持续多久，便被横贯在面前的高山给阻挡，退回到起点还是继续向前行……如本文作者所言，对论文背后的故事进行讲述，是为了能够帮助读者更好地理解这个创新结果本身，亦能为正在处
百度智能云技术站·2024-01-30 06:00

Docker镜像的创建

目录基于现有镜像创建基于本地模板创建基于Dockerfile创建联合文件系统（UnionFS）镜像加载原理为什么Docker里的centos的大小才200M？
GnaW1nT·2024-01-30 06:54

第十一学 linux内核——进程管理——进程是什么

我们前面提到过linux内核的几个子系统，他们分别是进程管理、虚拟文件系统（文件管理）、内存管理和网络接口管理（本来应该还有设备管理的，但是linux是以文件的方式管理硬件设备的，所以把它归为文件管理里边
lobbiy·2024-01-30 05:38

2.图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
__元昊__·2024-01-30 03:59

Deepin基本环境查看（五）【系统服务】

Deepin基本环境查看-目录Deepin基本环境查看（一）【基本信息】Deepin基本环境查看（二）【内存】Deepin基本环境查看（三）【网络信息】Deepin基本环境查看（四）【硬盘/分区、文件系统
长孤秋落·2024-01-30 03:19

Deepin基本环境查看（七）【任务管理器和进程管理】

Deepin基本环境查看-目录Deepin基本环境查看（一）【基本信息】Deepin基本环境查看（二）【内存】Deepin基本环境查看（三）【网络信息】Deepin基本环境查看（四）【硬盘/分区、文件系统
长孤秋落·2024-01-30 03:18

hadoop必记知识点（1）

其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

GFS--Google File System论文翻译和理解

一、系统设计目标高可用的大文件分布式文件系统。二、关键点Architecture-架构：有哪些Server，每个Server的功能。Master存储的MetaData的结构。client写数据流程。
不争_900c·2024-01-29 23:00

13_ZYNQ7020_移植rtl8192.cu无线网卡驱动

1.复制带RTL8192无线网卡的BOOT.bin文件和image.ub文件到启动SD卡的FAT分区2.将黑金自带的桌面文件系统debian_rootfs.tar复制到启动SD卡的EXT分区3.电脑串口连接开发板
一米八零的昊哥·2024-01-29 22:47

深入理解LINUX内核 第三版2.6 笔记

硬件中的分页P50第三章进程第四章中断和异常第五章内核同步第六章定时测量第七章进程调度第八章内存管理页框管理内存管理区内核第九章进程地址空间进程地址空间内存描述符线性区第十章系统调用第十一章信号第十二章虚拟文件系统第十三章
张君陌·2024-01-29 22:45

LINUX系统调用

系统调用：用户无法读写内核空间地址系统调用抽象了文件系统和磁盘等。系统调用包装安全。linux中，系统调用是访问内核的唯一手段，除了异常和陷入外，它是唯一合法入口。
可爱的小小小狼·2024-01-29 21:23
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他