Hadoop文件系统

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

Hadoop详解

架构设计NameNodeNameNode：文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系
ly稻草·2024-02-04 09:34

制作ubuntu-base-23.10-base-armhf的根文件系统rootfs

1、创建一台同版本的ubuntu23的虚拟机2、下载ubuntu-base-23.10-base-armhf.tar.gz3、上传到虚拟机里，解压到rootfs文件夹下mkdir/opt/rootfscd/opt/tar-xf/opt/ubuntu-base-23.10-base-armhf.tar.gz-C/opt/rootfs4、安装qemu，对任何机器运行操作系统的全系统仿真。qemu是一个
二叉平衡木·2024-02-04 09:50

GEE Colab——如何从本地/Google云盘/Google Cloud Storage (GCS)上传和下载

本地文件系统从本地文件系统上传文件files.upload会返回已上传文件的字典。此字典的键为文件名，值为已上传的数据。
此星光明·2024-02-04 09:17

Hadoop3.x基础（3）- Yarn

来源：B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美·2024-02-04 09:36

转载-58同城离线计算平台设计与实践

58同城离线计算平台设计与实践编者荐语：58离线计算平台基于Hadoop生态体系打造，单集群4000+台服务器，数百PB存储，日40万计算任务，面临挑战极大。
无色的叶·2024-02-04 09:14

写一个内存报警脚本

crond每5分钟检查一次脚本二、实验思路1.查看自己的内存大小，用df-h2.切出内存的大小3.创建脚本文件并编辑4.编辑邮箱的配置文件5.设置自动运行的脚本三、步骤[root@server~]#df-h文件系统大小已用可用已用
duoba_an·2024-02-04 08:52

[基础IO]文件描述符{重定向/perror/磁盘结构/inode/软硬链接}

文章目录1.再识重定向2.浅谈perror()3.初始文件系统4.软硬链接1.再识重定向图解.
阿猿收手吧！·2024-02-04 08:46

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

设计模式——单例模式（懒汉模式，饿汉模式）

在计算机系统中，还有Windows的回收站、操作系统中的文件系统、多线程中的线程池、打印机的后台
孟小胖_H·2024-02-04 07:51

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

一次性推荐 GitHub上13款开源项目

具有以下功能特性：●极速打包-多核心编译，以及即使在重启后也能快速重建的文件系统缓存。●无需安装插件，开箱即用，支持JS、CSS、HTML、fileassets等。
凯睿看世界·2024-02-04 06:09

linux文件中链接文件系统,一种基于Linux文件系统文件链接的缓存LRU方法

一种基于Linux文件系统文件链接的缓存LRU方法【技术领域】[0001]本发明涉及信息技术领域，特别是涉及一种基于Linux文件系统文件链接的缓存LRU方法。
零蛋鼬鼬·2024-02-04 06:49

用linux文件系统的链接功能实现文件缓存LRU

概述：目前，随着家庭宽带网络、无线宽带技术，以及终端设备性能的不断发展，基于多媒体的应用越来越广泛，特别是互联网视频的应用更是成为推动这些技术发展的源动力。作为互联网视频VOD的应用，提高视频播放的流畅度是一个非常重要的指标之一。除了编解码技术，视频CDN技术是解决用户视频播放流畅度的首要环节，而CDN技术中除了智能调度技术，边缘服务器的性能优化也是非常重要的环节之一。本方法就是着眼于边缘服务器的
码农心语·2024-02-04 06:40

ESP32学习笔记（23）——NVS(非易失性存储)接口使用

NVS适合存储一些小数据，如果对象占用空间比较大，使用负载均衡的FAT文件系统。如果NVS分区被截断，比如更改分区表布局的时候，应该擦除分区内容。
Leung_ManWah·2024-02-04 06:35

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas·2024-02-04 06:31

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将
测试帮日记·2024-02-04 05:45

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

CIFS(Samba)服务的使用

理论部分概念：通用互联网文件系统CIFS使用的是公共的或者开放的SMB协议版本。SMB是在会话层和表示层以及小部分应用层上的协议，使用了NetBIOS的应用程序接口API。
曹博Blog·2024-02-04 05:54

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org
运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：######################################
运维道上奔跑者·2024-02-04 05:43

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

#################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6
运维道上奔跑者·2024-02-04 05:43

嵌入式学习日记 18

编程多任务编程(进程、线程)网络编程数据库编程数据结构Linux软件编程：1.Linux：PC三大操作系统之一Linux是操作系统的内核真正的操作系统：Ubuntu主要功能：管理CPU管理内存管理硬件设备管理文件系统任务调度
aminos_ydglmn·2024-02-04 04:46

一次U盘文件变乱码的恢复

2、在U盘上单击右键选择“属性”-》“工具”-》“查错”的开始检查把自动修复文件系统错误和扫描并试图修复坏扇区选上然后点“开始”结果：乱码文件全部没有了,我的重要文件也没有了，急。
xingtianxia710·2024-02-04 04:45

五大架构风格之五：仓库架构风格

特征与原理：封装存储细节：仓库充当了数据访问层的角色，将对数据库或文件系统的具体操作
qyhua·2024-02-04 03:17

docker的理论

docker可以看做一个容器，直接运行里面的内容，内部没有内核，所以很轻便；同时各个容器互相不影响，每个容器内部有自己的文件系统；docker的宿主机可以是物理机，也可是虚拟机！！！
战战的坚果·2024-02-04 03:06

2021-07-02

Hadoop集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比·2024-02-04 02:40

NFS服务部署

NFS1.什么是nfs1.什么是NFS，NFS是NetworkFileSystem的缩写及网络文件系统。2.NFS能干什么，它的主要功能是通过局域网络让不同主机系统之间可以共享文件和目录。
KKenny·2024-02-04 02:00

NodeJS简述

NodeJS提供的核心模块有http模块、https模块、fs文件系统模块，etc。组件和第三方依赖V8：Google开源的高性能JavaScript引擎，以C++实现。
灯塔引路·2024-02-04 01:05

《Linux软件编程》的初步认识

的认知：Linux实际上来说是操作系统的内核，ubuntu是操作系统（包括redhat，centos，freebsd等）Linux(操作系统化的内核)：1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统
学嵌入式好快乐·2024-02-03 22:54

24. 组合模式（详解版）

在软件开发中也是这样，例如，文件系统中的文件与文件夹、窗体程序中的简单控件与容器控件等。对这些简单对象与复合对象的处理，如果用组合模式来实现会很方便。
Zal哥哥·2024-02-03 21:38

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链·2024-02-03 21:12

【复现】大华 DSS 数字监控系统 任意文件读取漏洞_38

可将视频监控、卡口拍照、区间测速、电子地图、违章查询系统等诸多主流应用整合在一起，实现更加智能、便捷的分级查询服务二.漏洞影响通过提交专门设计的输入，攻击者就可以在被访问的文件系统中读取或写入任意内容，
穿着白衣·2024-02-03 21:37

Zookeeper集群安装

简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
万总有点菜·2024-02-03 21:14

linux高级编程 | IO输入输出

操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度2.Shell:1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell,Shell和内核交互)2.
十万个秋刀鱼·2024-02-03 21:23

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

Day 1. 学习linux高级编程之Shell命令和IO

linux其实是操作系统的内核系统调用：linux内核的函数接口操作流程：用户——>Shell——>内核——>硬件设备——>用户看到现象功能：（1）.管理CPU（2）.管理内存（3）.管理硬件设备（4）.管理文件系统
我爱敲代码yx·2024-02-03 20:24

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138·2024-02-03 20:13

在macos上使用docker踩坑记录

/lib/docker/volumes/{volume_name}/_data当时当你去这个目录查看却发现文件夹不存在原因为什么如此，是因为macOS的docker是运行在虚拟机中，数据卷是在虚拟机的文件系统中创建
xst3300·2024-02-03 19:56

论文阅读-一种用于大规模分布式文件系统中基于深度强化学习的自适应元数据管理方案

AnAdaptiveMetadataManagementSchemeBasedonDeepReinforcementLearningforLarge-ScaleDistributedFileSystemsI.引言如今，大型集群文件系统的规模已达到
向来痴_·2024-02-03 17:59

假期day2

进程间通信方式：通过内核提供的原始通信方式有三种1.无名管道：没有名字的管道文件，存储在内存上不在文件系统中显示。无名管道有读端和写端，当两端都关闭后无名管道会在内存上消失。
小新026·2024-02-03 17:16

【Linux】理解系统中一个被打开的文件

文件系统前言一、C语言文件接口二、系统文件接口三、文件描述符四、structfile对象五、stdin、stdout、stderr六、文件描述符的分配规则七、重定向1.重定向的原理2.dup23.重谈stderr
YoungMLet·2024-02-03 17:05

Python 学习小结——os.path模块及其常用方法小结

posixpath.py(forPOSIX)andLib/ntpath.py(forWindowsNT).os.path模块在路径名上实现了一些有用的功能：如需读取或写入文件，请参见open()；有关访问文件系统的信息
Seth_1x1y·2024-02-03 17:22

2024/02/03

信号灯集）3.套接字通信：socket进程间通信的7种方式，总结出他们的优点1.内核提供的原始通信方式有三种1.1无名管道无名管道，顾名思义就是没有名字的管道，是一个特殊的文件，并且存储在内存上，不在文件系统中
溪北人·2024-02-03 17:17

Hadoop MapReduce 各阶段理解

Hadoop的MapReduce是一个很经典的分布式并行计算框架，一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解，记录一下。
phusFuNs·2024-02-03 16:10

校招面试 - 操作系统 - Linux 文件系统-软链接与硬链接

文件系统文件系统是操作系统用于明确存储设置（常见的是磁盘，也有基于NANDFlash的固态硬盘）或区分上的文件的方法和数据结构；即止存储设备上组织文件的方法。
哈利Hallie·2024-02-03 16:08

阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格

2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择，
阿里云最新优惠和活动汇总·2024-02-03 15:07

hadoop2.0之环境搭建详细流程

1、在安装hadoop2.0之前，需要准备好以下软件（如下图1）图1：然后将这两个软件共享到centos上（如下图2红箭头指向和图3红箭头指向所示）在vm这上面有个虚拟机，点击虚拟机后有个硬件和选项，点选项
hhf_Engineer·2024-02-03 14:51

linux内核存储-trace相关

芯片内核调优开发和存储、文件系统几乎是紧密相连的ftrace(FunctionTracer)是一个针对Linux内核的跟踪框架。
慕云山里被狗追·2024-02-03 14:09
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他