云存储运维文件系统hdfs

linux运维故障案列,linux 运维故障排查思路

一、linux系统故障处理思路1.重视报错信息，一般情况下此提示基本定位了问题的所在2.查阅日志文件，系统日志和应用日志3.分析、定位问题4.动手解决二、网络问题处理思路1.网络硬件问题。网线、网卡、路由器、交换机等是否正常工作。2.网卡驱动是否正常加载、网卡ip设置是否正确，系统路由是否正确。3.检查局域网之间的通信是否正常。4.检查dns是否设定正确。可从/etc/resolv.conf、/e
weixin_39712455·2024-02-08 17:10

3.3-媒资管理之MinIo分布式文件系统上传视频

文章目录媒资管理5上传视频5.1需求分析5.2断点续传技术5.2.1什么是断点续传5.2.2分块与合并测试5.2.3视频上传流程5.2.4minio合并文件测试5.3接口定义5.4上传分块开发5.4.1DAO开发5.4.2Service开发5.4.2.1检查文件和分块5.4.2.2上传分块5.4.2.3上传分块测试5.5合并分块开发5.5.1service开发5.4.3接口层完善5.5.2合并分块
ANnianStriver·2024-02-08 17:36

【mybatis自动治愈插件】

wu-database-lazy-mybatis-cure-plus-starter描述针对saas数据库隔离情况下，每次版本迭代都需要重新修改对应的数据库，对于升级与运维存在一定的难度，那么这个数据库治愈框架来了
小吴小吴bug全无·2024-02-08 16:57

Zookeeper的详细介绍及使用场景

它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等Zookeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储
Zal哥哥·2024-02-08 15:11

linux基础命令

1.2Linux的文件系统Linux系统环境下的文件系统和Windows有很大区别。在Windows中，每一个盘符下是一个独立的文件系统，硬盘有多少个分区就有多少个文
远方 hi·2024-02-08 15:36

MySQL备份与恢复解决方案

我们将从生产运维的角度了解备份恢复的分类与方法。在企业中数据的价值至关重要，数据保障了企业业务的运行，因此数据的安全性及可靠性是运维的重中之重，任何数据的丢失都有可能会对企业产生严重的后果。
远方 hi·2024-02-08 15:35

Linux学习计划

Linux学习，针对于个人其实我也没想好之后是否以此为生（Linux运维工程师），是为了让自己多学一点，多了解一下，最好的年龄，不能停止学习的脚步。
Sampson_Cao·2024-02-08 15:07

计划任务功能优化，应用商店上架软件超过100款，1Panel开源面板v1.9.6发布

2024年2月7日，现代化、开源的Linux服务器运维管理面板1Panel正式发布v1.9.6版本。
FIT2CLOUD飞致云·2024-02-08 15:49

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。
0X码上链·2024-02-08 15:48

umount:/home/tuners/windows files:目标忙。

是在尝试卸载（umount）一个文件系统时常见的错误。这个错误表明有一些进程仍然在使用挂载点（/home/tuners/windowsfiles）下的文件或目录，因此文件系统无法被安全地卸载。
三希·2024-02-08 14:01

Helm 简介：Kubernetes 的包管理器

Helm是Kubernetes的一个软件包管理器，允许开发人员和运维人员更轻松地将应用程序和服务打包、配置和部署到Kub
白如意i·2024-02-08 14:38

自建对象存储服务MINIO在使用NGINX进行反向代理时出现对象无法正常共享的解决办法

它与AmazonS3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM镜像等。对象的大小可以从几KB到最大5TB。
SY·2024-02-08 13:29

Shell 编程入门

很多人会说Shell编程属于运维方面的知识了，应该是运维人员来做，我们做后端开发的没必要学。
学致前端攻略·2024-02-08 13:42

ArcGIS 10——地理数据库管理GIS数据

首先了解一下ArcGIS的三种地理数据库类型：文件地理数据库-在文件系统中以文件夹的形式存储。每个数据集都以文件形式保存，该文件大小最多可扩展至1TB。建议使用文件地理数据库而不是个人地理
weixin_30445169·2024-02-08 13:40

【JAVA WEB】标签的应用

请填写简历信息姓名性别男女出生日期--请选择年份--2002200320042005--请选择月份--123456789101112--请选择日期-123456789101112就读学校应聘岗位前端开发后端开发测试开发运维开发掌握技能项目经历我已仔细阅读公司的招聘要求查看我的状态请应
lzb_kkk·2024-02-08 13:38

『运维备忘录』之 Kubernetes（K8S） 常用命令速查

一、简介kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写，是一个开源的，用于管理云平台中多个主机上的容器化的应用。kubernetes是基于容器技术的分布式架构解决方案，具有完备的集群管理能力，包括多层次的安全防护和准入机制，多租户应用支持能力，透明的服务注册和服务发现机制，内建智能负载均衡器，强大的故障发现和自我修复能力，服务滚动升级和在线扩容能力，可
流浪字节π·2024-02-08 12:27

云计算中的边缘云治理方案是什么？-薪享宏福

5G边缘云的科学运维需要一个完整的治理方案，需要CSP在网络边缘提供边缘数据中心所需要的所有组件，并引入新的服务。
北京薪享宏福·2024-02-08 12:50

Linux——文件系统

现在我们将从操作系统和硬件的方面来重新认识一下磁盘中的文件，以及内存中的文件和未打开文件整体构成的文件系统。Linux——被打开的文件1.磁盘中的文件就像我上面说的一样，磁
歪～~·2024-02-08 12:05

【小程序】基础API之系统API接口汇总

ty.env环境变量属性USER_DATA_PATHstring文件系统中的用户目录路径(本地路径)，当操作文件时需使用此目录。
IoT砖家涂拉拉·2024-02-08 12:02

Linux操作系统-文件系统（内存文件和磁盘文件）

基础IO内存文件文件概念和文件操作文件描述符理解Linux下一切皆文件重定向的原理理解文件缓冲区磁盘文件了解磁盘的物理结构对磁盘物理结构的逻辑抽象文件系统动态库和静态库内存文件文件
猿来是这样^·2024-02-08 11:32

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储
滚滚红尘_8133·2024-02-08 11:43

【春节特辑】金融IT运维新视角：回望2023年变革浪潮，前瞻2024年创新风潮

运维管理软件，特别是其IT基础监控功能，对于确保金融系统稳定、安全、高效运行至关重要。本文将回顾2023年金融行业信息化建设中IT基础监控的变化与需求，并预测2024年的发展趋势。
MXsoft618·2024-02-08 11:27

Hadoop多次格式化后如何解决

产生原因我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示要想解决此问题，先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安·2024-02-08 11:50

FastDFS搭建

资源地址：https://sourceforge.net/projects/fastdfs/源码资源：https://github.com/happyfish100FastDFS是一个开源的轻量级分布式文件系统
超人001·2024-02-08 11:31

docker镜像的制作

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。
weixin_46447154·2024-02-08 10:37

【Godot4.2】文件系统自定义控件 - FileSystemTree

FileSystemTreeB站【Godot4.2】文件系统自定义节点-FileSystemTree概述在Godot设计编辑器插件或应用程序时，可能需要涉及文件系统的显示，比如文件夹或文件的树形列表。
巽星石·2024-02-08 10:32

【高级数据结构】B-树、B+树详解

它通常用于数据库和文件系统。2、特性B树是一种平衡的多分树，通常我们说m阶的B树，它必须满足如下条件：每个节点最多只有m个子节点。每个非叶子节点（除了
失落的换海迷风·2024-02-08 10:02

Redis学习笔记-3.慢查询和其他高级数据结构

文章目录总览1.慢查询1.生命周期2.两个配置队列长度慢查询阀值3.配置方法4.慢查询相关命令5.运维经验2.pipeline2.1pipeline流水线作用2.2客户端使用2.3与原生M操作的对比原生
天生我才~~·2024-02-08 10:21

《Redis开发与运维》学习笔记3:主从复制，哨兵和集群

这篇主要整理第六章，第九章和第十章的内容，聚焦于Redis的分布式和集群部分，转载注明出处：https://blog.csdn.net/Koikoi12复制复制可以在分布式系统中实现相同数据的多个Redis副本，满足故障恢复和负载均衡等需求，是高可用的。主节点有多个从节点，但每个从节点只能有一个主节点关键命令：slaveof{masterHost}{masterPort}从节点发起，目标是主节点s
Koikoi123·2024-02-08 10:50

Redis核心技术与实战【学习笔记】 - 30.番外篇：Redis学习资料、运维说明及使用规范建议

1.Redis学习资料虽然前面已经学习了Redis理论和技术点，但是如果想要持续提升自己的技术能力，还是需要不断丰富自己的知识体系。本章，给你推荐几本优秀的书籍，以及拓展知识面的其他资料。1.1经典书籍在学习Redis时，场景的需求有三个方面：日常使用操作：比如常见的命令和配置，集群搭建等关键技术原理：比如IO模型、AOF和RDB机制等在实际使用时的经验教训，比如Redis响应变慢了怎么办？Red
陈建111·2024-02-08 10:20

类比

一款开源的分布式文件系统，冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标类比：图书馆有什么用？
lzb30·2024-02-08 10:07

编码技巧——在项目中使用Alibaba Cloud Toolkit远程部署

背景在新公司项目开发，当前项目为自建项目，意思是从开发到运维都需要自己负责，远程的服务器也是自己搭建的win操作系统；之前在大厂工作时，一般提交代码之后，CICD流水线会自动的执行最新代码的拉取、构建打包
七海健人·2024-02-08 09:45

类加载机制

类加载的过程包括以下几个步骤：加载（Loading）：加载是指查找并读取类的字节码文件，可以来自本地文件系统、网络或其他来源。加载器将字节码文件转化为JVM内部使用的Class对象。
啄sir.·2024-02-08 08:13

Hadoop生态漏洞修复记录

Hadoop常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。·2024-02-08 08:30

Hadoop2.7配置

core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。·2024-02-08 08:59

HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting

现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动hdfsbalance时，一直出现其他的balance在执行中，其实并没有执行。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

hadoop调优-hdfs配置优化

配置文件hdfs-site.xml生产环境建议优化：dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。·2024-02-08 08:28

hive自定义UDF依赖第三方jar包

上传jar包到HDFS上hdfsdfs-putxxxx.jar/tmp/hive/创建永久函数：createfunctionmy_funas'com.test.TestUDF'usingjar'hdfs
不会吐丝的蜘蛛侠。·2024-02-08 08:28

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。·2024-02-08 08:58

删除和清空Hive外部表数据

外部表和内部表区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
SunnyRivers·2024-02-08 08:53

RK3568平台 设备模型sysfs文件系统

一.什么是sysfs文件系统sysfs文件系统是Linux内核提供的一种虚拟文件系统，用于向用户空间提供内核中设备，驱动程序和其他内核对象的信息。
嵌入式_笔记·2024-02-08 07:29

Linux学习笔记（centOS）—— 文件系统

目录一、Linux中的文件打开方式二、目录结构三、相关命令切换目录命令列出当前目录下的文件和目录命令一、Linux中的文件“万物皆文件。”图1.1所有文件打开方式图形化界面左上角的位置→计算机，打开以后就可以看到Linux全部的文件了，与Windows最主要的区别是没有盘符。有些目录图标有向外的箭头，比如bin目录。这表示它并不是直接放在根目录下的，本质是一个文件夹的链接，类似于Windows里的
通大侠·2024-02-08 06:19

sqoop导入数据到hdfs

Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop
鲲鹏猿·2024-02-08 06:40

2024-02-07（Sqoop，Flume）

1.Sqoop的增量导入实际工作中，数据的导入很多时候只需要导入增量的数据，并不需要将表中的数据每次都全部导入到hive或者hdfs中，因为这样会造成数据重复问题。
陈xr·2024-02-08 06:35

小白水平理解面试经典题目LeetCode 71. Simplify Path【Stack类】

71.简化路径小白渣翻译给定一个字符串path，它是Unix风格文件系统中文件或目录的绝对路径（以斜杠‘/’开头），将其转换为简化的规范路径。
心安成长·2024-02-08 06:04

django的基本使用(一)

一、简介现在在实际的项目开中分为两种开发模式：1.前后端不分离在运维开发的岗位中，前后端是否分离完全取决于技术人的决策。
smile_pbb·2024-02-08 06:15

win10-忘记密码后用老毛桃去掉密码

把文件系统格式设置为下图一致的，如NTFS，然后不要勾选快速格式化。这样格式化会很慢，等一会儿。bug：快速格式化之后，初始化U盘时报错，制作时提示UD区分区失败。
陆沙·2024-02-08 05:55

LDM DATA PARTITION动态磁盘、MBR/GPT基本磁盘

文件系统显示为：LDMdatapartition"LDMdatapartition"表示LogicalDiskManager数据分区。
顺漆自然·2024-02-08 05:13

2023大数据必看面试题

1、请讲述HDFS输入文件的具体步骤？
东方同学·2024-02-08 05:38

『运维备忘录』之 Netstat 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他