hadoop运维

Kubernetes (K8S) 高效使用技巧与实践指南

本文结合实战经验，从运维效率提升、生产环境避坑、核心功能应用等维度，总结高频使用技巧与最佳实践，分享如何快速掌握K8S。
挣扎与觉醒中的技术人·2025-02-26 17:23

docker-compose -volumes 两种不同定义方式

学习docker-compose部署hadoop集群、看到docker-compose一种不同volumes定义方式version:"3"services:namenode:image:bde2020/
胖胖胖胖胖虎·2025-02-26 14:34

202年寒假充电计划——自学手册 网络安全（黑客技术）

前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
网安康sir·2025-02-26 14:28

初识hadoop

关于hadoop的写入（存入）nn里面维护了一份元数据。
西门吹水之城·2025-02-26 12:45

用云平台资源每月免费额度搭建博客，一年账单竟是 $0！

尽可能少的运维——不想每天盯着服务器是否宕机，能无忧无虑地运行就好。快速响应——不希望读者打开网页时，等上好几秒。就在这个时候，我无意间发现了AWSLambda的每月免费额度。
fxrz12·2025-02-26 11:41

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。
python资深爱好者·2025-02-26 11:38

Hadoop 基础原理

Hadoop基础原理基本介绍Hadoop的必要性Hadoop核心组件Hadoop生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce
disgare·2025-02-26 11:38

Docker 的安全配置与优化（一）

引言在当今快速发展的云计算和DevOps时代，Docker作为容器化技术的佼佼者，已经成为现代开发和运维的基石。
计算机毕设定制辅导-无忧学长·2025-02-26 10:02

OA流程设计以及常见错误总结

结合近十年的OA系统的开发运维，使用过国内泛微OA、致远OA并参与过开发，总结以下内容:2、OA系统项目核心：企业需要梳理自身组织架构，清晰划分各部门管理权责，每个部门只能有唯一一个负责领导，不能一个部
OA系统交流·2025-02-26 09:28

防漏电保护，塔能物联运维为城市照明安全“上锁”

而塔能物联运维平台的出现，为城市照明安全带来了全新的解决方案，为城市照明系统牢牢地“上”了一把安全之“锁”。城市照明系统由于其分布广泛、环境复杂等特点，容易出现各种漏电隐患。
塔能物联运维·2025-02-26 06:06

天 锐 蓝盾终端安全管理系统：办公U盘拷贝使用管控限制

它实现了管理的标准化，有效破解终端安全管理难题，显著提升了信息运维部门的工作效率，同时，也进一步规范了员工的操作行为，确保每一步操作都合规有序。
Tipray2006·2025-02-26 06:05

网络运维学习笔记 017 HCIA-Datacom综合实验01

文章目录综合实验1实验需求总部特性分支8分支9配置一、基本配置（IP+二层VLAN+链路聚合）ACC_SWSW-S1SW-S2SW-Ser1SW-CoreSW8SW9DHCPISPGW二、单臂路由GW三、vlanifSW8SW9四、OSPFSW8SW9GW五、DHCPDHCPGW六、NAT+缺省路由GW七、HTTPGW综合实验1实验需求总部1.除了SW8和SW9是三层交换机，其他交换机均为二层交换
技术小齐·2025-02-26 06:29

网络运维学习笔记（DeepSeek优化版）004网工初级（HCIA-Datacom与CCNA-EI）Console管理台使用、登录认证、破解恢复密码

文章目录Console管理台使用、登录认证、破解恢复密码一、Console管理台使用和登录认证1.1思科设备配置1.1.1基本配置流程1.1.2验证配置1.2华为设备配置1.2.1本地密码认证1.2.2AAA认证配置二、远程管理协议Telnet和SSH配置2.1思科Telnet基本配置2.2华为Telnet基本配置telnet配置之aaa相关配置ssh配置之aaa相关配置三、FTP文件传输3.1思
技术小齐·2025-02-26 06:29

网络运维学习笔记 013网工初级（HCIA-Datacom与CCNA-EI）DHCP动态主机配置协议（此处只讲华为）

文章目录DHCP（DynamicHostConfigurationProtocol，动态主机配置协议）网关配置DHCP服务器配置如果没有DHCP服务器，只在网关上做DHCP服务器：DHCP（DynamicHostConfigurationProtocol，动态主机配置协议）依据地址池自动分配IP地址，减少工作量，避免地址冲突。DHCP报文类型1.DHCPDISCOVER客户端寻找DHCP服务器（广
技术小齐·2025-02-26 06:29

荔枝混合云网络实践：技术创新与未来展望

在云计算领域，荔枝集团通过其运维总监熊振的领导，专注于IaaS建设、SDN和全球化混合云网络架构设计，展现了其在技术创新上的深厚实力。
ITPUB-微风·2025-02-26 04:49

MySQL 数据库作发布系统的存储，一天五万条以上的增量， 预 计运维三年,怎么优化？思维导图 代码示例（java 架构)

对于一个每天有五万条以上增量、预计运维三年的MySQL发布系统，优化和规划是非常重要的。这不仅涉及到数据库本身的性能优化，还包括架构设计、硬件选择、监控与维护等多个方面。
用心去追梦·2025-02-25 23:46

塔能科技构建智慧隧道生态系统——城市升级改造的协同创新典范

在运维阶段，借助物联网技术，实现对隧道内各种设备，如照明系统、通风系统、消防系统等的远程监控与自动维护提醒。交通管理也是智慧隧道生态系统的重要组成部
塔能物联运维·2025-02-25 21:00

架构的演进

作者|许晓斌阿里云高级技术专家传统单体应用架构十多年前主流的应用架构都是单体应用，部署形式就是一台服务器加一个数据库，在这种架构下，运维人员会小心翼翼地维护这台服务器，以保证服务的可用性。
阿里云云原生·2025-02-25 21:00

Spark集群架构介绍

据SparkCertifiedExperts显示，在内存中运行时，Sparks性能要比Hadoop快一百倍，在磁盘上运行，Sparks比Hadoop快达十倍。
olifchou·2025-02-25 20:23

Spark Standalone集群架构

北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器，clustermanager：Master进程，工作节点：Worker进程搭建了一套Hadoop
htfenght·2025-02-25 20:22

运维实践 | 使用K3S之快速搭建精简版本K8S集群环境，助力开发测试环境!

涉及网络安全运维、应用开发、物联网IOT、学习路径、个人感悟等知识“花开堪折直须折，莫待无花空折枝。”
全栈工程师修炼指南·2025-02-25 19:17

Hadoop--NameSpace（名称空间）

1.名称空间的定义  HDFS的名称空间是一个逻辑上的文件系统目录树，类似于传统文件系统的目录结构。组成目录：用于组织文件的逻辑容器。文件：存储在HDFS中的实际数据单元。元数据：包括文件名、权限、所有者、文件大小、创建时间、修改时间等信息。2.名称空间的作用名称空间的主要作用是：组织文件通过目录树的形式组织文件，方便用户管理和访问。维护元数据记录文件和目录的元数据信息（如权限、所有者、大小等）。
Cynthiaaaaalxy·2025-02-25 18:42

数据安全_笔记系列04：数据访问控制中的“三权分立”机制详解

系统管理员负责系统的日常运维，比如安装软件、维护硬件等，但不应该拥有访问敏感数据的权限。安全管理员负责制定和执行安全策略，比如权限分配、访问控制列表的管理，但他们不进行日常维护。
宁宁可可·2025-02-25 16:30

spark程序提交到集群上_Spark集群模式&Spark程序提交

ApacheMesos—通用的集群管理，可以在其上运行HadoopMapReduce和一些服务应用。HadoopYARN—Hadoop2中的资源管理器。
毫无特色·2025-02-25 16:25

开源分布式存储系统在云原生数据库领域的实践与应用

一、Curve项目介绍Curve项目致力于打造一个云原生、高性能、稳定且易运维的开源分布式存储系统。它支持私有云、公有云和混合云上的部署，兼容CSI插件，并支持容器化部署和Kubernetes集成。
ITPUB-微风·2025-02-25 08:33

Hadoop--Secondary NameNode工作机制，作用及与NameNode HA的区别

  SecondaryNameNode主要用于辅助NameNode进行元数据的管理和检查点（Checkpoint）的生成。1.SecondaryNameNode的工作机制详解SecondaryNameNode的工作机制可以分为以下步骤：①SecondaryNameNode询问NameNode是否需要CheckpointSecondaryNameNode会定期（由dfs.namenode.check
Cynthiaaaaalxy·2025-02-25 08:32

免费 MLOps 课程：学习机器学习运维的完整流程

掌握MLOps：训练和跟踪实验、构建ML流水线、模型部署、生产环境监控，并从DevOps采用最佳实践。免费MLOps课程概览（DataTalks.Club提供）课程平台：DataTalks.Club适合人群：有一定Python和ML经验的开发者重点内容：模型训练、实验跟踪、流水线构建、模型部署、监控和DevOps最佳实践目录什么是MLOps？为什么需要MLOps？MLOpsZoomcamp课程介绍
真智AI·2025-02-25 05:11

Hadoop之jdk的安装

【实验目的】1.安装配置JDK1.五台独立PC机或虚拟机主机之间有有效的网络连接2.每台主机内存2G以上，磁盘剩余空间500M以上所有主机上已安装CentOS7.4操作系统3.所有主机已完成网络属性配置1.卸载原有JDK该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次，发现没有，不必卸载因为我的查看没有jdk，所以不需要卸载原有的，只需直接安装即可。2.安装此项的所有操作步
快来削我吖·2025-02-25 01:11

数据中心虚拟化与高可用性架构实施指南

本项目旨在详细描述运维人员在实施数据中心虚拟化和高可用性架构过程中的关键步骤和任务。
伟大无须多言·2025-02-24 23:22

python 使用WinRM连接远程windows

WindowsRemoteManagement的简称，相比RDP远程桌面协议，WinRM这种服务更具备轻量、低宽带的特性，WinRM与WinRS（WindowsRemoteShell）的使用可以让远程连接的运维人员拥有
Red丶哞·2025-02-24 14:26

Hadoop HDFS基准测试

一、测试写入速度确保HDFS集群和YARN集群成功启动hadoopjar/export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient
Yvonne978·2025-02-24 14:22

自动化运维工具ansible实战

什么ansibleansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能
元气满满的热码式·2025-02-24 14:49

jmeter 与大数据生态圈中的服务进行集成

以下为你详细介绍JMeter与大数据生态圈中几种常见服务（HadoopHDFS、Spark、Kafka、Elasticsearch）集成的方法：与HadoopHDFS集成实现思路HDFS是Hadoop的分布式文件系统
小赖同学啊·2025-02-24 13:40

数据质量管理工具（Trifacta Wrangler）

2015年10月：正式推出TrifactaWrangler，让非技术用户也能通过直观的可视化工作流程来探索、转换和丰富数据，同时其旗舰产品、专注于Hadoop的Trifacta数据处理解决方案更名为TrifactaWranglerEnterprise
deepdata_cn·2025-02-24 09:46

Hadoop常用操作命令

启动HDFSsbin/start-dfs.sh启动yarnsbin/start-yarn.sh启动NodeManageryarn-daemon.shstartnodemanager启动DataNodehadoop-daemon.shstartdatanode
hzw0510·2025-02-24 07:02

亚马逊云科技MySQL托管服务：Amazon RDS for MySQL的技术优势与成本优化实践

然而，自建MySQL数据库的复杂性、运维成本高企、扩展性不足等问题，始终是开发者与企业的痛点。
AWS官方合作商·2025-02-24 07:01

豪越消防一体化安全管控平台新亮点： AI功能、智能运维以及消防处置知识库

在当今社会，随着科技的飞速发展，消防安全已不再局限于传统的物理防范措施，而是步入了智能化、一体化的全新时代。豪越科技，作为消防安全管理领域的先行者，凭借其创新技术和深厚经验，推出了消防一体化安全管控平台，该平台集成了多项前沿功能，旨在为重点单位提供全方位、智能化的消防安全管理解决方案。豪越消防一体化安全管控平台，是集智慧消防营区综合管理于一体的创新解决方案。平台通过统一应用、数据互通与智慧物联，实
豪越·2025-02-24 07:00

linux运维笔记：Linux文件系统

linux运维笔记：Linux文件系统1-文件系统知识分区就是给房子打隔断，常见文件系统就是装修2-文件系统的作用文件系统决定文件在磁盘上是怎么存放的3-分区与文件系统的关系我们通过fdisk命令对一个磁盘进行分区以后
好知识传播者·2025-02-24 06:20

【Python爬虫(45)】Python爬虫新境界：分布式与大数据框架的融合之旅

目录一、大数据处理框架初印象1.1Hadoop：大数据处理的基石1.2
奔跑吧邓邓子·2025-02-24 05:18

ansible面试题

Ansible是一款极其简单的开源的自动化运维工具，基于Python开发，集合了众多运维工具(puppet,cfengine,chef,func,fabric)的优点。
三颗草丶·2025-02-24 05:14

网络安全（黑客）——自学手册2024

一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
小言同学喜欢挖漏洞·2025-02-24 02:56

网络安全（黑客）——自学2025

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维
网安大师兄·2025-02-24 02:54

网络安全（黑客）——自学2025

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维
网安大师兄·2025-02-24 02:54

网络安全（黑客）——自学2025

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维
网安大师兄·2025-02-24 02:54

分库分表全解析：从原理到实战，破解亿级数据存储难题

维护困难：备份、恢复等运维操作耗时增加，影响业务连续性。典型问题场景：电商订单表日增百万数据，单表无法支撑。用户行为日志表年增数十TB，存储成本飙升。实时风控系统要求毫秒级响应，传统架构难以满足。
没什么技术·2025-02-24 01:20

DeepSeek 与后端开发：AI 赋能云端架构与智能化服务

本文将深入探讨DeepSeek在后端开发中的应用，包括智能API生成、数据库优化、自动化运维、
一ge科研小菜菜·2025-02-24 00:15

hive运维

showlocks;查看锁unlocktable表名;释放锁发现释放不了锁，执行下面sethive.support.concurrency=false;sethive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager
花泽啸·2025-02-23 23:04

【Hive】学习路线：架构、运维、Hsql实战、源码分析

文章目录一.Hive基础学习1.基础知识2.安装与配置3.数据存储与表结构二.hive运维三.Hive实战1.HiveSQL基础2.高级查询与数据分析3.数据存储优化4.性能调优四.Hive源码分析一.
roman_日积跬步-终至千里·2025-02-23 22:25

MySql数据库运维学习笔记

数据库运维常识DQL、DML、DCL和DDL是SQL（结构化查询语言）中的四个重要类别，它们分别用于不同类型的数据库操作，下面为你简单明了地解释这四类语句：1.DQL（数据查询语言，DataQueryLanguage
像linux的企鹅·2025-02-23 21:54

逆微服务潮流？基于腾讯 tRPC-Go 单体化改造怎么节省上万核 CPU

微服务一直以来是服务治理的基本盘之一，落地到云原生上，往往是每个K8spods部署一个服务，独立迭代、独立运维。但是在快速部署的时候，有时候，我们可能需要一些宏服务的优势。
·2025-02-23 21:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他