Hadoop运维

运维系列&AI系列&Lenovo-G双系统系列（前传-装之前搜索的）：pytorch cuda安装报错的解决方法

pytorchcuda安装报错的解决方法pytorchcuda安装报错的解决方法前言2022.12.8在win+cuda11.8下安装最新PytorchGPU版时遇到包不兼容的问题，该文记录安装的整个流程一、按照cuda版本在官网找命令二、换源三、Bug描述四、解决方法五、查看是否使用GPU总结pytorchcuda安装报错的解决方法前言这篇文章主要给大家介绍了关于pytorchcuda安装报错的
坦笑&&life·2024-08-27 06:33

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c
大数据深度洞察·2024-08-27 05:58

SD-WAN降低网络运维难度的关键技术解析

为什么说SD-WAN（软件定义广域网）大大降低了网络运维的复杂性，主要是因为它的智能路径选择、应用识别和链路质量监测这三个核心技术。
TIANGEKUAJING·2024-08-27 00:32

Ansible模块

Ansible模块简介Ansible是自动化运维工具，能实现跨主机对应用编排管理部署。Ansible能批量配置、部署、管理上千台主机，是应用级别的跨主机编排工具。
l25803691121·2024-08-26 21:37

[服务器运维] gpu幽灵进程处理

参考资料https://jishuzhan.net/article/1789000218730041345https://blog.csdn.net/kybabcde/article/details/135238913这种情况通常是由于所谓的"僵尸进程"引起的。僵尸进程是指那些已经完成任务但没有正确关闭的进程，它们可能因为各种原因未能释放占用的GPU资源。这会导致资源浪费，并且阻碍其他任务的执行。
PigeonGuan·2024-08-26 18:38

zookeeper+KAFKA 集群搭建

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
懵逼的运维弟弟·2024-08-26 16:28

（十五）Flink 内存管理机制

在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于JVM运行，但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题，主要是因为创建大量的实例，超过JVM
springk·2024-08-26 16:27

面试笔记8.24

正确答案：在我的项目中涉及大数据开发时，我通常会采用分布式的架构，比如使用Hadoop或者Spark等大数据处理框架。我会在集群中部署多台服务器，通过分布式计算和存储来处理大规模数据。
励志秃头码代码·2024-08-26 16:55

在linux机器中安装配置hadoop

1.首先我们要把hadoop包上传到我们的liunx机器中（运用外链软件上传如：Xshell+xftp）（用我们的外链软件连接成功后，进行hadoop包的上传）上传到我们想要的目录路径下，比如我的是上传到
BigData_C·2024-08-26 14:40

计算机毕业设计Hadoop+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能

开发技术前端：vue.js、element-ui、echarts后端：springboot、mybatis大数据：spark、hadoop数据库：mysql关系型数据库、neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大全·2024-08-26 13:43

Kylin系列-入门

Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，以支持超大规模数据。
Dingdangr·2024-08-26 13:34

通过visualVM远程监控java进程

它提供了丰富的功能来帮助开发者和运维人员理解和优化Java应用程序的性能。
PursuitK·2024-08-26 11:23

Mac Hadoop Yarn日志聚合出错

MacHadoopYarn日志聚合出错通过日志查看出现了下面的错误：java.lang.IllegalStateException:CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.hadoop.io.file.tfile.TFile
HHoao·2024-08-26 10:15

linux运维一天一个shell命令之tcpdump详解

一、tcpdump的概念tcpdump是一个数据包捕获工具，能够拦截和显示通过网络接口的数据包。它可以实时捕获数据包，也可以将捕获的数据保存到文件中以便后续分析。tcpdump支持基于多种条件（如IP地址、端口号、协议等）来捕获特定的数据包。二、主要功能和特点1.数据包捕获：tcpdump可以捕获通过指定网络接口的数据包，这些数据包包括以太网帧、IP数据包、TCP/UDP数据包等。2.实时分析：捕
在产线打螺丝·2024-08-26 08:35

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop
毕设木哥·2024-08-26 06:26

如何进行有效的故障复盘（1）

故障复盘是对故障的发生、发现、解决的全过程复演，找出故障的根因，系统性的分析设计研发测试过程、运维流程手段、故障处理及恢复过程的不足，从管理、技术、业务、执行各个角度，深入进行优化，列出解决措施，最大程度的避免故障的再次发生
能得·2024-08-26 06:01

设备运维故障排查与修复技巧

运维中最常见的40个故障问题及其解决方法：1.网络不通问题：无法访问网络资源。解决方法：检查物理线路、交换机端口、网卡驱动和配置，使用ping、traceroute等工具定位问题。
一去二三里...·2024-08-26 05:46

Jmeter性能分析及调优详解（入门）

一、系统性能理解如果说需求、开发、DB、运维、测试是单一一门学科，那么性能就是综合学科，它包含了需求分析、DB、开发、测试、运维的所有学科。
追求测试的光·2024-08-26 02:27

Oracle管理运维

目录一、表空间管理1、oracle创建表空间及给用户授予权限2、删除表空间及数据文件权限管理导入导出一、表空间管理1、oracle创建表空间及给用户授予权限登录--登录sqlplussys/密码assysdbasqlplussysassysdbaorcl.xxxx.comsqlplussystem/orcl.xxxx.test创建表空间：#永久表空间createtablespaceltkj_mem
令狐少侠2011·2024-08-26 02:26

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。
xytlwp·2024-08-25 21:27

Linux之简易shell脚本的编写

shell的使用shell脚本是Linux系统运维时必不可少的一个技能脚本的实质就是将需要执行的命令封装在一个文件内给其赋予执行权限或者使用bash或sh等解释器来执行。
小橞·2024-08-25 18:40

Tair分布式缓存

为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
kingkyrie·2024-08-25 18:38

63 - ES 诊断集群的潜在问题

集群运维所面临的挑战用户集群数量多，业务场景差异大使用与配置不当，优化不够如何让用户更加高效和正确的使用ES如何让用户更全面的了解自己的集群的使用状况发现问题之后，需要防患于未然需要“有迹可循”，做到“
舍是境界·2024-08-25 16:36

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.Hadoop基本命令1.1查看版本信息hadoopversion用于检查Hadoop的版本信息以及编译信息。
william.zhang(张)·2024-08-25 15:52

Kubernetes进阶之应用与持久化数据卷备份迁移实践

设置Minio服务器0x02备份迁移实践1.官方示例2.实战容灾恢复0x0n入坑出坑1.采用Velero1.6.2提供得官方资源清单部署后从无法访问MINIOWeb-UI管理界面0x00前言简述引言在运维安全管理中容灾备份是非常重要的一环
全栈工程师修炼指南·2024-08-25 15:50

mysql-connector-java与mysql、jdk的对应版本

【腾讯云】腾讯云数据库性能卓越稳定可靠，为您解决数据库运维难题云数据库购买页mysql-connector-java与Mysql对应版本：Connector/JversionDriverTypeJDBCversionMySQLServerversionStatus5.143.0,4.0,4.1,4.25.6
网厓Malico·2024-08-25 12:36

Zabbix跨版本升级指南，4.2-6.0

【作者】武玉森，就职于国内某城商行，从事运维框架及智能监控等方面工作，对操作系统、开源监控等方面具有丰富的实践经验。
Zabbix_China·2024-08-25 12:35

使用PowerShell自动化Windows系统管理任务

、PowerShell基础1、基础语法2、实战案例：自动化文件备份三、高级功能1、模块化管理2、远程管理3、与其他工具集成四、总结使用PowerShell自动化Windows系统管理任务一、引言在IT运维领域
eqa11·2024-08-25 10:53

分布式系统架构手册

ArchManual分布式系统架构手册项目介绍ArchManual不是：某个技术架构的深度剖析某个技术框架的源码分析某个技术工具的安装运维某个技术类库的代码示例而是：常用分布式技术的总体概览常用技术主题的归纳总结常用技术框架的归类罗列常用技术架构的简单分享希望成为
ArchManual·2024-08-25 08:36

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop
william.zhang(张)·2024-08-25 06:57

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十二）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-25 05:20

【mysql】mysql之数据操作语言（insert、delete、update）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-25 05:20

Rocky Linux 运维工具 firewall-cmd

一、firewall-cmd的简介firewall-cmd是基于firewalld的防火墙管理工具。用户可以使用它来配置、监控和管理防火墙规则，包括开放端口、设置服务规则等。二、firewall-cmd的参数说明序号参数描述1–zone指定防火墙区域2–add-port=xxx/tcp允许特定TCP端口通过防火墙3–remove-port=xxx/tcp移除已允许通过防火墙的TCP端口。三、fir
奶嘴很忙·2024-08-25 04:40

Rocky Linux 运维工具 vim

一、vim的简介vim是一种文本编辑器。它提供了丰富的编辑功能，包括插入、删除、替换文本、搜索和查找等。使用键盘命令和模式切换，以实现高效的文本编辑操作。二、vim的参数说明序号视图命令描述1命令视图i在当前光标位置进入‘INSERT视图’2命令视图:wq+回车保存并退出3命令视图:q+回车仅退出4命令视图:q!+回车强制退出5命令视图:w+回车仅保存6命令视图:setnu+回车显示行号7INSE
奶嘴很忙·2024-08-25 04:10

【大模型从入门到精通39】LLM部署运维（LLM Ops）使用Kubeflow Pipelines掌握LLM工作流1

使用KubeflowPipelines掌握LLM工作流在本节中，我们将深入探讨如何使用KubeflowPipelines来编排和自动化机器学习工作流。KubeflowPipelines是一个开源框架，旨在简化机器学习管道的构建和管理。这款强大的工具使数据科学家、机器学习工程师和开发者能够高效地定义、部署和管理复杂的流水线。设置KubeflowPipelines首先，我们需要从KubeflowPip
水木流年追梦·2024-08-25 03:08

招聘｜头部云厂商招 PG 核心骨干 DBA【上海】

Bytebase作为先进的数据库DevOps团队协同工具，用户群里汇聚了业界优秀的DBA，SRE，运维的同学们。上周用户群里有小伙伴发招聘信息，获得了不少！于是，我们决定召唤回此前搁置的招聘专区！
Bytebase·2024-08-25 01:25

Ubuntu下部署Hadoop集群+Hive（一）

配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01
岩屿·2024-08-24 17:41

小白的OS Copilot 产品测评

开发、运维、学生？如果使用OSCopilot，您的使用场景是什么？作为运维，使用OSCopilot的场景可能包括：自动化日常任务、故障排查、系统配置和管理、编写和维护脚本等。
梦難·2024-08-24 16:34

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

基于Hadoop的海量图像检索

基于Hadoop的海量图像检索“MassiveImageRetrievalBasedonHadoop:AStudyinSoftwareEngineering”完整下载链接:基于Hadoop的海量图像检索文章目录基于
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

【国产开源可视化引擎】Meta2d.js简介

具有实时监控、多样、变化、动态交互、高效、可扩展、支持自动算法、跨平台等特点，最大程度减少研发和运维的成本，并致力于普通业务人员0代码开发实现物联网、工业互联网、电力能源、水利工程、智慧农业、智慧医疗
乐吾乐科技·2024-08-24 11:33

云计算day27

⽤shell脚本来管理少量服务器效率还⾏,服务器多了之后,shell脚本⽆法实现⾼效率运维。这种情况下，我们需要引⼊⾃动化运维⼯具,对多台服务器实现⾼效运维。
巭氼·2024-08-24 07:36

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十五）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-24 07:02

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-24 07:32

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（六）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-24 07:32

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（七）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-24 07:32

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（一）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-08-24 07:02

Kylin的工作原理及使用分享

Kylin提供了一个Hadoop之上的SQL查询接口及多维分析(OLAP)能力，能够支持大规模数据，处理TB乃至PB级别的分析任务，并且能够在亚秒级查询巨大的Hive表。
丁爸·2024-08-24 07:01
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他