运维大数据文件系统hadoop

Mysql运维篇（四） Xtarbackup--备份与恢复练习

一路走来，所有遇到的人，帮助过我的、伤害过我的都是朋友，没有一个是敌人。如有侵权，请留言，我及时删除！前言xtrabackup是Percona公司CTOVadim参与开发的一款基于InnoDB的在线热备工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式。xtrabackup的官方下载地址为http://www.percona.com/soft
董乐，快乐的乐！·2024-02-19 14:50

redis学习笔记

Redis学习笔记文章目录Redis学习笔记一、NoSQL数据库简介1、解决问题2、NoSQL数据库二、Redis6概述和安装1、安装2、注意事项3、Redis使用4、其他介绍三、常用五大数据类型1、Redis
果然君·2024-02-19 14:19

p11 结构体：统计大数据

结构体定义（Struct）是一种用户定义的数据类型，用于组合不同数据类型的元素。它们允许将多个相关的变量组合在一起，形成一个逻辑上的单元。可以通过定义结构体来描述一个实际问题中的对象或概念，从而更好地组织和管理代码。输入一个正整数n(3voidmain(){structem{charname[10];floatjbg;floatfdg;floatzc;};structememp[100];inti
Mzylq·2024-02-19 14:16

齐治堡垒机

二、漏洞挖掘过程这是我第一次接触运维堡垒机，通过堡垒机登录目标服务器/应用，就像在本地直接打开一样，觉得很神奇。1、挖掘过程首先，在安装齐治运维堡垒机客户端软件ShtermClie
pow(^_^,N)·2024-02-19 14:39

数据归档工具pt-archiver原理研究与使用

mysql除了社区版，还有percona、mariadb两个分支；其中percona是一家做mysql咨询的公司，除了开发了自己的mysql分支外，还开发了大量的mysql运维工具，统称perconatoolkit
sdmei·2024-02-19 14:08

MySQL-运维工具 pt-archiver数据归档工具

目录文章目录目录1.引言2.工具说明2.1使用方式2.2选项说明3.工作流程4.实例4.1表归档到表(逐行进行)4.2表归档到表(批量进行)4.2.1归档到当前实例，并删除数据4.2.2归档到远程实例，不删除数据4.3仅清除表数据4.4表自增字段处理5.总结1.引言2.工具说明2.1使用方式pt-archiver[OPTIONS]--sourceDSN--whereWHERE2.2选项说明选项说明
凡尘技术·2024-02-19 14:07

springboot声明（创建）RabbitMQ交换机和队列

但是在实际开发时，队列和交换机是程序员定义的，将来项目上线，又要交给运维去创建。那么程序员就需要把程序中运行的所有队列和交换机都写下来，交给运维。在这个过程中是很容易出现错误的。
程序员 Harry·2024-02-19 14:15

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Python脚本自动化运维网络设备

编写python程序，从配置脚本中读取对应的文件内容，使用ssh的方式将配置发送到设备并保存。配置脚本中存放你想要在每台设备上进行配置的命令importparamikoimporttimefromdevice_info_01import*#创建一个存放设备信息的文件，导入到此文件中foriteminrange(len(datebase)):#datebase是在device_info_01中创建的
胖_嘟_嘟·2024-02-19 13:13

Flink介绍

Stream）2.2转换（Transformation）2.3窗口（Window）2.4状态（State）3.编程模型3.1编程模型介绍3.2程序示例4.部署4.1集群架构4.2集群资源管理4.3部署模式5.运维
程序员白总·2024-02-19 13:41

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

2018-06-29

Linux文件系统EXT4的前世今生在GitHub上对编程语言与软件质量的一个大规模研究玩转Elasticsearch的SQL功能多层数据结构，一对多关系，如何用一个查询查询所有的数据？
baitu·2024-02-19 13:50

Python自动化运维实战：使用Python管理网络设备

现在，我们已经知道如何在不同的操作系统中使用和安装Python以及如何使用EVE-NG搭建网络拓扑。在本章中，我们将学习如何使用目前常用的网络自动化库自动完成各种网络任务。Python可以在不同的网络层上与网络设备进行交互。首先，Python可以通过套接字编程和socket模块操纵底层网络，从而为Python所在的操作系统和网络设备之间搭建一个低层次的网络接口。此外，Python模块还可以通过Te
江湖人称麻花滕·2024-02-19 13:41

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是
技术武器库·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

水杉在极狐GitLab 的 DevOps 实践

互相之间非常融洽，像什么老生常谈的开发和运维上的文化矛盾
·2024-02-19 13:11

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

菜鸟也崩了 分析分析原因+聊聊降本增笑

2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新：近年来，人工智能、大数据、物联网等技术在物流行业得到了广泛应用，有效提高了物流效率，降低了运营成本。例如，一些物流公司利用大数据进行
我才是真的封不觉·2024-02-19 13:34

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

python-自动化篇-运维-网络-IP

文章目录IP自我介绍IPy安装模块windowsLinuxIPy介绍支持大多数IP地址格式IPv4地址IPv6地址网络掩码和前缀派生网络地址将地址转换为字符串使用多个网络多网络计算方法IP自我介绍IP地址规划是网络设计中非常重要的一个环节，规划的好坏会直接影响路由协议算法的效率，包括网络性能、可扩展性等方面，在这个过程当中，免不了要计算大量的IP地址，包括网段、网络掩码、广播地址、子网数、IP类型
fo安方·2024-02-19 13:03

ansible自动化运维工具及常见模块的使用

目录一、ansible概述二、ansible的特性三、ansible环境安装部署管理端安装ansible：配置主机清单：配置密钥对验证：四、ansible常见模块的使用1．command模块2．shell模块3．cron模块4．user用户管理模块5．group用户组管理模块6．copy模块7．file设置文件属性模块8．hostname模块9．ping模块10．yum模块11．service/s
luochiying·2024-02-19 13:02

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

云计算实训室建设方案2024

唯众公司提供云计算、大数据、人工智能等创新技术，为院校、政府、企业培养人才提供优质教学资源、师资培养、专业共建和产教融合等服务。
武汉唯众智创·2024-02-19 13:00

云计算基础-快照与克隆

快照保存的是状态，备份保存的是副本)快照优点速度快，占用空间小快照工作原理在了解快照原理前，首先需要知道两个概念：索引/数据和差分盘索引和数据（indexnode/datablock）首先要了解，每一个文件系统都是有两部分组成的
比特微联·2024-02-19 13:28

云计算基础-存储基础

存储的特性：数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统：文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NANDFlash的固态硬盘
比特微联·2024-02-19 13:27

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

抖音为什么这么火

这种社交形态是以短音乐与短视频相结合的方式，而且它会根据大数据推荐当前最新最火的短视频给你看，第一时间抓住你的注意力，吸引你的眼球。从抖音的运营看，抖音成立于2016年9月，在探索蛰伏了
追宇·2024-02-19 13:57

linux卸载提示target is busy，使用fuser命令解决

filesystem或者sockets的进程信息参数-a：显示命令行中指定的所有文件；-k：杀死访问指定文件的所有进程；-i：杀死进程前需要用户进行确认；-l：列出所有已知信号名；-m：指定一个被加载的文件系统或一个被加载的块设备
无敌锅包肉·2024-02-19 13:14

【运维】永久关闭selinux不当，导致无法启动

现象:卡centosloading进度条按esc键发现,启动报错:FailedtoloadSElinuxpolicy,freezing可能的原因:selinux=disabled写错成disable或者错误的把selinuxtype改了，要改文中红框的部分。解决方案:1.重启2.出现选择画面的时候按e3.方向下键找到linux16这一行，在末尾添加上selinux=0，然后ctrl+x继续启动4.
虹梦未来·2024-02-19 13:10

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。
xcagy·2024-02-19 13:07

云原生之容器编排实践-在K8S集群中使用Registry2搭建私有镜像仓库

背景基于前面搭建的3节点Kubernetes集群，今天我们使用Registry2搭建私有镜像仓库，这在镜像安全性以及离线环境下运维等方面具有重要意义。
Heartsuit·2024-02-19 13:01

波奇学Linux:文件系统打开文件

从文件系统来看打开文件计算机系统和磁盘交互的大小是4kb物理内存的4kb，磁盘的4kb文件叫做页帧磁盘数据块的以4kb为单位。
社交达人波奇酱·2024-02-19 12:43

File类与IO流

文章目录计算机I/O体系常见的I/O设备计算机的存储体系软件方面认识OS+文件系统（FileSystem)统一管理文件File类1.1概述1.2判断功能的方法1.3创建删除文件\文件夹方法1.4目录的遍历
库里不会投三分·2024-02-19 12:09

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。
·2024-02-19 12:34

阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜

随着容器技术和服务在企业的应用程度不断加深，企业对于容器的使用也越来越多地从在线业务逐渐向AI、大数据类型的工作负载发展。
·2024-02-19 12:02

投票助力 | 第19届（2023）数智招标采购行业年度评选网络投票已开启！

评选组委会经过为期一个多月的奖项申报、初选等环节，本着客观、公正的评审原则，以必联网和隆道平台大数据为依据，从业务水平、项目业绩
隆道·2024-02-19 12:43

AWS 中的另外一种远程工具 AWS Session Manager

作者：SRE运维博客博客地址：https://www.cnsre.cn/文章地址：https://www.cnsre.cn/posts/230129126154/相关话题：https://www.cnsre.cn
SRE运维·2024-02-19 12:38

大数据提醒你：中国这些古建筑，可能是下一个巴黎圣母院！

2019独角兽企业重金招聘Python工程师标准>>>大家晚上好，我是今天的提笔人嗅嗅。巴黎圣母院失火事件让我的心情很沉重，一句无关痛痒的安慰“巴黎不哭”，已经不能表达我对这场文化之殇的惋惜之痛，人类伟大的建筑在一瞬间被毁灭。世界唯一的不变的就是变化，且我们永远赶不上变化的速度，因为做不到预知未来，或者说预测的不够精准。这句话在过去是完全适用的，受限于科技水平、数据缺失等各方面的因素，曾经的很长时
weixin_33696822·2024-02-19 12:06

JVM（4）原理篇

以基础篇的这段代码为例：Java中的8大数据类型在虚拟机中的实现：boolean、byte、char、short在栈上是不是存在空间浪费？
梵高Coding·2024-02-19 12:05

基于亚马逊云科技Amazon EC2云服务器设计并自动化实现堡垒机

背景在很多企业的实际应用场景中，特别是金融类的客户，大部分的应用都是部署在私有子网中，如何能够让客户的开发人员和运维人员从本地的数据中心中安全的访问云上资源，堡垒机是一个很好的选择。
一线视点·2024-02-19 12:53

基于 Amazon EC2 和 Amazon Systems Manager Session Manager 的堡垒机的设计和自动化实现

为了满足开发人员和运维团队从本地数据中心安全访问云上资源的需求，采用堡垒机作为一种有效的解决方案变得尤为重要。
陈橘又青·2024-02-19 12:46

「企业应用架构」应用程序架构的当前趋势

应用架构概述随着各种力量（云、移动、社交和大数据）的相互联系不断涌现，不利用这些力量的组织在未来将面临严重的业务劣势。
架构师研究会·2024-02-19 12:15

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他