大数据云原生运维

MySQL定时备份并清理

日常运维会遇到数据库备份的场景或情况，使用以下脚本解决数据库备份问题建议在没有备份场景下也做好数据备份#!
Guozr7·2024-02-19 18:27

遂人心愿真难

不管什么定理，都是人的习惯造成的，利用大数据大概率去推理得出的结论。所有的顺心都是天时地利人和共同组合在一起形成的一种规律，具体到人就各有差距不一而衷。
岁月抚痕·2024-02-19 18:49

学习笔记：云原生容器化技术——Docker

Docker学习笔记前言一、Docker概述1.1Docker为什么会出现？1.2Docker的历史1.3Docker为什么这么火爆？1.4虚拟机技术与容器化技术的区别二、Docker安装2.1Docker的基本组成2.2Docker安装2.3阿里云镜像加速2.4dockerrun的执行流程2.5Docker工作原理三、Docker命令3.1镜像命令3.2容器命令3.3其他常用命令3.4小结3.5
自传丶·2024-02-19 18:19

【云原生】Docker-compose单机容器集群编排

内容预知1.Compose的相关知识1.Compose的相关概念2.为何需要docker-composedocker镜像管理的问题DockerCompose的解决方案3.Compose的特征2.Docker-compose的安装3.Compose配置常用字段和YAML文件编写3.1YAML文件格式及编写注意事项（1）YAML序列（2）YAML映射(3)序列的映射（4）映射的映射（5）序列的序列（6
站在这别动，我去给你买橘子·2024-02-19 18:49

云原生系列 四【轻松入门容器基础操作】

✅作者简介：CSDN内容合伙人，全栈领域新星创作者，阿里云专家博主，华为云云享专家博主，掘金后端评审团成员前言：最近云原生领域热火朝天，那么云原生是什么？何为云原生？云原生用来干什么的？
叶秋学长·2024-02-19 18:17

云原生容器化-1 Linux虚拟网络介绍2—netfilter/iptables框架

背景：承接上文云原生容器化-1Linux虚拟网络介绍，本文以netfilter/iptables框架内容为主题，介绍框架原理和实践操作；由于后续介绍的Docker网络原理不涉及MAC层，因此本文内容聚焦在
Ewen Seong·2024-02-19 18:43

BIG DATA —— 大数据时代

大数据时代[英]维克托·迈尔—舍恩伯格肯尼斯·库克耶◎著盛杨燕周涛◎译《大数据时代》是国外大数据研究的先河之作，本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”，他在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活
EthanWYC601·2024-02-19 18:12

云原生容器化-5 Docker常见操作命令

1.登录和退出docker仓库使用dockerlogin和dockerlogout分别用于登录和退出docker仓库。#登录时携带用户名、密码、仓库地址信息[email protected]:8000dockerlogin--usernameseong--password3er4#ER$192.168.0.22:8000#
Ewen Seong·2024-02-19 18:08

故障分析| Redis 故障诊断及常用运维命令—内存篇

作者：任仲禹爱可生DBA团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文目录：背景Redis内存消耗划分内存OOM会导致哪些问题？排查思路是否数据量太大？是否客户端输入缓冲区有问题？是否复制积压缓冲区有问题？是否客户端输出缓冲区有问题？实用命令模拟Redis压力相关命令常⽤Re
爱可生开源社区·2024-02-19 17:57

挑战杯 地铁大数据客流分析系统 设计与实现

文章目录1前言1.1实现目的2数据集2.2数据集概况2.3数据字段3实现效果3.1地铁数据整体概况3.2平均指标3.3地铁2018年9月开通运营的线路3.4客流量相关统计3.4.1线路客流量排行3.4.2站点客流量排行3.4.3入站客流排行3.4.4整体客流随时间变化趋势3.4.5不同线路客流随时间变化3.4.6不同线路的客流组成3.5收入消费指标统计3.5.1线路收入排行3.5.2各个站点对线路
laafeer·2024-02-19 16:41

中文语音标注工具FunASR（语音识别）

FunASR作用:能【准确】识别语音，并转成【文字、标出声调】他的原理，就不讲了，俺是搞大数据的，python这东西就勉强能写个爬虫和接口，机
我要用代码向我喜欢的女孩表白·2024-02-19 16:52

见世面的成本有多低？这几个技术公众号告诉你答案

大数据分析挖掘和Python机器学习商业智能BI、数据分析、数据挖掘、大数据、Python、机器学习、深度学习、算法等技术分享
傅一平·2024-02-19 16:19

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
DolphinScheduler社区·2024-02-19 16:16

基于HTML5的智慧机房三维可视化运维云平台

随着东数西算工程落地和新型算力网络体系构建，数据中心建设规模和业务总量不断增长，机房管理规模持续增长、网络复杂度不断加大、资源频繁变更迭代、能源成本日益增加，加上双碳目标的提出，如何通过智能化手段实现节能、运维能力升级成为行业发展共识
·2024-02-19 16:07

低代码配置式组态软件-BY组态

随着物联网、大数据等技术高速发展，我们逐步向数字化、可视化的人工智能（AI）时代的方向不断迈进。智能时代是工业4.0时代，我国工业领域正努力从“制造”迈向“智造”的新跨越。什么是组态软件？
·2024-02-19 16:04

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

营销系统黑名单优化：位图的应用解析 | 京东云技术团队

营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名单同样也是通过CDP维护。
·2024-02-19 16:59

基于Spring Cloud创建弹性微服务

这正是SpringCloud的登场时机：一个全面的框架，用于构建云原生应用程序。2SpringCloud简介SpringCloud
虚无火星车·2024-02-19 16:01

Docker介绍

开发人员能利用docker开发和运行应用程序运维人员能利用docker部署和管理应用程序Docker的主要特点包括：环境一致性：Docker可以确保开发、测试和生产环境的一致性，解决了传统开发过程中的环境差异问题
小森( ﹡ˆoˆ﹡ )·2024-02-19 16:30

作物模型狂奔：Apsim、Wofost、Dssat

大数据量必须要脚本去跑，目前Apsim和Wofost出了点成果，跟大家分享一下。欢迎各位道友留言、私聊、交流病情最好到B站上去留言啦，CSDN平很少登录需要指导的话，那就得让我挣点零花咯，嘿嘿。
F_Dregs·2024-02-19 15:47

『运维备忘录』之 Zip 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 SSH 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等知识，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 APT 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 Ln 链接命令详解

运维人员不仅要熟悉操作系统、服务器、网络等知识，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:16

JeecgBoot集成TiDB，打造高效可靠的数据存储解决方案

同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库
·2024-02-19 15:56

从 13 个企业关心的问题看懂用云范式的改变

今天，容器和K8s已经成为应用研发运维的新标准，行业调研数据显示，2022年有64%的最终用户在生产环境中使用了K8s；2022年托管在云上的K8s集群增速达到了127%。
·2024-02-19 15:44

Pytorch-SGD算法解析

的个人空间-肆十二-个人主页-哔哩哔哩视频(bilibili.com)SGD，即随机梯度下降（StochasticGradientDescent），是机器学习中用于优化目标函数的迭代方法，特别是在处理大数据集和在线学习场景中
肆十二·2024-02-19 14:10

奇葩说第五季之你会去见大数据为你筛选出的最合适的人吗？

欧阳Sir被淘汰，如晶战队又输了。其实这期辩题反方是理想，正方是现实。所以奇葩说的观众那么有梦想，心里存着诗和远方，一定会选择反方。我也会的，但是我会经过正方的步骤再从心里走到反方去。虽然我选择反方，但我希望正方可以赢，我希望如晶赢，她在我心里就是无冕之王。而且，非常喜欢欧Sir，就像高晓松说的，他身上有种特别好的现代的荒诞感，一见他就高兴。他走了，真得舍不得。他不是个好辩手，可能都不太适合这个舞
昆仑君的猫·2024-02-19 14:18

Mysql运维篇（四） Xtarbackup--备份与恢复练习

一路走来，所有遇到的人，帮助过我的、伤害过我的都是朋友，没有一个是敌人。如有侵权，请留言，我及时删除！前言xtrabackup是Percona公司CTOVadim参与开发的一款基于InnoDB的在线热备工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式。xtrabackup的官方下载地址为http://www.percona.com/soft
董乐，快乐的乐！·2024-02-19 14:50

redis学习笔记

Redis学习笔记文章目录Redis学习笔记一、NoSQL数据库简介1、解决问题2、NoSQL数据库二、Redis6概述和安装1、安装2、注意事项3、Redis使用4、其他介绍三、常用五大数据类型1、Redis
果然君·2024-02-19 14:19

p11 结构体：统计大数据

结构体定义（Struct）是一种用户定义的数据类型，用于组合不同数据类型的元素。它们允许将多个相关的变量组合在一起，形成一个逻辑上的单元。可以通过定义结构体来描述一个实际问题中的对象或概念，从而更好地组织和管理代码。输入一个正整数n(3voidmain(){structem{charname[10];floatjbg;floatfdg;floatzc;};structememp[100];inti
Mzylq·2024-02-19 14:16

齐治堡垒机

二、漏洞挖掘过程这是我第一次接触运维堡垒机，通过堡垒机登录目标服务器/应用，就像在本地直接打开一样，觉得很神奇。1、挖掘过程首先，在安装齐治运维堡垒机客户端软件ShtermClie
pow(^_^,N)·2024-02-19 14:39

数据归档工具pt-archiver原理研究与使用

mysql除了社区版，还有percona、mariadb两个分支；其中percona是一家做mysql咨询的公司，除了开发了自己的mysql分支外，还开发了大量的mysql运维工具，统称perconatoolkit
sdmei·2024-02-19 14:08

MySQL-运维工具 pt-archiver数据归档工具

目录文章目录目录1.引言2.工具说明2.1使用方式2.2选项说明3.工作流程4.实例4.1表归档到表(逐行进行)4.2表归档到表(批量进行)4.2.1归档到当前实例，并删除数据4.2.2归档到远程实例，不删除数据4.3仅清除表数据4.4表自增字段处理5.总结1.引言2.工具说明2.1使用方式pt-archiver[OPTIONS]--sourceDSN--whereWHERE2.2选项说明选项说明
凡尘技术·2024-02-19 14:07

springboot声明（创建）RabbitMQ交换机和队列

但是在实际开发时，队列和交换机是程序员定义的，将来项目上线，又要交给运维去创建。那么程序员就需要把程序中运行的所有队列和交换机都写下来，交给运维。在这个过程中是很容易出现错误的。
程序员 Harry·2024-02-19 14:15

Python脚本自动化运维网络设备

编写python程序，从配置脚本中读取对应的文件内容，使用ssh的方式将配置发送到设备并保存。配置脚本中存放你想要在每台设备上进行配置的命令importparamikoimporttimefromdevice_info_01import*#创建一个存放设备信息的文件，导入到此文件中foriteminrange(len(datebase)):#datebase是在device_info_01中创建的
胖_嘟_嘟·2024-02-19 13:13

Flink介绍

Stream）2.2转换（Transformation）2.3窗口（Window）2.4状态（State）3.编程模型3.1编程模型介绍3.2程序示例4.部署4.1集群架构4.2集群资源管理4.3部署模式5.运维
程序员白总·2024-02-19 13:41

Python自动化运维实战：使用Python管理网络设备

现在，我们已经知道如何在不同的操作系统中使用和安装Python以及如何使用EVE-NG搭建网络拓扑。在本章中，我们将学习如何使用目前常用的网络自动化库自动完成各种网络任务。Python可以在不同的网络层上与网络设备进行交互。首先，Python可以通过套接字编程和socket模块操纵底层网络，从而为Python所在的操作系统和网络设备之间搭建一个低层次的网络接口。此外，Python模块还可以通过Te
江湖人称麻花滕·2024-02-19 13:41

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是
技术武器库·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

极狐GitLab 与 Flux 集成实现 GitOps

关于GitOps的更多详细内容可以查看本公众号过往的文章：云原生时代，你还不懂GitOps？让KAS给GitOps插上腾飞的翅膀极狐GitLab和ArgoCD
·2024-02-19 13:11

水杉在极狐GitLab 的 DevOps 实践

互相之间非常融洽，像什么老生常谈的开发和运维上的文化矛盾
·2024-02-19 13:11

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

菜鸟也崩了 分析分析原因+聊聊降本增笑

2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新：近年来，人工智能、大数据、物联网等技术在物流行业得到了广泛应用，有效提高了物流效率，降低了运营成本。例如，一些物流公司利用大数据进行
我才是真的封不觉·2024-02-19 13:34

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势
Jiweilai1·2024-02-19 13:34

python-自动化篇-运维-网络-IP

文章目录IP自我介绍IPy安装模块windowsLinuxIPy介绍支持大多数IP地址格式IPv4地址IPv6地址网络掩码和前缀派生网络地址将地址转换为字符串使用多个网络多网络计算方法IP自我介绍IP地址规划是网络设计中非常重要的一个环节，规划的好坏会直接影响路由协议算法的效率，包括网络性能、可扩展性等方面，在这个过程当中，免不了要计算大量的IP地址，包括网段、网络掩码、广播地址、子网数、IP类型
fo安方·2024-02-19 13:03

ansible自动化运维工具及常见模块的使用

目录一、ansible概述二、ansible的特性三、ansible环境安装部署管理端安装ansible：配置主机清单：配置密钥对验证：四、ansible常见模块的使用1．command模块2．shell模块3．cron模块4．user用户管理模块5．group用户组管理模块6．copy模块7．file设置文件属性模块8．hostname模块9．ping模块10．yum模块11．service/s
luochiying·2024-02-19 13:02

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

云计算实训室建设方案2024

唯众公司提供云计算、大数据、人工智能等创新技术，为院校、政府、企业培养人才提供优质教学资源、师资培养、专业共建和产教融合等服务。
武汉唯众智创·2024-02-19 13:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他