运维flume

Hadoop深度运维：Apache集群原地升级Ambari-HDP

作者介绍冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981·2024-02-08 18:42

linux运维故障案列,linux 运维故障排查思路

一、linux系统故障处理思路1.重视报错信息，一般情况下此提示基本定位了问题的所在2.查阅日志文件，系统日志和应用日志3.分析、定位问题4.动手解决二、网络问题处理思路1.网络硬件问题。网线、网卡、路由器、交换机等是否正常工作。2.网卡驱动是否正常加载、网卡ip设置是否正确，系统路由是否正确。3.检查局域网之间的通信是否正常。4.检查dns是否设定正确。可从/etc/resolv.conf、/e
weixin_39712455·2024-02-08 17:10

【mybatis自动治愈插件】

wu-database-lazy-mybatis-cure-plus-starter描述针对saas数据库隔离情况下，每次版本迭代都需要重新修改对应的数据库，对于升级与运维存在一定的难度，那么这个数据库治愈框架来了
小吴小吴bug全无·2024-02-08 16:57

MySQL备份与恢复解决方案

我们将从生产运维的角度了解备份恢复的分类与方法。在企业中数据的价值至关重要，数据保障了企业业务的运行，因此数据的安全性及可靠性是运维的重中之重，任何数据的丢失都有可能会对企业产生严重的后果。
远方 hi·2024-02-08 15:35

Linux学习计划

Linux学习，针对于个人其实我也没想好之后是否以此为生（Linux运维工程师），是为了让自己多学一点，多了解一下，最好的年龄，不能停止学习的脚步。
Sampson_Cao·2024-02-08 15:07

计划任务功能优化，应用商店上架软件超过100款，1Panel开源面板v1.9.6发布

2024年2月7日，现代化、开源的Linux服务器运维管理面板1Panel正式发布v1.9.6版本。
FIT2CLOUD飞致云·2024-02-08 15:49

Helm 简介：Kubernetes 的包管理器

Helm是Kubernetes的一个软件包管理器，允许开发人员和运维人员更轻松地将应用程序和服务打包、配置和部署到Kub
白如意i·2024-02-08 14:38

Shell 编程入门

很多人会说Shell编程属于运维方面的知识了，应该是运维人员来做，我们做后端开发的没必要学。
学致前端攻略·2024-02-08 13:42

【JAVA WEB】标签的应用

请填写简历信息姓名性别男女出生日期--请选择年份--2002200320042005--请选择月份--123456789101112--请选择日期-123456789101112就读学校应聘岗位前端开发后端开发测试开发运维开发掌握技能项目经历我已仔细阅读公司的招聘要求查看我的状态请应
lzb_kkk·2024-02-08 13:38

『运维备忘录』之 Kubernetes（K8S） 常用命令速查

一、简介kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写，是一个开源的，用于管理云平台中多个主机上的容器化的应用。kubernetes是基于容器技术的分布式架构解决方案，具有完备的集群管理能力，包括多层次的安全防护和准入机制，多租户应用支持能力，透明的服务注册和服务发现机制，内建智能负载均衡器，强大的故障发现和自我修复能力，服务滚动升级和在线扩容能力，可
流浪字节π·2024-02-08 12:27

云计算中的边缘云治理方案是什么？-薪享宏福

5G边缘云的科学运维需要一个完整的治理方案，需要CSP在网络边缘提供边缘数据中心所需要的所有组件，并引入新的服务。
北京薪享宏福·2024-02-08 12:50

【春节特辑】金融IT运维新视角：回望2023年变革浪潮，前瞻2024年创新风潮

运维管理软件，特别是其IT基础监控功能，对于确保金融系统稳定、安全、高效运行至关重要。本文将回顾2023年金融行业信息化建设中IT基础监控的变化与需求，并预测2024年的发展趋势。
MXsoft618·2024-02-08 11:27

Redis学习笔记-3.慢查询和其他高级数据结构

文章目录总览1.慢查询1.生命周期2.两个配置队列长度慢查询阀值3.配置方法4.慢查询相关命令5.运维经验2.pipeline2.1pipeline流水线作用2.2客户端使用2.3与原生M操作的对比原生
天生我才~~·2024-02-08 10:21

《Redis开发与运维》学习笔记3:主从复制，哨兵和集群

这篇主要整理第六章，第九章和第十章的内容，聚焦于Redis的分布式和集群部分，转载注明出处：https://blog.csdn.net/Koikoi12复制复制可以在分布式系统中实现相同数据的多个Redis副本，满足故障恢复和负载均衡等需求，是高可用的。主节点有多个从节点，但每个从节点只能有一个主节点关键命令：slaveof{masterHost}{masterPort}从节点发起，目标是主节点s
Koikoi123·2024-02-08 10:50

Redis核心技术与实战【学习笔记】 - 30.番外篇：Redis学习资料、运维说明及使用规范建议

1.Redis学习资料虽然前面已经学习了Redis理论和技术点，但是如果想要持续提升自己的技术能力，还是需要不断丰富自己的知识体系。本章，给你推荐几本优秀的书籍，以及拓展知识面的其他资料。1.1经典书籍在学习Redis时，场景的需求有三个方面：日常使用操作：比如常见的命令和配置，集群搭建等关键技术原理：比如IO模型、AOF和RDB机制等在实际使用时的经验教训，比如Redis响应变慢了怎么办？Red
陈建111·2024-02-08 10:20

编码技巧——在项目中使用Alibaba Cloud Toolkit远程部署

背景在新公司项目开发，当前项目为自建项目，意思是从开发到运维都需要自己负责，远程的服务器也是自己搭建的win操作系统；之前在大厂工作时，一般提交代码之后，CICD流水线会自动的执行最新代码的拉取、构建打包
七海健人·2024-02-08 09:45

2024-02-07（Sqoop，Flume）

1.Sqoop的增量导入实际工作中，数据的导入很多时候只需要导入增量的数据，并不需要将表中的数据每次都全部导入到hive或者hdfs中，因为这样会造成数据重复问题。增量导入就是仅导入新添加到表中的行的技术。sqoop支持两种模式的增量导入：append模式：根据数值类型字段进行追加导入，大于指定的last-value值Lastmodified模式：根据时间戳类型的字段进行追加，>=指定的last-
陈xr·2024-02-08 06:35

django的基本使用(一)

一、简介现在在实际的项目开中分为两种开发模式：1.前后端不分离在运维开发的岗位中，前后端是否分离完全取决于技术人的决策。
smile_pbb·2024-02-08 06:15

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

产品概述ApacheSeaTunnel是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到Apache基金会的数据集成顶级项目。SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
浪尖聊大数据-浪尖·2024-02-08 06:38

数据采集工具Sqoop、Datax、Flume、Canal

离线采集工具Sqoop1.环境配置解压安装包配置环境变量（记得source）添加MySQL驱动包到sqoop文件夹下的libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量exportHADOOP_COMMON_HOME=/usr/
yue-verdure·2024-02-08 06:08

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

Boys，Grils，Friends！MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python，P
道-闇影·2024-02-08 06:07

数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC

本文将对比五种流行的数据处理工具：SeaTunnel、DataX、Sqoop、Flume和FlinkCDC，从它们的设计理念、使用场景、优缺点等方面进行详细介绍。
大数据_苡~·2024-02-08 06:33

『运维备忘录』之 Netstat 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

『运维备忘录』之 HTTP 响应状态码速查

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

『运维备忘录』之 TAR 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

云服管家-轻松管理公有云上资源与费用

（一）与传统IT系统运维相比，在云时代，IT系统运维有如下特征：在云时代，您无需关注的事情：1、无需关注机房环境、服务器、存储设备、网络设备等硬件环境及设备的运行情况。
云服管家·2024-02-08 04:25

校园自助洗浴设施运维服务认证的介绍

校园自助洗浴设施运维服务认证是一种针对校园自助洗浴设施运维服务质量的评估和认证体系。通过该认证，学校可以确保自助洗浴设施的安全、可靠、卫生和持续运行，为师生提供更好的洗浴体验。
AEMC马广川·2024-02-08 02:36

运维系列（仅供参考）：万事俱备，SSH依然连接不上VMware虚拟机，救命之法

万事俱备，SSH依然连接不上VMware虚拟机，救命之法一.万事俱备，SSH依然连接不上VMware虚拟机，救命之法一、前期配置过程二、解决方法二.前言一.万事俱备，SSH依然连接不上VMware虚拟机，救命之法一、前期配置过程1.VMware中虚拟网络编辑器配置NAT模式2.虚拟机的网络适配器设置为NAT模式3.本地连接中VMwareVirtualEthernetAdapterforVMnet8
坦笑&&life·2024-02-08 02:23

微服务和SOA的区别

微服务架构强调的第一个重点就是业务系统需要彻底的组件化和服务化，原有的单个业务系统会拆分为多个可以独立开发，设计，运行和运维的小应用如果一句话来谈SOA和微服务的区别，即微服务不再强调传统SOA架构里面比较重的
五月天_7df7·2024-02-08 02:03

运维&Ubuntu系列（亲测有效）：Ubuntu 20.04 升级到 Ubuntu 22.04 、、、、、、、、 ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口

Ubuntu20.04升级到Ubuntu22.04、、、、、、、、ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口一.Ubuntu20.04升级到Ubuntu22.04更新相关库更新系统至Ubuntu22.04验证Ubuntu22.04二.ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口一.Ubuntu20.04升级到Ubuntu22.04更新相关库将所有系统软件包更新并升
坦笑&&life·2024-02-08 02:52

1Panel面板如何安装并结合内网穿透实现远程访问本地管理界面

Linux安装1Panel2.安装cpolar内网穿透3.配置1Panel公网访问地址4.公网远程访问1Panel管理界面5.固定1Panel公网地址前言1Panel是一个现代化、开源的Linux服务器运维管理面板
小沈YO.·2024-02-08 01:51

关于TDSQL(MySQL)的简单知识分享

1.1TDSQL优点：数据强一致性高性能低成本线性水平扩展金融级高可用企业级安全性便捷的运维1.2TDSQL系统总览资源池：TDSQL部署的服务器资源。
小满别摸鱼·2024-02-08 01:20

VoIP之主备注册服务器机制

  在IP话机的实际使用中，不可避免的会出现服务器离线运维、服务宕机、IP话机和服务器连接中断等情况。为了保证电话服务的连续性，在VoIP部署服环境中必须有冗余机制。
浪游东戴河·2024-02-08 00:50

提升CKA认证成功率，CKA真题中的节点维护全攻略！

K8S集群运维过程中可能会有维护Node节点的需求，例如Node操作系统软件存在漏洞，需要对系统进行更新和维护。这里我们以K8S集群节点的操作系统进行更新操作为例。
didiplus·2024-02-08 00:02

微服务笔记27：容器调度与服务编排

机器少量的时候，认为选择还是可以支持，如果数量多大上百台，上千台，那么就不能人肉运维了。
胖琪的升级之路·2024-02-07 23:36

「服务器运维」如何解决服务器I/O过高的问题

在没有解决bug之前，你永远不知道bug到底是怎么产生的。问题缘起:当我习惯性地用top查看任务运行状态时，发现我运行的100个任务，只有3个在运行，其他都在摸鱼状态。同时发现我的任务进程都是"D"状态(未截图)，而不是R(运行)状态。top状态这个时候，我直觉上感觉这是硬盘读写除了问题，于是我开始检索查找相关工具去验证我的猜想先用的是iostat-x210，如果%util接近100%说明产生的I
xuzhougeng·2024-02-07 23:21

【seata自动化治愈数据库问题解决方案】

wu-database-lazy-seata-cure-plus-starter描述针对saas数据库隔离情况下，每次版本迭代都需要重新修改对应的数据库，对于升级与运维存在一定的难度，那么这个数据库治愈框架来了
小吴小吴bug全无·2024-02-07 22:25

springboot防止反编译proguard+xjar

，为了防止有技术能力的用户反编译我们的程序，采用了proguard和xjar两种方式来混淆和加密jar包，注：加密技术只是提高别人获取你的代码的门槛，没有绝对安全的加密方式，而安全等级越高，程序开发、运维
mawei7510·2024-02-07 21:39

9.18 Python笔记

1.软件开发2.科学运算3.自动化运维4.云计算5.WEB开发
谦友111·2024-02-07 21:00

Softing mobiLink Power：集成FDI技术，简化多协议总线设备的配置方式

mobiLinkPower简化了过程工业运维人员对现场设备的配置方式，并支持三种常用的总线通信协议：HART、FO
SoftingChina·2024-02-07 18:24

APISpace 验证码短信API接口案例代码

1.验证码短信API产品介绍image.pngAPISpace的验证码短信API，支持三大运营商，虚拟运营商短信发送，电信级运维保障，独享专用通道，3秒可达，99.99％到达率，支持大容量高并发。
API小百科_APISpace·2024-02-07 18:44

kuberneter常用运维命令持续学习更新中

1.彻底删除当前k8s版本systemctlstopkubeletsystemctlstopetcdsystemctlstopdockerkubeadmreset-fyumlistinstalled|grepkubeyum-yremovekube*yumlistinstalled|grepkubeyum-yremovecri-tools.x86_64yumlistinstalled|grepkub
leo_hush·2024-02-07 15:52

docker部署docker运维工具

简介主要功能:管理容器,管理镜像,管理容器网络安装拉取镜像dockerpulljoinsunsoft/docker.ui:1.0.1启动容器dockerrun-d--namedocker.ui--restartalways-v/var/run/docker.sock:/var/run/docker.sock-p10039:8999joinsunsoft/docker.ui:1.0.1使用打开浏览器
老王聊技术·2024-02-07 15:47

云计算运维1

1、企业服务器LNMP环境搭建集群：多台服务器在一起作同样的事。分布式：多台服务器在一起作不同的事。环境准备：1、设置静态ip（NAT模式网关为.2）#cat/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"BOOTPROTO="none"IPADDR="10.1.1.10"NETMASK="255.255.255.0"GATEWAY
mpp__mvp·2024-02-07 14:55

安全智能化办公平台-安创安全 OA

广东安创信息科技开发有限公司(以下简称“安创科技”)成立于2012年7月，是一家致力于网络和信息安全技术应用、产品研发、方案设计、检测与防护、运维及管理、技术支持等专业信息安全产品和服务提供商。
冯诗婷·2024-02-07 13:56

ctfshow-web11~20-WP

web11根据提示，查询对ctfshow域名进行dns查询，查看TXT记录阿里云查询链接：阿里云网站运维检测平台获取flag成功web12根据题目提示，我们访问robots.txt，获取到后台地址然后我们访问一下后台
五行缺你94·2024-02-07 13:20

一文明白calico的IPIP网络模式

微信公众号：运维开发故事，作者：姜总前言本文主要分析k8s中网络组件calico的IPIP网络模式。旨在理解IPIP网络模式下产生的calixxxx，tunl0等设备以及跨节点网络通信方式。
运维开发故事·2024-02-07 12:40

Redis核心技术与实战【学习笔记】 - 26.Redis数分布优化（应对数据倾斜问题）

比如，RedisCluster或Codis会先按照CRC算法的计算值对Slot（逻辑槽）取模，同时Slot又有运维管理员分配到不同的实例上。这样，数据就被保存到相应的实例上了。
陈建111·2024-02-07 11:10

微信被盗14小时，反思运维团队的应急响应管理

哈喽，Everyone~没错，我被盗号了。相当懵逼的一次被盗号，所有绑定信息全部发生了变更。与微信绑定的手机号、QQ、邮箱无一幸免，甚至连支付密码也难逃那只看不见的魔爪。一切发生的都是那么突然。14小时前，凌晨：我和平时一样，进行着睡前文章阅读。没有天空惊雷，没有夜幕乌啼，没有任何异象。安静躺在床上等待着美好的明天，陷入梦乡。早8：00，起床，习惯性的摸手机看一下早报，映入朦胧睡眼的不是熟悉的消息
PM研习社·2024-02-07 09:38

恒创科技：怎么看云主机的性价比

硬件成本是指云主机的物理设备成本，包括服务器、存储设备、网络设备等；运营成本则包括云主机的能源消耗、散热费用、运维人员的工资等；软件成本是指云主机操作系统、中间
海外空间恒创科技·2024-02-07 09:58
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他