运维记录

自动化运维记录之GitLab CI/CD 自动化部署入门教程

1.前端项目自动化部署需要的环境依赖Node安装项目依赖、打包都需要Nginxweb项目部署必须「正向代理、方向代理、负载均衡等等」、GitLab也会用到Nginx(默认自动安装)Git自动化部署，需要拉取代码GitLab没啥好说GitLab-Runner配合GitLabCI/CD使用的应用程序2.安装Node下载和解压#下载安装包，需要哪个版本，在url中修改就可以了wgethttps://no
Harry_z666·2023-10-02 11:04

http响应最大时长 nginx_Nginx中保持长连接的配置 - 运维记录

在Nginx中，对于http1.0与http1.1是支持长连接的。http请求是基于TCP协议之上的，那么当客户端在发起请求前，需要先与服务端建立TCP连接，而每一次的TCP连接是需要三次握手来确定的，如果客户端与服务端之间网络差一点，这三次交互消费的时间会比较多，而且三次交互也会带来网络流量。当然，当连接断开后，也会有四次的交互，当然对用户体验来说就不重要了。而http请求是请求应答式的，如果我
weixin_39629989·2023-08-22 14:34

使用docker-compose安装harbor教程&&运维记录

安装过程参考官方文档：Harbordocs|HarborInstallationandConfiguration这里不做赘述，主要说一下配置部分，有如下几个配置需要自定义：#hostname：当前服务的域名配置hostname:harbor.xxx.comhttp:port:80https:#httpsportforharbor,defaultis443port:443#Thepathofcert
刘坚·2023-04-04 15:39

教你如何利用bat脚本批量 重命名/复制 文件

在平时运维的时候，最繁琐的就是要每个月写运维记录的文档如excel表格，一个月30日要产生30个文件，拷30个运维记录文档的模版再进行重命名实在太麻烦了，所以想到copy模版之后可以用脚本来对文件进行重命名自己想要的效果
·2022-12-31 03:19

influxDB运维记录

1.7月14日发现influxDB没有数据了排查下来发现是写入失败了。主要是influx设置生效的保存策略和驱动程序里的不一致：另外，在将原来默认的autogen（不设限制）保存策略删除的情况下，发现服务器内存由97%一下子降到了65%！（虽然今天看，内存又上涨到了87%）autogen的保存策略是把数据维护在内存的，所以导致内存很高。另外，挂载的根目录的磁盘占用也降了。2.influxDB插入快
凭轩听雨199407·2021-07-16 11:14

Django 搭建CMDB系统完整[13](运维记录)

models.py添加表classYunweijilu(models.Model):machinaroom=models.ForeignKey(Machinaroom)id=models.AutoField(primary_key=True)type=models.SmallIntegerField(default=0)wtms=models.CharField('问题描述',max_length
SkTj·2021-04-29 07:35

记一次服务器被挖矿的运维记录

修改完客户提出的需求，登陆服务器，上传更新包，重启应用后5分钟项目没有启动成功，最初认为自己更新包出现了问题，回退到原来版本，启动5分钟后发现还是没有成功，正在考虑什么问题时，启动日志有了新的输出，然后等待将近10分钟，程序终于启动成功，排除了更新包的问题，将更新包重新上传，启动……（等待10分钟）成功。项目启动后发现访问网站反应十分缓慢，静态页面访问等待时长将近1分钟时间……进入后台查看进程发现
愿与java过一生·2020-08-24 04:31

华为USG6330运维记录-端口回流、策略路由

1、起初虚拟化平台中使用USG6330上联ISP线路，只接入了一根线路；下联S5700三层交换机（三台做的堆叠）。在三层交换机上启了几个VLAN作为业务网端，并配置vlan地址，放置业务服务器（并未放置在DMZ）；USG6330和S5700这间通过互通地址通讯，USG端10.10.12.253，S5700端10.10.12.254,所有vlan下跳地址指向10.10.12.254。所有VLAN划为
weixin_34307464·2020-08-23 20:55

H3C运维审计系统 Web配置指导（笔记）

1、首页显示统计信息2、首页：一周运维统计3、有审计功能，最近运维记录4、具有管理用户的功能（用户的增删改查）5、有SSH功能6、具有管理用户组的功能（用户组的增删改查）7、具有管理部门的功能（部门的增删改查
SkTj·2020-08-23 02:15

网站运维记录

1.nfs客户端：安装：yuminstallnfs-utils-y挂载mount-tnfs10.10.21.103:/home/elasticsearch_data//home/esuser/data//es数据mount-tnfs10.10.21.103:/home/wwwroot/newsshop/public/files_pro//home/wwwroot/newsshop/public/f
weixin_33881050·2020-08-17 03:19

Hadoop运维记录系列(二十三)

最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos6,新机房加的机器是centos7。一、丢包问题在跨机房的时候，datanode显示很多SlowBlockReceiver的日志WARN  org.apache.hadoop.hdfs.server.datanode.DataNode: Sl
weixin_34082789·2020-08-16 21:03

Hadoop运维记录系列(十一)

记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQLonHadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQLonHadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上都是跑在
weixin_34192993·2020-08-06 10:12

elasticsearch 运维记录

目录(elasticsearch基础知识汇总)索引分片从策略层面控制分片分配的选择reroute接口节点下线冷热数据的读写分离集群自动发现API接口数据写入数据读取数据删除数据更新分片存储设置搜索请求querystring语法集群健康状态level请求参数节点状态监控接口GC垃圾回收集群更新节点配置Grafana监控ESKibana2x索引分片：从策略层面，控制分片分配的选择磁盘限额为了保护节点数
Jevic·2020-07-14 03:46

短文本分类：电力95598工单分类实现

在电力操作规则，运维记录，调度运行记录，营销档案，客服，故障检修等存在着大量文本类数据[由于中文文本类数据的复杂性，无法直接运用机器学习对文本数据进行智能化分析，因此基于电力文本的文本挖掘技术研究显得十分重要
总裁余·2020-07-02 06:43

金笛短信猫中间件运维记录

故障之一：金笛中间件一直正常，但近期发的短信对方收不到，日志或数据库表均显示已成功发送，收信正常，将手机卡换到手机中发短信，对方能收到。在金笛中间件设置窗口中停止服务，然后运行Testmodern.exe，如下图进行操作：发送短信，成功。关闭此窗口。回到金笛中间件设置窗口，启动服务如下图，再发短信，成功。问题解决，不知何故。注：图中“自动路由不同运营商短信”选项，选不选均可。另需要注意，小心不要勾
俱会一处·2020-07-02 05:32

服务器安全运维记录：封堵php下的一句话木马，正确禁用php的eval的方法

一句话木马的破坏能力有多大，使用过的人相信很了解，没有使用过的人，可以看文章一句话木马功能展示。一句话木马功能展示在服务器上，新建一个test.php文件，内容如下：（jsp，aspx，aps都有一句话木马，篇幅有限，不举例了。）确认www.xxxx.com/test.php可以被访问，再用“中国菜刀”等等工具就可以连接服务器，而且可以穿透WAF、防火墙、IPS等安全设备。方法就不展示了，自行百度
飞奔的五花肉·2020-06-21 14:13

马学明同志深入高速公路大队检查指导工作

随后，马学明同志到高速公路大队违法处理室，查看了缉查布控系统运维记录及民警辅警值班备勤情况，查看了大队党建会议室。在大队长办公室，马学明听取了支队长
吾爱轩宝·2020-04-07 19:08

过来人对BIM的几点看法，全是心里话

说说我自己的理解，BIM模型可以看作一个集成了各阶段、各专业信息的一个“数据库”，这个数据库里面有几何信息（三维）、非几何信息（材料信息、构件信息、施工计划信息、质检信息、运维记录信息等），非几何信息是
汇德职业学校·2020-03-08 11:06

在建筑行业，BIM值得入坑吗？

说说我自己的理解，BIM模型可以看作一个集成了各阶段、各专业信息的一个“数据库”，这个数据库里面有几何信息（三维）、非几何信息（材料信息、构件信息、施工计划信息、质检信息、运维记录信息等），非几何信息是
ZD_BIM·2020-03-05 12:14

ceph问题解决运维记录

一、如果出现osd启动报try_get_map错误，可以从正常的osd去导出对应版本的epoch，然后导回就可以了1、如何导出导入osdmap1.1先停掉坏的osd,以及一个好的osd(因为ceph-objectstore-tool执行时需要停止osd),然后执行导出导入即可命令例子：其中84是好的osd,85是有问题的osdceph-objectstore-tool--opget-osdmap-
zcking·2019-11-27 14:57

CISCO运维记录之4507设备升级IOS（Version 03.03.02.SG版本存在bug）

CISCO运维记录之3650堆叠设备升级IOS（Version03.03.02.SG版本存在bug）1.问题详情思科45系列交换机使用Catalyst4500L3SwitchSoftware(cat4500e-UNIVERSAL-M
CARLOS_CHIANG·2019-10-17 11:00

Hadoop运维记录系列（二十七）

记录一个调试pyspark2sql访问HDFS透明加密的问题。访问源码如下，使用pyspark2.1.3，基于CDH5.14.0hive1.1.0+parquet，其中select的部分会访问hdfs加密区域。from pyspark.sql import SQLContextfrom pyspark.sql import HiveContext, Rowfrom pyspark.sql.type
Slaytanic·2019-04-10 18:37

Hadoop运维记录系列（二十六）

一分钟内部署jupyterlab+pyspark2+hive，前提是spark2是可以在yarn上正常运行的。最近甲方打着滚的向乙方要求装jupyterlab，然后还要用spark2，所以，也是没辙，谁让人家是金主爸爸呢。搁我自己是绝不想在生产集群里装jupyter的。Terminal潜在危险性还是有的，按说是不符合甲方的安全小组规定的，但是业务小组又哭闹说没有不行，就看上jupyter的代码提示
Slaytanic·2019-04-10 16:15

运维记录1——解决在Nginx下部署CRA项目，二级目录不能访问的问题

如果从头开始搭建React项目，create-react-app通常是开发者的首选。毕竟不是谁都有精力去了解WebPack的复杂配置，而CRA将配置隐藏开箱即用的特性必然会受到普遍欢迎。根目录访问到了部署阶段，我通常使用nginx作为web容器，将项目部署到一个根目录下访问。如#nginx配置server{listen80;server_namemy.website.com;...location
一光年·2019-01-11 00:00

Hadoop运维记录系列（二十五）

耗时很长时间解决了一个sparkindocker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机，在每个docker里面都跑了一个Zeppelin用作数据分析，之所以这样弄，是客户要求每个人的环境都必须是独立的。Zdocker假设是Z上面跑着zeppelin的运行的一个docker镜像。Zdocke
Slaytanic·2018-09-07 19:14

Hadoop运维记录系列（二十四）

从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recommi
Slaytanic·2018-07-31 15:58

Hadoop运维记录系列(二十三)

最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos6,新机房加的机器是centos7。一、丢包问题在跨机房的时候，datanode显示很多SlowBlockReceiver的日志WARN  org.apache.hadoop.hdfs.server.datanode.DataNode: Sl
Slaytanic·2018-07-13 14:45

Hadoop运维记录系列(二十二)

今天抽空解决了一个Hadoop集群的一个非常有意思的故障，之所有有意思，是这个故障既可以称之为故障，又不算是故障，说不算问题吧，作业跑的特慢，说算问题吧，作业不但都能跑出来，还没有任何报错，所以还比较难查。故障表象是一帮人嚷嚷作业太慢了，跑不动，但是基本上嚷嚷一会就能跑出来，但相对于原来还是慢。我看了下，确实比较慢，有些作业一个map要半小时，但不是所有作业都这样，部分作业就很快，没有什么规律可循
Slaytanic·2018-06-20 19:14

利用open***做三次跳转

公司用open***做所有流量的入口，简单点说就是让open***做一个堡垒机的作用，将所有后端应用都放在open***堡垒机之后，以规范运维记录。open***的搭建太简单了，这里就不重复造轮子了。
ziwenzhou·2018-04-28 17:08

利用bat脚本批量 重命名/复制 文件

在平时运维的时候，最繁琐的就是要每个月写运维记录的文档如excel表格，一个月30日要产生30个文件，拷30个运维记录文档的模版再进行重命名实在太麻烦了，所以想到copy模版之后可以用脚本来对文件进行重命名自己想要的效果
丢你刘某·2018-04-26 10:30

Hadoop运维记录系列(二十二)

今天下午写了一会代码，然后帮同事解决了一个hbase相关的故障分析，定位了问题根源，觉得比较有代表性，记录一下。先说一下问题的发生与背景。这个故障其实是分为两个故障的，第一个比较简单，第二个相对复杂一些。同事写了一个HBase相关的测试代码，使用Hbase原生JavaAPI，编译打包后分别放在两台测试服务器测试，一台可以，另一台不可以。第一个故障是发生在两台测试服务器的：A服务器是正常连通的服务器
Slaytanic·2018-03-29 22:39

Hadoop运维记录系列(二十一)

Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个***测试小组对Zeppelin和其他产品进行***测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是***
Slaytanic·2017-11-02 19:32

Hadoop运维记录系列（二十）

记录一下spark和pyspark在Zeppelin里面访问lzo文件报错的问题。由于甲方全球500强极度抠门，死活不愿意加服务器，然后接入的数据源又多，小集群很快就会被撑满，所以没办法，原始日志均采用lzo压缩存储。hadoop和spark都是采用正版ClouderaManager部署，这方面没有太大问题。在命令行方式下，spark-shell是完全可以直接读取lzo的。但是在Zeppelin里
Slaytanic·2017-07-12 18:13

Hadoop运维记录系列(十九)

Kerberos保护下的Hive排错记录，5月14日，Megadeth北京见。同事想在zeppelin里面使用Hive，这是在新的kerberos保护下的集群里第一次使用Hive，不幸的是，使用过程中还是出现了验证授权的问题，所以我不得不去排查问题。Hive的客户端服务器已经安装的hadoop-client，并且把所有需要的keytabs文件都放到了配置文件夹下且设置了正确的权限。但是仍然无法连接
Slaytanic·2017-05-05 12:29

Hadoop运维记录系列(十八)

之前为了练习英语用英文写的这个博客，然后被编辑置为转载了，所以想想还是翻译过来比较好。原文发表于https://xianglei.tech确实是我自己原创的。英文很烂，所以才需要练习。使用ClouderaManager启用Kerberos安全增强的Hadoop集群(包括一步步安装和配置kerberos)以及kerberos基本原理目前我工作于AdMaster，某个全球五百强的大企业是我们的深度客户
Slaytanic·2017-04-24 22:41

Hadoop相关文章索引（2）——Hadoop运维主题

Balancer难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列
BlackEnn·2017-01-31 11:00

Hadoop相关文章索引（2）——Hadoop运维主题

Balancer难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列
司小幽·2017-01-31 11:32

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。首先，对方已经做好了Hive访问HBase，所以spark-sql原则上可以通过调用Hive的元数据来访问Hbase。但是执行极慢，而且日志无报错。中间都是邮件沟通，先问了几个问题，是否启用了Kerberos，是否Hive访问Hbase正常，HBaseshell访问数据是否
Slaytanic·2015-11-13 19:35

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。首先，对方已经做好了Hive访问HBase，所以spark-sql原则上可以通过调用Hive的元数据来访问Hbase。但是执行极慢，而且日志无报错。中间都是邮件沟通，先问了几个问题，是否启用了Kerberos，是否Hive访问Hbase正常，HBaseshell访问数据是否
Slaytanic·2015-11-13 19:35

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。首先，对方已经做好了Hive访问HBase，所以spark-sql原则上可以通过调用Hive的元数据来访问Hbase。但是执行极慢，而且日志无报错。中间都是邮件沟通，先问了几个问题，是否启用了Kerberos，是否Hive访问Hbase正常，HBaseshell访问数据是否
Slaytanic·2015-11-13 19:35

Hadoop运维记录系列

http://slaytanic.blog.51cto.com/2057708/1038676 Hadoop运维记录系列（一） Hadoop运维记录系列(二)  Hadoop运维记录系列
·2015-11-12 15:12

Hadoop运维记录系列(十六)

应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。Active的namenode元数据硬盘满了，满了，满了...上来第一句话就如雷贯耳。运维人员发现硬盘满了以后执行了对activenamenode的元数据日志执行了echo"">edit_xxxx-xxxx...第二句话如五雷轰顶。然后发现sta
Slaytanic·2015-08-28 17:28

Hadoop运维记录系列(十六)

应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。Active的namenode元数据硬盘满了，满了，满了...上来第一句话就如雷贯耳。运维人员发现硬盘满了以后执行了对activenamenode的元数据日志执行了echo"">edit_xxxx-xxxx...第二句话如五雷轰顶。然后发现sta
Slaytanic·2015-08-28 17:28

Hadoop运维记录系列(十六)

应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。Active的namenode元数据硬盘满了，满了，满了...上来第一句话就如雷贯耳。运维人员发现硬盘满了以后执行了对activenamenode的元数据日志执行了echo"">edit_xxxx-xxxx...第二句话如五雷轰顶。然后发现sta
Slaytanic·2015-08-28 17:28

Hadoop运维记录系列(十五)

早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买
Slaytanic·2015-04-30 13:25

Hadoop运维记录系列(十五)

早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买
Slaytanic·2015-04-30 13:25

Hadoop运维记录系列(十五)

早期搭建Hadoop集群的时候，在做主机和IP解析的时候，通常的做法是写hosts文件，但是Hadoop集群大了以后做hosts文件很麻烦，每次加新的服务器都需要整个集群重新同步一次hosts文件，另外，如果在同一个域下面做两个集群，做distcp，也需要把两个集群的hosts文件全写完整并完全同步，很麻烦。那么，一劳永逸的办法就是做DNS。DNS我这边已经用了很长时间了，几年前为了学这个还专门买
Slaytanic·2015-04-30 13:25

Hadoop运维记录系列(十四)

周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑
Slaytanic·2015-04-20 17:42

Hadoop运维记录系列(十四)

周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑
Slaytanic·2015-04-20 17:42

Hadoop运维记录系列(十四)

周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑
Slaytanic·2015-04-20 17:42
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他