项目一:服务器上线
负责公司新服务器上线搭建系统环境及软件环境
1,根据现有配置部署工具(ansible+playbook)
2,结合应用系统环境需求定制部署模版(系统环境初始化、系统优
化、服务软件安装、配置模板) 制作一键执行脚本 playbook,使用
roles 细化不同模板中的不同任务
3,在新批量部署的服务器上部署 LNMP 环境、编制 Nginx 配置文
件并批量化部署;
4,自动化部署实施完成服务器上线
5,根据定制的检测模板对自动化部署效果进行检验
项目二:web 架构调整
web 服务器架构调整(从单点到集群的设计)
需求: 解决网站多个项目 web 服务器单点故障的问题
职责:
1 ,研究多种负载均衡方案 主要针对 lvs+keepalived 及
nginx+keepalived 进行研究
2,编写新架构方案实施项目书与实施日程
3,新系统部署与日常维护把公司原来的多数单点服务器变成了集群,提升了网站的稳定性与高并发的应用场景
项目三:EFK 日收集审计
服务器日志审计项目提出与实施
1,出于安全权限控制从而实施对所有用户日志记录方案 ELK2
2,搭建 EFK 日志收集管理系统
3,通过 EFK 实现对所有服务器系统、用户、服务进行日志审计并将
记录集中管理
4,实施后让所有运维和开发的人员都根据自己角色在 Kibana 查看
相应日志,管理员管理所有日志,实现安全对服务器日志的收集、分
析、审计。
项目四:批量分发
实现全网服务器数据批量分发与批量管理
需求:
公司服务器逐渐增多,因此管理起来很麻烦,于是提出解决批量分发
管理解决方案,进行全网服务器数据分发与管理
职责:
1,针对 ansible 配置自动化工具及 ssh key+rsync 两套分发管理方
案研究,最终选择简单易于维护并且强大的 ssh key+rsync 方案
2,找一台 IDC 内网服务器,作为分发机器,对固定普通用户做 sshkey
认证(注意不是 root),需要 root 权限,通过 sudo 来控制,减少安全隐患。
3,对于分发机进行安全配置,例如,去掉外部 IP,开启防火墙。实
施完毕,运维管理的效率提高了很多,因此得到了公司的嘉奖。
项目五:用户安全管理
服务器用户权限管理改造方案与实施项目
需求: 解决公司 root 权限泛滥问题
职责:
1,提出权限整改解决方案,改进公司 root 权限泛滥的现状
2,召集大家开会商讨并确定方案后推进实施
3,实施后使得公司的权限管理更加清晰了(总结维护),从根本上降
低了内部操作等不规范及安全隐患的发生。
3.1,管理用户权限 通过 sudo 来管理权限的,不论是运维还是开发,
一般都不会给 root 权限,只有核心级开发或者研发总监或以上级别
的才可能给相应服务器级别的权限;对核心运维或者运维总监才会给
root 权限
3.2, 规划服务器的时候对普通用户规划 普通用户是根据项目来的,
在不同公司它的项目产品线不一样。公司只有十几个产品线,为每一
个项目建立一个普通用户,因此不论 nginx 还是 tomcat 都是跑在普
通用户下。
3.3,公用服务权限规划 公共服务也运行在普通用户下,总的来说是
这样的,运维做运维的事情,开发做开发的事情。运维负责网络系统,只要系统没有故障,只要网络没有故障,只要系统资源还够用,那么
运维的职责就到位了。而公司的理念是项目负责制,也就是说每个项
目的责任人是开发,运维大概占 30%-40%的责任。的开发占 60%的
责任。当进程上线的时候,这个服务是由普通用户跑的。它的每个站
点目录都是普通用户的权限,也就是 700 的权限普通用户,这个是
最安全的。无论是项目的启动,停止,以及代码上线,日志收集,日
志分析都是通过进程跑的普通用户实现的。在管理这个项目的时候,
可以把开发的用户加到这个项目组里面,这样负责相应项目的开发人
员就有对应项目的所有权限。
项目六:数据备份
全网服务器数据备份方案提出及负责实施
需求: 为公司数据做一个完整的备份系统
职责:
1,针对公司重要数据备份混乱状态和领导提出备份全网数据解决方
案
2,通过本地打包备份,然后 rsync 结合 inotify 应用把全网数据统一
备份到一个固定存储服务器,然后在存储服务器上通过脚本检查并报
警管理员备份结果
3,定期将云主机的数据备份公司的内部服务器,防止地震火灾等问
题导致的数据丢失。项目七:数据库主从
MySQL 数据库实现主从同步,及完整备份解决方案
1,进入公司之前前任运维丢失数据,因此老大很重视数据安全这方
面
2,因此我提出并上线了 MySQL 数据库备份方案和 MySQ 主从架构
方案
3,方案主要是在从库上开启 binlog 及按天分库分表全备,推送到备
份服务器
4,将备份的数据定期恢复到测试库给开发使用
5,制定人工更新数据库的流程及制度
项目八: LNMP 架构优化
LNMP 架构优化方案
1,公司使用 LNMP 架构,优化较少,运行效果不佳
2,我提出了 LNMP 架构的优化方案
3,方案主要是 Linux 系统优化,nginx 服务优化,php 服务优化,
MySQL 优化
4,优化完成后,LNMP 架构性能有很大提高。
项目九:zabbix 全网监控
全网服务器监控解决方案实施
需求:到公司后,没有任何监控系统,每次故障无法报警,每次故障对公司
的网站都造成了很大的影响,因此我用自己已经掌握的监控技术,以
及查询资料撰写解决方案,提交给公司领导,以改善服务器报警不及
时的问题,最大限度的保证公司网站故障及时处理
职责:
1,根据需求选定最流行的监控软件 zabbix 进行研究。
2,根据不同服务器不同维度及具体需求定制模版进行监控实时报警
3 , 编辑监控脚本,实现服务自定义监控,根据业务类型和峰值规律
设定相应的报警标准及处理规范
4,实施完毕后,做到了大部分的故障报警都能及时有效的汇报给运
维人员,为网站的稳定争取了时间
项目十:堡垒机安全
搭建 jumpserver 跳板机管理混乱账户
软件环境: CentOS6.5
开发工具: jumpserver
项目描述:
在投入工作的几个月里,我发现公司的服务器运维管理中对于服务器
账号的管理十分混乱,有的运维甚至有好几个工作账号,而且能随时
登陆 root 账户。因此,每当有运维工作人员调岗或离职,服务器的
所有账户密码都会被重新改变一次,不仅费时费力,密码也不好记忆,
十分的麻烦。于是,几经思考,我向领导建议启用开源型的跳板机jumpserver 来改善目前混乱的状况。
职责:
部署一台服务器为 jumpserver 跳板机 用 xshell 登陆跳板机进行授
权测试
项目效果:
实现了全网服务器的安全管理,通过堡垒机解决了人员登录服务器混
乱现象,并针对不同服务器不同人员权限分配实现了有序安全的服务
器管理,为所有人员对服务器的登录及操作做到了有迹可查,避免了
操作人员的不安全操作,让大家形成了规范及安全的操作意识,针对
人员流动通过专属 ssh-key 完成高效的管理及变更。最大程度保障了
有权可用、规范安全登录即操作服务器。
项目十一:ansible 自动化
项目需求:
随着 devops 发展。自动化运维愈发重要,随着公司业务增长服务器
集群数量持续增加,依靠运维人员人肉运维成本极高且效率低下,因
为公司需要一套服务器自动化管理平台,完成服务器上线初始化、应
用软件部署、配置管理分发、程序代码部署等批量操作。经过研究以
及考虑到公司服务器数量及维护成本等,选用 ansible 作为自动化管
理平台。
解决方案:
1、搭建 ansible-master 节点,将公司所有云主机都加入到 ansible集群分组管理。
2、负责不同服务器主机组的初始化 init、软件 install、配置分发、
代码部署等 palybook 的编写管理。
3、负责日常批量化操作 playbook 测试、审核以及实施部署等。
4、负责设计编写自动化运维规范及流程准则。
5、负责日常自动化产生的问题修正、机器增减主机组同步管理、公
钥分发等。
6、梳理 ansible 不同主机组的系统环境、软件安装、相应配置文件
的变化,从而及时更新之前的 playbook 和 roles 等栈文件的更新修
正。
7、负责运维支撑服务 elk、zabbix 等服务的 ansible 批量部署、配
置分发、日志收集模板、监控脚本更新部署等。
项目十二:存储优化
改善服务器存储问题
需求: 减轻访问高峰阶段存储压力
职责:
1,Web 前端存储使用 NFS 主备结构
2,用户写入数据,如图片,附件等,存储到 NFS 主上面,用户的读
访问 NFS 备
3,NFS 主备,使用 rsync+inotify 进行数据同步
4,NFS 存储数据量不大,采用 sersync 把数据推送到 web 前端,尽量较少前端服务访问后端服务器的请求,减轻 NFS 存储压力
5,数据备份的安全有了保障,不用担心数据的丢失。
项目十三:医院综合服务集群
航天一院第三产业部–院综合服务集群
需求:
该项目主要实现的是航天一院内部服务平台搭建 目标是搭建一个安
全、高效、稳定服务器群集架构。提供航天各院的服务综合平台。
项目实施:
前段采用负载均衡搭配 Squid 集群、搭配硬件防火墙,隔离内网与外
网,并且能提供监控网络和记录传输信息的功能,加强局域网的安全
性等.实现前端调度服务器的高可用、中间 web 服务器的负载均衡、
后端数据库服务器的高可用、监控服务器监控集群中的每一台服务器
的私有数据和公有数据前端调度服务器采用的软件是 Keepalived 和
Nginx,中间 Web 服务器采用的软件是 Nginx,并发数高,而且相
对稳定 后端数据库服务器采用的是读写分离,写库 MySQL+MHA
双主互为主从模式。读从库使用负载均衡 LVS+Keepalived+MySQL ,
并使用Memcached缓存集群缓存从数据库.Web服务器采用Nginx
来搭建网站服务器,并结合 Inotify+Rsync 实现网站数据同步. 监控
服务器采用的是 Zabbix,监控各服务器的运行状态及服务状态。
职责:
本人在此项目中主要负责服务器服务平台的搭建,为了实现统一性,特编写了 shell 脚本,使得服务器部署更加标准化
项目十四: docker swarm 集群
微服务项目 docker swarm 集群的部署与应用
需求分析:
公司项目转为微服务架构开发,项目各功能点都拆分为微服务,因此
众多项目微服务的部署与通信采用单机 docker 容器管理,测试环境
下微服务可在同一台测试机部署,但对于线上则需要考虑到服务的稳
定高效及请求数量的支撑与处理,因为急需要一套可用的微服务编排
调度管理方案,考虑到运维成本及目前项目不多的特性,选用
docker-swarm 作为项目初期容器编排调度方案。
解决方案:
1、部署支撑项目初期的 docker-swarm 集群,采用 5 台服务器,一
台作为 swarm-manager,其余 4 台作为
swarm-worker 节点。
2、部署设计集群网络采用 flannel+etcd 作为集群跨主机网络。
3、编写项目所需的编排调度文件,采用 docker-stack 将相关的微服
务根据依赖性编排 service 进行批量部署
4 、为项目诸多微服务的部署上线设计 CICD 架 构
(gitlab+dockerharbor+jenkins+swarm-manager)完成代码在
测试集群及线上集群的自动化及半自动化集成交付及部署。
5、日常的集群维护及集群应用项目的维护。项目十五:k8s 集群
需求分析:
随着 devops 的发展及完善,过去应用开发及部署应用的方式,是将
应用在一个使用操作系统软件包管理器的主机上。这样做的缺点是应
用程序的可执行文件、配置、库和生命周期互相影响,也会和操作系
统纠缠不清。为了支撑敏捷开发、精益开发的理念,公司采用微服务
架构开发项目,因此需要将诸多传统方式的项目转换为微服务架构,
需要一套强大的容器编排调度系统,故公司采用当下最青睐的
kubernetes 编排调度系统。
解决方案:
1、测试环境及生产环境都采用 k8s 集群作为应用编排调度部署系统。
2、测试环境采用 6 台云服务器搭建 k8s 测试集群(双 master、单
台 etcd、其余 node 节点)
3、设计部署集群的网络环境,采用 flannel 作为集群的跨主机网络。
4、生产环境采用 20 台云服务器搭建 k8s 生产集群(双 master、3
台台 etcd、其余 node 节点)
5、负责各项目相关微服务编排调度部署的不同资源文件编写和测试
使用。
6、负责梳理集群不同项目的配置管理、端口、持久化存储、负载均
衡域名等配置的标准化管理及资源文件编辑、管理。
7、负责集群日常的节点增减、各应用容器副本数量的管理及维护。
8、负责集群日志收集 ELK、集群监控 prometheus 的维护和管理。项目十六:NFS 集群升级
NFS 集群升级改造
需求分析:
1、 原共享存储服务器 NFS 的方式、存在性能瓶颈和单点故障的问
题
2、 主 NFS 存储系统宕机后,报警管理员来人为手工根据同步的日志
记录选择最快的 NFS 存储系统改为主,方案简单可行,但是需要人工
处理.难免操作失误或者时间过长。
解决方案:
1、 使用分布式文件存储管理系统 MFS 替换 NFS
2、 目前 MFS 元数据服务器存在单点问题,因此我们通过 DRBD 提
供磁盘及时同步,通过 HeartBeat 提供 Failover,来达到高可用
3、采用 MFS+DRBD+Heartbeat 高可用服务解决方案,这个解决方
案可以有效解决主 MFS 存储系统单点的问题,当主 MFS 存储宕机
后,可以实现把主 MFS 存储系统从一个主节点切换到另外一个备节
点,而新的主 MFS 存储系统还会自动和所有其他的从 MFS 存储系
统进行同步,且新主 MFS 存储系统的数据和宕机瞬间的主 MFS 存
储系统几乎完全一致,这个切换过程完全是自动进行的,从而实现了
MFS 存储系统的热备方案. 快速故障恢复,提高业务可靠性. 职责 本
人在此项目中主要负责,项目现场协调,所有服务器服务平台的搭建,
编写了 shell 脚本,使得服务器部署更加标准化项目十七:mysql 高可用
MySQL 集群读写分离及高可用方案
需求分析:
1、 新方案保证服务性能和 I/O 满足企业多台终端的快速响应需求。
2、 保证系统长期不间断的稳定运行。保证成本合理性。
3、 满足数据库系统的高可用性和可靠性。
解决方案:
1、 底层 5 台 MySQL 数据库,一主四从. 开启半同步复制.提高数
据安全
2、 使用中间件 Atlas 实现读写分离与读负载均衡,提高与程序端解
耦。
3、 在使用两台服务器搭建 LVS+Keepalived 对 Atlas 服务器做负
载均衡与高可用
4、 搭建一台主 MHA 服务器管理数据库主库热备问题.
5、 该方案极大减少服务器资源浪费,实现故障 30 秒切换,极大保
证数据库一致性 责任描述: 主要负责所有服务器服务平台的搭建,
方案设计,编写脚本。
项目十八:NFS+DRBD 高可用
NFS+DRBD+heartbeat 高可用解决方案
软件环境:Centos6.8
硬件环境:DELL R710项目描述:
刚进公司不久,后端的 NFS 服务器在网络请求的高峰期,偶尔会宕
机,使WEB服务器的挂载请求无法自动切换到备份服务器,导致 web
服务器无法正常使用,造成网络服务中止。公司领导为了避免以后出
现类似的情况要求我做一个解决方案。通过对 NFS 服务器 CPU 和内
存的负载情况进行观察,以及对 NFS 服务器之前的主要硬件的负载
数 据 进 行 查 询 , 并 进 行 仔 细 分 析 , 我 提 交 了 一 份 以
DRBD+heartbeat+NFS 的方案来解决现有问题,得到领导的批准由
我来实施这个方案。
职责:
1、负责项目的整体规划和部署;
2、负责 heartbeat 自动切换脚本的编写;
3、负责 NFS 服务搭架的主要框架的搭架;
4、通过对故障的模拟,和对元数据服务器、数据存储服务器运行数
据的观察,和之前的情况进行数据比较,形成报告;
5、项目实施报告的撰写。 后期改善: 通过配置多条独立的物理连
接,以避免 Heartbeat 通信线路本身存在的单点故障,尽量地减少
“脑裂”的发生机会。通过对 ha.cf 配置文件中,keepalive 等选项
的设置,来缩短主从服务器的切换时间。在 DRBD 中,对 replication
进程进行调整。处理 Master 端的坏块问题。项目十九:移动端与 PC 分离部署
移动端部署调优及上线
运行环境:CentOS-6.6、DELL R730
主要功能:分离移动端与 PC 业务
运用技术:Nginx 七层负载、tomcat8+jdk1.8、MHA 实现 mysql
高可用(mysql–5.6.17)、 php-5.6.30、shell 脚本发送数据检测信息
技术要点:
利用 Nginx 七层调度实现 PC 端与移动端业务分离、动静分离 七层
调度+Keepalived 高可用方案 Nginx 整合淘宝健康检测模块 代码
读写分离+数据库 mha 成熟高可用方案 定时+脚本 mysql 数据备份
及检测、发送检测结果信息到管理员手机、web 服务优化,php 优
化,tomcat 优化
项目二十:squid 透明代理
squid 透明代理
1、系统环境:CentOS6.5
2、软件工具:squid-3.0
3、项目描述:
之前公司使用的是 SNAT 上网,造成员工在工作期间利用公司网络带
宽浏览与工作无 关的网站视频,导致工作效率降低;迅雷、P2P 等
应用的泛滥,导致网络拥堵,企业 网带宽资源紧张。
职责:a) 使用 squid 代理服务对公司员工的上网行为进行管控;
b) 拟定企业上网行为管控方案;
c) 实现对内网的安全防控功能,过滤恶意网页,防范恶意攻击;
d) 限制网络行为,对迅雷、P2P 等下载软件进行智能控制;
e) 对上网行为进行精细智能管理。
5、项目成果:
项目实施完毕后,员工工作效率明显提升,保障了企业网带宽资源。
项目二十一:网站访问优化
需求分析:用户投诉说网站访问不了或访问慢,由于公司发展过程初
期没有专门的运维人员,导致诸多问题引起网站访问速度较慢甚至无
法访问等问题,继续专门的运维人员查找并解决相关问题,因为我负
责了网站访问速度优化项目的整体分析及提出解决方案。
解决方案:
出现访问网站慢的原因:
(1)如果是某个地区访问慢,如果有 cdn 的话,可能是那个地区的
cdn 节点出现问题。
(2)网站服务器出口带宽占满了
(3)服务器负载大
(4)网站代码质量问题、可以通过浏览器访问按 F12 查看哪些元素
加载慢,或者代码中 SQL 语句未优化的问题
(5)数据库服务器瓶颈优化办法:
(1)CDN 的问题,联系厂商
(2)流量带宽问题:花钱买带宽
(3)服务器负载问题:通过 top 等命令去查看占用资源较大的进程,
具体进程具体分析
(4)代码问题:这个就需要跟开发协商处理
(5)数据库瓶颈:创建索引,分库分表,读写分离
(6)整体架构优化:水平扩容,添加负载服务器,使用缓存服务器
(如 redis 等),集群高可用等
项目二十二: CICD 集成部署
需求分析:随着公司业务发展,拥有前端、服务器、后台等多个项目,
随着研发人员增加,敏捷高效开发的推进,运维继续优化代码的持续
集成及部署方案,以便在测试环境和生产环境提供高效的研发-->部
署-->测试-->生产过程流水线,因此需要梳理及完善公司代码集成
及发布流程,实现标准化的运维 CICD 系统。
解决方案:
1 、 工 具 目 前 主 流 的 devops 选 择 自 动 化 运 维 工 具 链
git+gitlab+jenkins+ansible+shell+python+企业微信/钉钉 api
2、为公司研发、测试、运维人员提供分布式代码工具 git+gitlab,依
据项目、需求提供多个代码库,并完成相应代码仓库的权限分配,支
撑各项目相关人员的代码独立分支开发的需求。3、完成测试环境 jenkins 系统多个项目完全自动化拉取代码并部署
代码至测试服务器,实现了持续集成交付、持续部署的高效流水线,
为研发、测试人员的工作流提供有力保障。
4、完成生产环境 jenkins 系统多个项目半自动化(标准化上线,规
定时间、运维触发)拉取测试并集成完整的项目代码并部署至相应的
项目服务器,完成生产环境的小步快跑的迭代更新需求,为生产环境
提供了灵活高效安全的服务客户的有力保障。
5、结合钉钉、企业微信等 api 接口编写构建触发通知、完成及失败
通知等脚本、实现jenkins构建及时通知相关人员追踪构建部署过程,
实现责任到人的及时跟踪,是项目 CICD 过程更加高效。