专项测试技能和线上线下监控

测试技术栈
黑盒测试,白盒测试,灰盒测试,QTP,LR
Web测试,Selenium,Junit,Cucumber,Watir,RF
APP测试,APPium,Robtium,instruments-Automation,monken,Mock,SDK,H5
接口测试,RestAssured,Jmeter,性能压测,APP专项,STF,CI,全链路,监控
Docker,ELK,RPF接口测试,自动化平台,流量回放,精准自动化,代码扫描,APM,Trace
CD,测试中台,效能工具,DevOps,专项,稳定性,数据质量,算法评测

专项测试技能和线上线下监控_第1张图片

线下监控

模型质量
模型评估,模型性能,特征计算,特征调度,特征分析,样本验证
数据质量
源到目标,数据约束,关键字段,完整性,准确性,性能,规则,一致性,元数据
工程质量
业务逻辑,白盒测试,静态检查,条件覆盖,分支覆盖,接口测试
自动化,工具化,服务化,可视化,CD4ML
CD4ML:
利用机器学习交付(CD4ML)使业务应用和服务智能化,并不仅仅是训练模型并为其提供服务。它需要实现一整套端到端、持续可重复的模型训练、测试、部署、监控和运维周期。机器学习下的持续交付 是一种可靠的端到端开发、部署和监控机器学习模型的技术。支撑CD4ML的基础技术栈包括数据访问和探索工具、工件(例如数据、模型和代码)的版本控制、持续交付流水线、用于各种部署和实验的自动化环境设置、模型性能评估和跟踪,以及模型运作的可观测性。公司可以根据现有的技术栈选择自己的工具集。CD4ML强调自动化和避免手工交接。CD4ML是我们开发机器学习模型的默认方法。
在构建和部署模型的端到端过程中,CD4ML消除了不同团队、数据工程师、数据科学家和ML工程师之间的手动传递。使用CD4ML,我们的团队成功地实现了基于ML的应用程序所有组件的自动化版本管理,测试和部署,包括数据,模型和代码。
线上监控
服务监控,日志监控,数据监控,模型监控,特征监控。。。。
服务监控:
   1.编码粗心导致的PHP Syntax/Parse Error
   2.程序代码中的PHP Fatal Error
   3.程序代码中的PHP Warning
   4.数据库访问导致的DB Error/Timeout等
   5.缓存系统Redis相关的错误
   6.缓存系统Memcache相关的错误
   7.线上接口的可用性监控
   8.线上接口的响应时间监控
DB、Memcache、Redis相关错误的监控
    1. 具体的SQL
    2.具体的DB、Table
    3.错误栈
    4.对应的接口名称
    5.服务器IP
    6.具体错误号(内容)
    7.出错的Memcache Key
    8.错误栈
    9.对应的接口名称
    10.服务器IP
日志监控:
日志的收集及日志处理
日志的收集分类两大部分
1.Nginx日志和数据库运行日志
2.Tomcat类型的服务,选择使用log4j内置的fulume-appender方式来实现
对于收集到的日志,统一采用kafkaSink的方式输送到后续的kafka中,以备后续处理。
日志处理部分:
对于收集到的日志,我们采用的是Spark-Streaming工具,将其与kafka对接

专项测试技能和线上线下监控_第2张图片

 

你可能感兴趣的:(信息系统项目管理)