拓展 反爬虫项目

反爬虫项目

阶段划分

目标:了解反爬虫项目的阶段划分,以及每个阶段要学习的内容
第一阶段
加粗样式反爬虫项目总体价绍,主要包括(背景、需求、流程、架构、openresty介绍、lua语法学习)
第二阶段
Lua采集数据写入kafka,搭建项目框架、Streaming读取kafka数据、链路统计功能实现
第三阶段
实现数据预处理的数据清洗、脱敏、拆分、分类(飞行类型/操作类型,单程/往返)、解析等功能
第四阶段
实现数据预处理的数据历史爬虫、结构化、数据推送、数据预处理监控、前端读取后端数据等功能
第五阶段
读取预处理后的数据、进行封装、分别统计八个指标的数据
单位时间内的IP段访问量(前两位)
某个IP,单位时间内总访问量
某个IP,单位时间内的关键页面访问总量
某个IP,单位时间内的UA种类数统计
某个IP,单位时间内的关键页面最短访问间隔
某个IP,单位时间内小于最短访问间隔(自设)的关键页面查询次数
某个IP,单位时间内查询不同行程的次数
某个IP,单位时间内关键页面的访问次数的Cookie数

第六阶段
根据已经算出的八项指标结果,进行爬虫识别、剔除非爬虫数据、写入Redis,写入HDFS,Redis数据恢复等
第七阶段
爬虫分析性能的计算与监控、离线指标分析

逻辑架构设计
拓展 反爬虫项目_第1张图片

你可能感兴趣的:(linux)