爬虫项目的健壮性如何保持

健壮性是指?

  • 程序异常控制,报错机制成熟
  • 程序出异常,将损失降低到最小
  • 维护成本低

程序解耦

  • 按功能解耦(横向)
  • 按运行顺序解耦(纵向)

异常控制处理

  • 定制异常,对逻辑上出现的异常进行自定义异常
  • 对能预见的可能发生的异常进行捕获处理

日志记录程序运行情况

  • 部署以后,应当对日志设置自动报警机制

数据永久持久化

  • 对运行状态进行保存
  • 对抓取的原始数据(或清洗后的数据)进行 保存

你可能感兴趣的:(爬虫项目的健壮性如何保持)