教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口

项目基于express+sequelize+mysql+express-validator
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据

项目地址: https://github.com/ecitlm/Node-SpliderApi.git

  • express作为基础框架
  • sequelize操作mysql
  • mysql存储数据
  • express-validator参数表单校验
  • 使用cheerio解析爬虫页面
  • 集成ejs模板
  • 集成swaggerUI接口文档
  • nodemon项目开发动态热更新
  • dotenv管理配置系统参数
  • 包含接口sign请求验证
  • log4js 错误日志收集

环境要求

需要安装node环境,mysql数据库

部署运行

$ git clone https://github.com/ecitlm/Node-SpliderApi.git
$ npm install
#  start project dev
$ npm run dev
# starting prd
$ npm run prd
#localhost:3001

服务器部署

在服务器中使用 pm2node 服务进行进程守护

#启动进程/应用
pm2 start npm --watch --name tools -- run prd
pm2 restart tools
pm2 stop tools
pm2 delete tools

数据库

mysql中包含、唐诗300、成语、历史的今天、星座运势(聚合平台数据-需要申请自己的APPCODE)、用户表等数据
项目目录bak-file文件夹可查看

接口文档

启动项目之后http://localhost:3001/api-docs/ 可查看接口文档页面,
[图片上传失败...(image-f3de9b-1653441669449)]
[图片上传失败...(image-dece1d-1653441669449)]

错误码说明

状态码 含义 备注
200 响应正常
1001 参数无效、如一个不存在的id
1002 参数为空、验证不通过、参数类型错误
1003 请求签名异常、非法
404 请求不存在
405 请求方式错误
9999 第三方接口请求异常
500 系统异常

你可能感兴趣的:(教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口)