教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口

项目基于express+sequelize+mysql+express-validator
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据

项目地址： https://github.com/ecitlm/Node-SpliderApi.git

• express作为基础框架
• sequelize操作mysql
• mysql存储数据
• express-validator参数表单校验
• 使用cheerio解析爬虫页面
• 集成ejs模板
• 集成swaggerUI接口文档
• nodemon项目开发动态热更新
• dotenv管理配置系统参数
• 包含接口sign请求验证
• log4js 错误日志收集

环境要求

需要安装node环境,mysql数据库

部署运行

$ git clone https://github.com/ecitlm/Node-SpliderApi.git
$ npm install
#  start project dev
$ npm run dev
# starting prd
$ npm run prd
#localhost:3001

服务器部署

在服务器中使用 pm2 对 node 服务进行进程守护

#启动进程/应用
pm2 start npm --watch --name tools -- run prd
pm2 restart tools
pm2 stop tools
pm2 delete tools

数据库

mysql中包含、唐诗300、成语、历史的今天、星座运势(聚合平台数据-需要申请自己的APPCODE)、用户表等数据
项目目录bak-file文件夹可查看

接口文档

启动项目之后http://localhost:3001/api-docs/ 可查看接口文档页面,
[图片上传失败...(image-f3de9b-1653441669449)]
[图片上传失败...(image-dece1d-1653441669449)]

错误码说明

状态码	含义	备注
200	响应正常
1001	参数无效、如一个不存在的id
1002	参数为空、验证不通过、参数类型错误
1003	请求签名异常、非法
404	请求不存在
405	请求方式错误
9999	第三方接口请求异常
500	系统异常