6月29实训报告

概况

与前端协调好界面;组内开会,确认具体功能;完成测试

内容

PPT介绍内容

1. 根据设计的框架 编写数据库操作底层代码

• Mongo 建立连接 ,获取数据库 ,获取集合 ,获取网格文件系统
• Redis 连接池 ,监听式订阅发布 ,列表操作, 哈希操作, 普通发布订阅 锁操作(把pubsub想一个锁问题出来)

2. 队友完成节点基本功能后(挂载与获取redis信息,获取mongodb节点信息),把后端项目封装成docker镜像,实现单机多节点部署;维护github上的队友的模块;在节点上新增获取节点ip地址,mac地址的注册功能
3. 队友完成爬虫的基本功能后(上传爬虫文件到主节点,上传爬虫文件到gridfs,下载爬虫文件到本地),把爬虫与节点模块整合,实现各节点同步爬虫文件,维护镜像
4. 队友完成任务的基本功能后(任务的发配,python爬虫的运行),把三个主要模块整合,更新了节点通信功能,至此能满足的节点通信功能有:<1.工作节点更新心跳&主节点根据心跳判断在线节点 2.任务的发布&任务的获取 3.所有节点同步删除指定爬虫文件 4.指定节点停止指定爬虫任务> , 分布式架构基本构造完毕.;封装维护镜像
5. 与前端进行接口设计与校验(样例怎么设计的呢;前后端是怎么交互的呢:端口映射 跨域)
6. 新增scrapy爬虫端口
7. 新增文件与文件目录可视化接口
8. 爬虫样例测试