杀京东价格监控软件项目开发日志

**************************************************************************************************
2015年 开发日志


09.21 正式启动砍价王(代号:KillPricer、KillJD、JDKill)项目的开发
      前期主要需求为:
      1、能收录京东商品信息(如名称、价格、好评率等);
      2、能查阅商品历史价格;
      3、商品价格有变动时,可以给予使用者提示;
      4、使用C#开发WinForm,使用Sqlite作为本地数据库;
      5、在熟悉了如何获取京东商品数据后,考虑使用KingFrame框架进行开发;
      6、后期将开发Web版及Android版。

09.26 后期规划
      1、低价播报:产品最低价格第一时间更新,更多减价技巧同步分享。
      2、黑白名单:谁卖假货水货慢发货;谁诚信可靠有保障,全网最全数码商家黑白名单。
      3、导购资讯:最真知灼见的文章,告诉您能否买何时买怎么买,消费者报告每周更新。
      4、智能推荐:人性化推荐,无须了解产品,系统帮您筛选最适合的数码产品。
      5、消费者报告:当前热门产品最客观公正的评测,同时配有产品缺点的吐槽视频评测。


      当前问题:
      如何快捷的导入商品数据;


09.28 完善基本业务流程:
      查看商品信息时,获取商品本地存储历史价格信息;


09.30 修改获取商品信息方式,使用具体对象解析Json文件。
      自营 1111908
      旗舰店 1711116(无货) 1108248
      第三方 1700908129


10.07 增加更新商品信息功能;
      增加商品列表根据库存情况(下柜、有货、无货、配送)显示不同颜色;


10.11 商品更新采用多线程;
      增加显示更新进度条;
      增加导入商品界面(包括导入进度条);
      增加重点关注(可自动更新、价格变动时可提示消息)字段,限制在10个以内;
 
      修改需求:商品列表中应包括当前价格和价格获取时间字段,取消URL字段显示


      调研:确定客户端登录京东的可行性,以及如何获取到关注的数据。


10.12 主界面增加按树形分类在列表中显示对应数据;


10.14 树形目录增加“全部”分类,默认显示全部分类下数据;
      更新商品信息时条目包括:“价格”、“询价日期”、“库存状况”。


10.27 新需求:价格需要增加“来源”字段,比如京东、手机、超市(如欧尚、沃尔玛、家乐福、红旗等);
      列表增加图片展示(卡片模式,使用图片);
      增加自动获取(采集)当前浏览器所有京东页面商品信息。


11.02 新需求:
      在商品信息界面图片应有多张显示;


12.14 新需求:
      获取商品信息时给出动画等待窗体,当网络情况比较差时,能给用户提示;
      更新数据应有更新日志;
      获取更新信息后,应更新库存、价格;
      列表界面应醒目显示价格变动的商品。


12.15 重构:
      将获取京东Json数据单独写到一个程序集中,方便以后Web版本复用。


12.29 新增更新规则:
      当天价格若重复,则不入库;
      价格若有变化,则需修改“价格趋势”字段;
      获取手机端价格。


**************************************************************************************************
2016年 开发日志


01.11 在列表中增加历史底价栏


01.17 考虑SQLite数据库加密解决方案;
      增加增删改分类功能;
      修订获取商品bug。


01.25 新需求:考虑增加对地区的设置操作,通过地区可以判断商品是否有货;但是京东地区数据获取很麻烦。


01.26 新需求:
      1、将获取到的网页数据、反馈数据保存到本地HTML、Json文件中;
      2、保存图片文件原始路径(网页路径),并可在界面上重新获取图片数据到本地(解决图片丢失问题)。


01.27 新需求:
      增加判断网络连接情况功能(如通过Ping获取返回值,判断网络是否连接,连接速率多少);
      可最小化到托盘;
      更新商品数据应支持自动更新,可设置自动更新时长(如1小时更新一次,1天更新一次等);
      增加商品价格趋势曲线图功能:一个商品最多取30条价格记录做为画线点;
      在数据库中增加系统配置表,包括版本号,用于后期软件升级判断;
      安装程序的制作(包括.Net4.5的判断,DevExpress控件及其它关联动态库的封装)及纯净版Win7下的测试。
      
      新规则:
      添加商品时,应根据商品编号判断商品是否已存在。


      新问题:
      如何模拟登录京东并获取用户关注商品数据。


01.28 新问题:
      如何快捷通知用户价格变化(对重点关注商品能给予提示,如邮件、QQ)。


02.03 新增功能:
      使用向导方式导入商品数据(文本、IE、京东关注);
      
      新问题:
      模拟京东登录时,如何获取验证码?


      新需求: -->黄恒
      询价时自动添加到历史记录;
      增加差评数据在本地的展示。


      重大事件:
      对外发布1.1版本。


02.04 Bug处理:
      删除商品时,应将商品历史记录、本地文件、图片同步删除;
 在主界面左边分类列表中增加“未分类”标签。


      新需求:
      自动清理无主历史记录及文件。


02.15 完成商品价格趋势图功能。


02.23 Bug未处理:
      1、更新商品信息时,对下柜或无货商品未更新;
 2、导入关注数据时,可能出现导入失败,线程逻辑还有问题;
 3、部分功能未完成,如自动按配置进行更新、设置用户操作区域(对库存有影响);
 3、程序整体架构比较混乱,需要重构。


      整理并发布“杀京东1.0”源码。


03.01 完成商品类别迁移功能;
      解决程序运行中经常卡顿问题(获取网络状态时未使用多线程);


 新需求:
 将选中商品加入购物车。


03.02 使用GridView自带的查询功能替换原查询;
      新增在程序主界面下状态栏中显示当前用户名、当前分类、商品数量;
 新增系统配置功能界面;
 
 解决导入京东网站关注商品数据量比较大时,经常导入失败问题。


03.05 解决因京东登录界面参数变动导致无法登陆京东问题;
      登录时可重新获取验证码。


03.07 解决获取关注数据进度条显示异常问题;
      解决多次获取关注数据时报异常问题;
      解决再次获取图片异常问题。


03.10 新需求:如果商品无图或获取图片失败时,显示杀京东推广图。
      
03.14 新需求:分类中新增价格趋势快速定位(在全部下增加走低、涨价、持平);
      商品信息界面重构。


03.15 新需求:可拖动商品进行归类;


      Bug:
 下柜商品数据获取异常;
 部分商品海报图片获取异常。

你可能感兴趣的:(OpenSource,爬虫实战:电商采数令)