智能web网页爬虫原理,不用写一行代码

列表页解析

列表定位

  1. 同性质子元素排序
  2. 元素面积排序
  3. 用户确认区域后元素xpath并存储

分页按钮定位

  1. 不包含子元素且文字包含“下一页,点击查看更多”等文字的标签。
  2. 调用dom.click()方法自动进入下一页,或者提取链接,存储xpath

列表项解析

  1. 标题解析:列表项中字体权重最大的标签为标题。用户确认后存储xpath。
  2. 详情链接提取:标题往上找到a标签。解析后存储xpath
  3. 封面解析:列表项中面积最大的图片。存储xpath

详情页解析

内容识别

  1. 标题:标题使用列表项的标题即可。
  2. 详情:文本类子元素最多的元素,且页面面积占用最大。存储xpath。
  3. 时间解析:正则匹配时间即可,匹配到之后尝试缓存xpath。
  4. 来源解析:正则匹配即可,同上。

后处理

  • 详情:希望保留详情的一些排版,比如代码块,高亮区域等。将HTML转为Markdown即可。在使用时转回HTML显示。
  • 时间:使用dateparser将时间转为ISO8601标准时间或者时间戳即可。
  • 存储:建议存储至MongoDB,无需提前定义表结构。
上述方案兼容90%的标准网站,比如拉钩,京东,segmentfault,v2ex,58同城等等。

DEMO已经开发完毕,交流讨论或者商业合作请发站内信。

你可能感兴趣的:(python,javascript)