python爬取京东商品列表

技术要点

本文我们用京东网站作为测试目标,而电商网站都有很多动态内容,比如,产品价格和评论数等等,往往采用后加载的方式,在html源文档加载完成以后再执行javascript代码把动态内容填写上,所以,本案例主要验证动态内容的抓取。

另外,本文案例没有使用GooSeeker爬虫API,而是把MS谋数台生成的xslt脚本程序保存在本地文件中,在程序运行的时候把文件读出来注入到gsExtractor提取器。后续会有专门的案例演示 API的使用方法。

总之,本示例两个技术要点总结如下:

从本地文件读取xlst程序

把xlst注入到提取器gsExtractor中,利用xslt从网页上一次提取性多个字段内容。

python源代码

python爬取京东商品列表_第1张图片

抓取结果

运行上面的代码,就会爬取京东手机品类页面的所有手机型号、价格等信息,并保存到本地文件“京东手机列表_1.xml”中。我们用浏览器打开这个结果文件,会看到如下的内容

python爬取京东商品列表_第2张图片

你可能感兴趣的:(Python爬虫)