使用python进行web抓取

http://cxy.liuzhihengseo.com/462.html

本文摘要自Web Scraping with Python – 2015

书籍下载地址:https://bitbucket.org/xurongzhong/python-chinese-library/downloads

源码地址:https://bitbucket.org/wswp/code

演示站点:http://example.webscraping.com/

演示站点代码:http://bitbucket.org/wswp/places

推荐的python基础教程: http://www.diveintopython.net

HTML和JavaScript基础:

http://www.w3schools.com

web抓取简介

  • 为什么要进行web抓取?

网购的时候想比较下各个网站的价格,也就是实现惠惠购物助手的功能。有API自然方便,但是通常是没有API,此时就需要web抓取。

  • web抓取是否合法?

抓取的数据,个人使用不违法,商业用途或重新发布则需要考虑授权,另外需要注意礼节。根据国外已经判决的案例,一般来说位置和电话可以重新发布,但是原创数据不允许重新发布。

更多参考:

http://www.bvhd.dk/uploads/tx_mocarticles/S_-_og_Handelsrettens_afg_relse_i_Ofir-sagen.pdf

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

  • 背景研究

robots.txt和Sitemap可以帮助了解站点的规模和结构,还可以使用谷歌搜索和WHOIS等工具。

比如:http://example.webscraping.com/robots.txt

更多关于web机器人的介绍参见 http://www.robotstxt.org。
Sitemap的协议: http://www.sitemaps.org/protocol.html,比如:

站点地图经常不完整。

站点大小评估:
通过google的site查询 比如:site:automationtesting.sinaapp.com

站点技术评估:

分析网站所有者:

  • 抓取第一个站点

简单的爬虫(crawling)代码如下:

可以基于错误码重试。HTTP状态码:https://tools.ietf.org/html/rfc7231#section-6。4**没必要重试,5**可以重试下。

维护成本比较高。
Beautiful Soup:

完整的例子:

Lxml基于 libxml2(c语言实现),更快速,但是有时更难安装。网址:http://lxml.de/installation.html。

lxml的容错能力也比较强,少半边标签通常没事。

下面使用css选择器,注意安装cssselect。

在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。

“CSS” 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)

选择器 例子 例子描述 CSS
.class .intro 选择 class=”intro” 的所有元素。 1
#id #firstname 选择 id=”firstname” 的所有元素。 1
* * 选择所有元素。 2
element p 选择所有元素。 1
element,element div,p 选择所有 

元素和所有元素。

1
element element div p 选择 

元素内部的所有元素。

1
element>element div>p 选择父元素为 

元素的所有元素。

2
element+element div+p 选择紧接在 

元素之后的所有元素。

2
[attribute] [target] 选择带有 target 属性所有元素。 2
[attribute=value] [target=_blank] 选择 target=”_blank” 的所有元素。 2
[attribute~=value] [title~=flower] 选择 title 属性包含单词 “flower” 的所有元素。 2
[attribute|=value] [lang|=en] 选择 lang 属性值以 “en” 开头的所有元素。 2
:link a:link 选择所有未被访问的链接。 1
:visited a:visited 选择所有已被访问的链接。 1
:active a:active 选择活动链接。 1
:hover a:hover 选择鼠标指针位于其上的链接。 1
:focus input:focus 选择获得焦点的 input 元素。 2
:first-letter p:first-letter 选择每个元素的首字母。 1
:first-line p:first-line 选择每个元素的首行。 1
:first-child p:first-child 选择属于父元素的第一个子元素的每个元素。 2
:before p:before 在每个元素的内容之前插入内容。 2
:after p:after 在每个元素的内容之后插入内容。 2
:lang(language) p:lang(it) 选择带有以 “it” 开头的 lang 属性值的每个元素。 2
element1~element2 p~ul 选择前面有元素的每个 

    元素。
3
[attribute^=value] a[src^="https"] 选择其 src 属性值以 “https” 开头的每个元素。 3
[attribute$=value] a[src$=".pdf"] 选择其 src 属性以 “.pdf” 结尾的所有 元素。 3
[attribute*=value] a[src*="abc"] 选择其 src 属性中包含 “abc” 子串的每个元素。 3
:first-of-type p:first-of-type 选择属于其父元素的首个元素的每个 

元素。

3
:last-of-type p:last-of-type 选择属于其父元素的最后元素的每个 

元素。

3
:only-of-type p:only-of-type 选择属于其父元素唯一的元素的每个 

元素。

3
:only-child p:only-child 选择属于其父元素的唯一子元素的每个元素。 3
:nth-child(n) p:nth-child(2) 选择属于其父元素的第二个子元素的每个元素。 3
:nth-last-child(n) p:nth-last-child(2) 同上,从最后一个子元素开始计数。 3
:nth-of-type(n) p:nth-of-type(2) 选择属于其父元素第二个元素的每个 

元素。

3
:nth-last-of-type(n) p:nth-last-of-type(2) 同上,但是从最后一个子元素开始计数。 3
:last-child p:last-child 选择属于其父元素最后一个子元素每个元素。 3
:root :root 选择文档的根元素。 3
:empty p:empty 选择没有子元素的每个元素(包括文本节点)。 3
:target #news:target 选择当前活动的 #news 元素。 3
:enabled input:enabled 选择每个启用的 元素。 3
:disabled input:disabled 选择每个禁用的 元素 3
:checked input:checked 选择每个被选中的 元素。 3
:not(selector) :not(p) 选择非

元素的每个元素。

3
::selection ::selection 选择被用户选取的元素部分。 3

CSS 选择器参见:http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面通过提取如下页面的国家数据来比较性能:

比较代码:

Windows执行结果:

Linux执行结果:

其中 re.purge() 用户清正则表达式的缓存。

推荐使用基于Linux的lxml,在同一网页多次分析的情况优势更为明显。

 问啊-定制化IT教育平台,牛人一对一服务,有问必答,开发编程社交头条 官方网站:www.wenaaa.com 下载问啊APP,参与官方悬赏,赚百元现金。


QQ群290551701 聚集很多互联网精英,技术总监,架构师,项目经理!开源技术研究,欢迎业内人士,大牛及新手有志于从事IT行业人员进入!

你可能感兴趣的:(Python)