python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容
python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容
Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。
Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation
http://www.crummy.com/software/BeautifulSoup/bs4/doc/
[学习]用python的BeautifulSoup分析html - 三夜灯 - 博客园
http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html
Beautiful3 Soup documentation 中文文档只有bs3的，最新的只有英文版的
http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start
热血狂徒 / zyspider - 代码托管 - 开源中国社区
http://git.oschina.net/coos/zyspider
python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容 - 流风，飘然的风 - 博客园
http://www.cnblogs.com/zdz8207/p/python_learn_note_13.html
============================================
BeautifulSoup4的安装
一、使用pip直接安装beautifulsoup4 （如何安装pip请看上一篇文章介绍）
F:\kanbox\pythoncode\zyspider>pip install beautifulsoup4
Collecting beautifulsoup4
Downloading beautifulsoup4-4.4.0-py3-none-any.whl (80kB)
328kB/s
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4-4.4.0
F:\kanbox\pythoncode\zyspider>
或者从官网下载Beautifulsoup的软件包，然后解压，cmd命令行进入解压包目录，输入以下命令安装：python setup.py install
=======================================
网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例代码：
1 __author__ = 'zdz8207' 2 from bs4 import BeautifulSoup 3 4 import urllib.request 5 import urllib.parse 6 import re 7 import urllib.request, urllib.parse, http.cookiejar 8 9 def getHtml(url): 10 cj = http.cookiejar.CookieJar() 11 opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) 12 opener.addheaders = [('User-Agent', 13 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'), 14 ('Cookie', '4564564564564564565646540')] 15 16 urllib.request.install_opener(opener) 17 18 html_bytes = urllib.request.urlopen(url).read() 19 html_string = html_bytes.decode('utf-8') 20 return html_string 21 22 html_doc = getHtml("http://zst.aicai.com/ssq/openInfo/") 23 soup = BeautifulSoup(html_doc, 'html.parser') 24 25 # print(soup.title) 26 #table = soup.find_all('table', class_='fzTab') 27 #print(table)#<tr onmouseout="this.style.background=''" 这种tr丢失了 28 #soup.strip() 加了strip后经常出现find_all('tr') 只返回第一个tr
29 tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"}) 30 #print(tr) 31 tds = tr.find_all('td') 32 opennum = tds[0].get_text() 33 #print(opennum) 34 35 reds = [] 36 for i in range(2,8): 37 reds.append(tds[i].get_text()) 38 #print(reds) 39 blue = tds[8].get_text() 40 #print(blue) 41 42 #把list转换为字符串:(',').join(list) 43 #最终输出结果格式如：2015075期开奖号码：6,11,13,19,21,32, 蓝球：4 44 print(opennum+'期开奖号码：'+ (',').join(reds)+", 蓝球："+blue)
python3.4学习笔记(十四) 网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例 - 流风，飘然的风 - 博客园
http://www.cnblogs.com/zdz8207/p/python_learn_note_14.html
从上实例可以看出使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。
=======================================
Python2.7 安装 beautifulsoup4-4.4.0 下载地址：http://www.crummy.com/software/BeautifulSoup/bs4/download/4.4/
安装方法：cmd, cd进入beautifulsoup的 setup.py 所在的那个目录(如: D:\download\beautifulsoup4-4.4.0)，然后运行
python setup.py build
python setup.py install
版本升级到4，引入包要用
import bs4
from bs4 import BeautifulSoup
不能直接用
from BeautifulSoup import BeautifulSoup
python3.4中可以直接使用from bs4 import BeautifulSoup
注：在同一台电脑上安装2.7和3.4的会导致使用pip命令在2.7情况下安装不了Beautifulsoup4
=======================================
导入模块
#!/usr/bin/env python
from bs4 import BeautifulSoup #process html
#from bs4 import BeautifulStoneSoup #process xml
#import BeautifulSoup #all
创建对象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup对象。
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story"><a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc)
soup 就是BeautifulSoup处理格式化后的字符串，soup.title 得到的是title标签，soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all
函数。find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.
get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()
其实是可以获得标签的其他属性的，比如我要获得a标签的href属性的值，可以使用 print soup.a['href'],类似的其他属性，比如class也是可以这么得到的（soup.a['class']）。
特别的，一些特殊的标签，比如head标签，是可以通过soup.head 得到，其实前面也已经说了。
如何获得标签的内容数组？使用contents 属性就可以 比如使用 print soup.head.contents，就获得了head下的所有子孩子，以列表的形式返回结果，
可以使用 [num] 的形式获得 ,获得标签，使用.name 就可以。
获取标签的孩子，也可以使用children，但是不能print soup.head.children 没有返回列表，返回的是 <listiterator object at 0x108e6d150>,
不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。
关于string属性，如果超过一个标签的话，那么就会返回None，否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story
超过一个标签的话，可以试用strings
向上查找可以用parent函数，如果查找所有的，那么可以使用parents函数
查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的，那么在对应的函数后面加s就可以
如何遍历树？
使用find_all 函数
find_all(name, attrs, recursive, text, limit, **kwargs)
举例说明：
print soup.find_all('title')
print soup.find_all('p','title')
print soup.find_all('a')
print soup.find_all(id="link2")
print soup.find_all(id=True)
返回值为：
[<title>The Dormouse's story</title>]
[<p class="title"><b>The Dormouse's story</b></p>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
通过css查找,直接上例子把：
print soup.find_all("a", class_="sister")
print soup.select("p.title")
通过属性进行查找
print soup.find_all("a", attrs={"class": "sister"})
通过文本进行查找
print soup.find_all(text="Elsie")
print soup.find_all(text=["Tillie", "Elsie", "Lacie"])
限制结果个数
print soup.find_all("a", limit=2)
结果为：
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<p class="title"><b>The Dormouse's story</b></p>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[u'Elsie']
[u'Elsie', u'Lacie', u'Tillie']
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
总之，通过这些函数可以查找到想要的东西。
=================================================
最简单的爬虫，在Python3中，urllib库可以独立完成这些工作。下面是直接在python控制台上输入的代码最简单的爬虫，可以获取到原始字节及解码后的文本。
>>> import urllib.request as request
>>> url = 'http://www.baidu.com'
>>> origin_bytes = request.urlopen( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )
>>> print(origin_string)
其中origin_bytes现在得到了传输过来的原始字节，而origin_string则是将这些原始字节以UTF-8编码方式解码出来的原始字符串。
然后我们就可以使用各种HTML解析工具或单纯地用文本解析工具来获取需要的数据。
使用headers伪装成浏览器进行访问
有的网站比如说http://www.oschina.net，如果用上面那种方法来访问，则会返回403拒绝访问的错误信息。这是因为有部分网站禁止除浏览器之外的方法进行访问。
需要在发送请求的时候加入headers信息，伪装成浏览器，这样就不会出现403的错误了。抓取频繁时还需要变化head信息和采用代理IP的方式。
下面是一个最简单的使用headers的例子。
>>> import urllib.request as request
>>> url = 'http://www.oschina.net'
>>> headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
>>> opener = request.build_opener()
>>> opener.addheaders = [ headers ]
>>> origin_bytes = opener.open( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )
其中headers可以从浏览器的调试工具中看到，比如firefox中的firebug，可以复制curl内容进行分析。