输出结果：
每个商品的信息存入字典，使用列表保存所有商品信息
$ python 1.2.py
[{'star_num': u'65 reviews', 'price': u'$24.99', 'star_level': 5, 'img': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'title': u'EarPod'}, {'star_num': u'12 reviews', 'price': u'$64.99', 'star_level': 4, 'img': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'title': u'New Pocket'}, {'star_num': u'31 reviews', 'price': u'$74.99', 'star_level': 4, 'img': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'title': u'New sunglasses'}, {'star_num': u'6 reviews', 'price': u'$84.99', 'star_level': 3, 'img': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'title': u'Art Cup'}, {'star_num': u'18 reviews', 'price': u'$94.99', 'star_level': 4, 'img': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'title': u'iphone gamepad'}, {'star_num': u'18 reviews', 'price': u'$214.5', 'star_level': 4, 'img': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'title': u'Best Bed'}, {'star_num': u'35 reviews', 'price': u'$500', 'star_level': 4, 'img': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'title': u'iWatch'}, {'star_num': u'8 reviews', 'price': u'$15.5', 'star_level': 4, 'img': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'title': u'Park tickets'}]
作业 github 地址
功能，获取:
- 图片地址
- 价格
- 商品标题
- 评分量
- 评分星级
小结
--
安装第三方库
系统：MAC OS 10.10.5
- beautifulsoup4
网页解析工具
pip install beautifulsoup4
- requests
HTTP 请求工具
pip install requests
- lxml
HTML 页面解析器
需要先安装C语言库：
xcode-select --install
pip install lxml
BeautifulSoup
需要被解析的 HTML 文件
可以通过 open 打开本地的 HTML 文件，作为参数传递给 BeautifulSoup
soup = BeautifulSoup(open("index.html"), 'lxml')
也可以先通过web_data = requests.get(url)向一个 url 发送 HTTP 请求，获得HTTP 响应，然后将响应中的 HTML 页面内容web_data.text传递给 Beautifulsoup
soup = Beautifulsoup(html,'lxml')
'lxml'是解析器，Beautifulsoup 使用解析器对 HTML 页面进行结构化，用于后续的处理。
如果在使用 BeautifulSoup 解析时，没有指定解析器，BeautifulSoup会自动查找并使用当前系统中最合适的。
$ python 1.2.py
/lib/python2.7/site-packages/bs4/__init__.py:166: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.
To get rid of this warning, change this:
BeautifulSoup([your markup])
to this:
BeautifulSoup([your markup], "lxml")
解析器有五种：lxml，html.parser，lxml HTML，lxml XML，html5lib
几种解析器的比较
Beautiful Soup 4.2.0 文档
BeautifulSoup 学习笔记
BeautifulSoup 的选择器得到的是列表
.find_all
抓取星级的时候，先直接定位到span
stars = soup.select("div.ratings > p > span")
print stars
这样打印出来的列表，包括了(空的星星)和(实的星星)
于是按照作业提示，使用find_all：
find_all( name , attrs , recursive , text , **kwargs )
元素名: "span"，属性: "glyphicon glyphicon-star"，递归，内容
筛选出了所有的实心星星
stars = soup.find_all("span", "glyphicon glyphicon-star")
但是这样，所有商品的星级都在一个列表中，为了对每个商品的星星单独用列表计算，先获取星级的父级元素
多对一的关系：想获取一个层级的所有元素，应该在父级元素就停下来
parents = soup.select("div.ratings")
使用.find_all获取一个父级标签下所有子标签内的文本信息，是处理多个文本的高级的.get_text()
star_level = parent.find_all("span", "glyphicon glyphicon-star")
可以获取父元素下span元素 属性为"glyphicon glyphicon-star"的列表
[, , , ]
计算列表长度即可
len(star_level)