Python 实战：week1 实战作业

运行结果：

$ python 1.py
商品信息
北京二手平板电脑
国行99新 ipad air 出售 32g
2016-05-22
2000
-
0
[u'\u5927\u5174', u'-', u'\u4ea6\u5e84']
====================
商品信息
北京二手平板电脑
首信智能学习平板电脑
2016-05-22
1500
-
4
[u'\u4e30\u53f0', u'-', u'\u65b0\u53d1\u5730']
====================
商品信息
北京二手平板电脑
微软 surface3 平板电脑
2016-05-22
3800
-
54
[u'\u6000\u67d4', u'-', u'\u96c1\u6816']

代码：

#!/usr/bin/env python
# coding: utf-8

import time

from bs4 import BeautifulSoup
import requests


def get_views(detail_url):
    """获取指定页面的浏览量"""

    infoid = detail_url.split("?")[0].split("/")[-1].strip("x.shtml")

    views_url = "http://jst1.58.com/counter?infoid={}".format(infoid)
    # print views_url

    headers = {"Referer": detail_url}

    views = requests.get(views_url, headers=headers).text.split("=")[2]

    # print views
    return views


def get_detail_url(pages, source):
    """获取需要爬取的详细商品url"""

    urls = []

    for i in range(pages):
        infolist_url = "http://bj.58.com/pbdn/{source}/pn{page}".format(source=source, page=i+1)

        infolist_page = requests.get(infolist_url)
        time.sleep(1)
        # print infolist_page

        soup = BeautifulSoup(infolist_page.text, 'lxml')

        detail_pages = soup.select("#infolist > table.tbimg > tr[logr] > td.img > a")

        urls = [i.get('href') for i in detail_pages] # 第一条是推广，跳过

    # print urls
    return urls[2:-1]


def get_detail_info(page=1, source=0):
    """获取详细页面的信息"""

    urls = get_detail_url(page, source)

    for i in urls:

        print u"商品信息"

        detail_page = requests.get(i)
        time.sleep(1)

        detail_soup = BeautifulSoup(detail_page.text, 'lxml')

        class_info = detail_soup.select("span.crb_i > a")[1].get_text()
        print class_info

        title = detail_soup.select("div.col_sub.mainTitle > h1")[0].get_text()
        print title

        creat_time = detail_soup.select(".time")[0].get_text()
        print creat_time

        price = detail_soup.select(".c_f50")[0].get_text()
        print price

        quality = detail_soup.select(".su_con > span")
        print (quality[1].string).strip()

        views = get_views(i)
        print views

        area_data = detail_soup.select("span.c_25d")
        area =  list(area_data[0].stripped_strings) if area_data else None
        print area

        print "="*20


# get_detail_url()

get_detail_info(page=1, source=0)

项目代码

小结

---

获取内容

• body 和 head

不一定要从 HTML 的 body 中获取，有些信息在 head 的 title 中就能够得到

• CSS 选择器 和 tag 对象

对于一些简单结构的网页，不必使用 BeautifulSoup 的 CSS 选择器定位，可以直接通过 BeautifulSoup 的 tag 对象获取元素的属性、值

• 选择器的内容

以 chrome 浏览器为例

在想要抓取的页面元素上右击-检查，会自动在弹出的窗口中打开Elements页签，并定位到对应的HTML 代码，下方会显示当前标签的路径，从html开始一直到当前位置

从路径最右侧的元素开始，尝试用最短的描述方式唯一地描述这个元素。比如仅仅用类``属性``id或添加少量元素标签a``div``li。

可以使用>指定直接子标签，也可以不使用，�只需要某个元素下的所有标签中有这个标签就可以匹配

判断是否唯一过滤出需要的信息：选中点击检查后弹出的窗口，ctrl + F/command + F 调出搜索框，�输入我们对元素的描述，看高亮的是否都是我们想要获取的元素，否则换一个描述再试

异步加载

这次最艰难的地方，与爬取霉霉的异步加载数据不同，霉霉的异步加载请求是在加载完前一个页面后可以通过向下查看手动进行的，在network中可以很容易看到那条唯一的请求，只不过需要注意异步是通过 XHR (一种 js 异步的方式)实现的。

58虽然也是异步(真实浏览量的获取不影响其他 HTML、CSS 等的加载)，但异步的请求很多，因为对页面异步加载实现的过程并不完全清楚，找了很久也没有发现。后来看了作业讲解视频，只给了答案，却没有说过程。

于是自己进行尝试，通过51的idtotalcount,在页面中找涉及的 js 内容

从页面获取参数

页面 head 导入 js 脚本，指向一个链接

直接打开链接后的返回信息，Counter58.total=0就是浏览量的信息

Counter58.userlist[0]={uid:'0',uname:'',face:'',vt:''};Counter58.total=0

猜测：

当Counter58.create();运行后，会将参数传递给导入的 js 脚本，发送包含参数的请求，获得浏览量数据，并替代 html 中的默认值。

实际情况是否是这样，可能需要去学 js，并等下周课程中老师的具体解释了。

chrome 是一个很有用的前端开发工具，特意去做了一些了解：

• Chrome开发者工具使用教程
• Chrome开发者工具不完全指南（一、基础功能篇）

异步信息的获取

需要添加头部字段

headers = {"Referer": detail_url}

Referer可返回当前文档的 URL，否则向指定的 url 请求，无法获得浏览量数据

条件表达式

又学习了一种很简单、优雅的语法形式

x if i == j else y # 如果 i 等于 j，返回 x，否则返回 y