Python 实战:week2 爬取手机号

作业效果:

> show dbs
bj58     0.001GB
local    0.000GB
xiaozhu  0.000GB
> use bj58
switched to db bj58
> show collections
detailinfo
links
> db.links.find().count()
3481
> db.links.find()[0]
{
    "_id" : ObjectId("574a689ee002824353704eaf"),
    "link" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
    "title" : "18518313456"
}
> db.detailinfo.find().count()
3481
> db.detailinfo.find()[0]
{
    "_id" : ObjectId("574abe78e00282487d8dd6e7"),
    "telephon" : "18600141414",
    "url" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
    "price" : "800",
    "isp" : "联通",
    "seller" : "王先生",
    "sell_number" : "18518313456"
}
>

作业项目地址

笔记&小结


为大规模爬取做工作流的准备

  • 观察页面结构特征

之前仅仅对特定页面做了信息抓取

但如果是对网站进行大规模抓取,会涉及几种页面,需要程序有通用性,可以抓取需要的页面

  • 设计工作流程

保证抓取过程的高效

观察页面结构特征

不同页面会出现内容结构不同的问题,比如,有的会有特有的元素,所以在某一些页面不能使用同一套爬虫爬取

有些页面不需要爬取

手动指定爬取的页数后,需要让程序通过识别分页元素,确定是否是最后一页,对最后没有信息的页面要做规避处理,比如直接跳过

设计工作流程

  • 两个爬虫
    • 从列表页爬取所有商品的 url,存储到数据库的一张表
    • 获取商品 url,得到详情页,爬取需要的信息,存储到另一张表

将爬取任务分成两个爬虫的原因是,做大规模数据爬取时,最好一次只做一件事,这样提高爬虫的稳定性

这是在 工作时间 与 可能遇到问题时的调试 之间的平衡

  • 获取 类目/频道

从主页获取所有 类目/频道 的信息

构造类目列表页的 url : 通用前缀、频道、发布者类型、第几页

url = "{}{}/0/pn{}".format()

  • 在类目的列表页中爬取商品详情的 url

如果是批量访问,访问之间间隔一点时间比较好,如果网站承压性很好,就没有关系了

对于分页末尾需要停止的页面,判断是否有td标签,find('td','t'),如果有,继续,否则,停止

从元素结构上判断

  • 爬取商品详情信息

浏览量每次有请求都会有变动,所以可以不记录

访问的url,可能因为已经交易成功下线而返回404。一个页面的js脚本链接包含404

从特定的内容判断

no_longer_exist = '404' in soup.find('script', type='').get('src').split('/')

soup.prettify()可以使得打印出来的 HTML 内容更易读

小结

  • CSS

第一页http://bj.58.com/shoujihao/pn1/有内容需要跳过

    # 精选号码,不想抓取的内容
    # 需要获取 url 的内容

其他页没有这个问题

    # 需要获取 url 的内容

没法通过 CSS 选择器直接过滤,只能判断是否第一页,然后区分处理:

if num == 1:
    boxlist = detail_soup.select("div.boxlist div.boxlist")[1]
else:
    boxlist = detail_soup.select("div.boxlist div.boxlist")[0]
  • 内容

    海淀
    "                                                                                                                                               -
                                                                                                                                                    "                                               皂君庙

获取所有 子元素的内容、子元素之间的内容

area_data = detail_soup.select("span.c_25d")
area =  list(area_data[0].stripped_strings) if area_data else None
print area

[u'\u897f\u57ce', u'-', u'\u897f\u56db']

但下面的情况没法这样处理:

" 18518313456 联通 ABCD "

清除两边的空格" ",删除字符串中间的" "\t,将多个\n换成一个\n,然后通过\n分隔为列表

number = list(detail_soup.select("h1")[0].stripped_strings)[0]
info_list = number.replace('\t','').replace(' ',"").replace('\n\n\n','\n').split("\n")
# print 'number= ',info_list[0]
# print 'isp= ', info_list[1]

《python cookbook》

你可能感兴趣的:(Python 实战:week2 爬取手机号)