实践才是检验真理的唯一标准-爬虫制作（一）

前言：

这篇文章是真正的干货，我会尽力的把自己所要表达的东西表达出来。这次所完成的小程序缺点第一，不符合python面向对象的思想。第二，东西没有做到函数化，而且挺多参数都是写死的。本人也是做中学，下次再写会尽力让它完美一些。

目标：

本人最近新有了一个ipad mini，体会到了苹果公司科技的力量，怪不得果粉这么多。（ipad用wps看pdf书籍真的好用，一般人我不告诉他。不过希望大家还是买正版书，纸质书真的比电子的强）。所以想获得二手平板的信息，去吧就决定是你了：

---

58同城：http://bj.58.com/pbdn/0/pn1/

58

我们要爬取这个页面的所有个人的信息

就是这种↑

点进去

隐约看到了卖家的脸

我们要：标题，价格，时间，地点，商家还是个人。

为了完成这个小工程，我们需要引入几个第三方库：lxml，requests，BeautifulSoup。这几个库的用法请自行查阅官方文档，首先在最开始import所要用的库

from bs4 import BeautifulSoup

import requests

然后通过观察页面网址的变化:

广告真多

聪明的你一定发现了，商家和个人的区别就在于网址的一处变化，商家为http://bj.58.com/pbdn/1/个人为http://bj.58.com/pbdn/0/，所以写一个简单的函数：

def who_sell(who_sells=0):

    list_view ='http://bj.58.com/pbdn/{}/pn1/'.format(str(who_sells))

    return list_view

通过你改变函数参数，返回一个字符串，这里参数0就是个人1是商家，0为默认参数。接下来就是选出这个页面中你想要的信息的连接：

main_url = who_sell(0)                                                        (1)

web_data = requests.get(main_url)                                      (2)

soup = BeautifulSoup(web_data.text,'lxml')                          (3)

select = soup.select('td.t a.t')                                               (4)

leimu = who_sell(0)[:22]                                                      (5)

print(leimu)                                                                         (6)

page_link = []                                                                      (7)

for href in select:

    page_link.append(href.get('href'))                                     (8)

（1）：我们先通过调用函数选中个人，返回一个网址，复制给main_url
（2）：通过向这个选中的网址发送request请求，把得到的结果赋值给web_data
（3）：对web_data的文本通过bs进行解析
（4）：通过select函数选出你想要的东西，而‘td.t a.t’这个的来源先请看图：

来，检查一下

在你想要看的元素上面右键，检查:

是不是一脸蒙b

学过网页的小伙伴很快就能明白，这其中的奥秘，如果一脸雾水的小伙伴就可以看一下HTML5以及css的知识，这里个人推一下w3school 。看完这个，这里的东西就会很轻松读懂。观察之后你会发现，我们所需要的东西在一个之中，我们要把href提取出来，所以我们select之中的差数即为‘td.t a.t’。这里的点可以理解为td的标签下 class=‘t’。通过这个唯一标识，我们就能get到想要的东西
（5）：返回类目，也就是我们爬取的根网页，这个并不是我们想要的东西，只是方便将来我看爬取的东西是什么。用了切片切取了网页的前22位。（6）：打印出来类目
（7）：创建一个list，用来存放网址
（8）：把获取的网址添加到list中去

现在我们已经有了具体的网址，接下来我们要爬取具体信息了：
for url inpage_link:

    inf = requests.get(url)

    inf_soup = BeautifulSoup(inf.text,'lxml')

    titles = inf_soup.select('div.col_sub.mainTitle > h1')

    times = inf_soup.select('li.time')

    prices = inf_soup.select('div.su_con > span.price')

    places = inf_soup.select('div.su_con > span.c_25d')

    if titles==[]:

        title=['null']

    else:

        title=titles[0].get_text()

    if times == []:

        time = ['空']

    else:

        time = times[0].text

    if prices == []:

        price = ['null']

    else:

        price= prices[0].text

    if places == []:

        place = ['null']

    else:

        place = places[0].text[1:3]+places[0].text[-3:-1]

    data = {

    'title': title,

    'time': time,

    'price': price,

    'places': place,

    '类型':'个人'if(main_url[22:23] =='0')else'商家'

 }

    if(title!=['null']):

        print(data)

for循环的意思即为，遍历list中所有的网址。
inf = requests.get(url)

inf_soup = BeautifulSoup(inf.text,'lxml')

titles = inf_soup.select('div.col_sub.mainTitle > h1')

times = inf_soup.select('li.time')

prices = inf_soup.select('div.su_con > span.price')

places = inf_soup.select('div.su_con > span.c_25d')

同get到href的方法，右键检查

3000，好贵

以价格为例，在class='su_con'的子标签中他的clss='price c_f50',我们根据这个就可以提取出来所想要的信息。
if titles==[]:

title=['null']

else:

title=titles[0].get_text()

if times == []:

time = ['空']

else:

time = times[0].text

if prices == []:

price = ['null']

else:

price= prices[0].text

if places == []:

place = ['null']

else:

place = places[0].text[1:3]+places[0].text[-3:-1]
在这些if语句中，如果卖家没填这些信息，我们把他设为空，如果填了我们就用.text方法把两个标签之间夹的信息提取出来，例如price里的3000。这里的地址使用了切片因为提取出来的信息含有大量的换行符。所以切取想要的部分，并用加号连接。
data = {

'title': title,

'time': time,

'price': price,

'places': place,

'类型':'个人'if(main_url[22:23] =='0')else'商家'

}

if(title!=['null']):

    print(data)
把提取的信息存放到一个叫data的字典里。这里有一个问题，直接输出字典会出现全空的网页，所以这里通过过滤title的方法来过滤掉没用的信息。我们可以看一下结果：

是不是感觉amazing

最后：

就是这样~是不是感觉还可以。这只是一个简单的版本，有兴趣的小伙伴可以把整个北京的信息都爬取下来，可以做一些简单的数据处理。只需要在加一个循环即可。

可以加博主qq：844255371 咱们共同研究，记得附上备注。

博主脸皮中等厚度，记得文明探讨

最后的最后，附上github，ipad.py就是源代码。github