实践才是检验真理的唯一标准-爬虫制作(一)

前言:

这篇文章是真正的干货,我会尽力的把自己所要表达的东西表达出来。这次所完成的小程序缺点第一,不符合python面向对象的思想。第二,东西没有做到函数化,而且挺多参数都是写死的。本人也是做中学,下次再写会尽力让它完美一些。

目标:

本人最近新有了一个ipad mini,体会到了苹果公司科技的力量,怪不得果粉这么多。(ipad用wps看pdf书籍真的好用,一般人我不告诉他。不过希望大家还是买正版书,纸质书真的比电子的强)。所以想获得二手平板的信息,去吧就决定是你了:


58同城:http://bj.58.com/pbdn/0/pn1/

实践才是检验真理的唯一标准-爬虫制作(一)_第1张图片
58

我们要爬取这个页面的所有个人的信息

实践才是检验真理的唯一标准-爬虫制作(一)_第2张图片
就是这种↑

点进去

实践才是检验真理的唯一标准-爬虫制作(一)_第3张图片
隐约看到了卖家的脸

我们要:标题,价格,时间,地点,商家还是个人。

为了完成这个小工程,我们需要引入几个第三方库:lxml,requests,BeautifulSoup。这几个库的用法请自行查阅官方文档,首先在最开始import所要用的库

from bs4 import BeautifulSoup

import requests

然后通过观察页面网址的变化:

实践才是检验真理的唯一标准-爬虫制作(一)_第4张图片
广告真多

聪明的你一定发现了,商家和个人的区别就在于网址的一处变化,商家为http://bj.58.com/pbdn/1/个人为http://bj.58.com/pbdn/0/,所以写一个简单的函数:

def who_sell(who_sells=0):

    list_view ='http://bj.58.com/pbdn/{}/pn1/'.format(str(who_sells))

    return list_view

通过你改变函数参数,返回一个字符串,这里参数0就是个人1是商家,0为默认参数。接下来就是选出这个页面中你想要的信息的连接:

main_url = who_sell(0)                                                        (1)

web_data = requests.get(main_url)                                      (2)

soup = BeautifulSoup(web_data.text,'lxml')                          (3)

select = soup.select('td.t a.t')                                               (4)

leimu = who_sell(0)[:22]                                                      (5)

print(leimu)                                                                         (6)

page_link = []                                                                      (7)

for href in select:

    page_link.append(href.get('href'))                                     (8)

(1):我们先通过调用函数选中个人,返回一个网址,复制给main_url
(2):通过向这个选中的网址发送request请求,把得到的结果赋值给web_data
(3):对web_data的文本通过bs进行解析
(4):通过select函数选出你想要的东西,而‘td.t a.t’这个的来源先请看图:

实践才是检验真理的唯一标准-爬虫制作(一)_第5张图片
来,检查一下

在你想要看的元素上面右键,检查:

实践才是检验真理的唯一标准-爬虫制作(一)_第6张图片
是不是一脸蒙b

学过网页的小伙伴很快就能明白,这其中的奥秘,如果一脸雾水的小伙伴就可以看一下HTML5以及css的知识,这里个人推一下w3school 。看完这个,这里的东西就会很轻松读懂。观察之后你会发现,我们所需要的东西在一个之中,我们要把href提取出来,所以我们select之中的差数即为‘td.t a.t’。这里的点可以理解为td的标签下 class=‘t’。通过这个唯一标识,我们就能get到想要的东西
(5):返回类目,也就是我们爬取的根网页,这个并不是我们想要的东西,只是方便将来我看爬取的东西是什么。用了切片切取了网页的前22位。(6):打印出来类目
(7):创建一个list,用来存放网址
(8):把获取的网址添加到list中去

现在我们已经有了具体的网址,接下来我们要爬取具体信息了:
for url inpage_link:

    inf = requests.get(url)

    inf_soup = BeautifulSoup(inf.text,'lxml')

    titles = inf_soup.select('div.col_sub.mainTitle > h1')

    times = inf_soup.select('li.time')

    prices = inf_soup.select('div.su_con > span.price')

    places = inf_soup.select('div.su_con > span.c_25d')

    if titles==[]:

        title=['null']

    else:

        title=titles[0].get_text()

    if times == []:

        time = ['空']

    else:

        time = times[0].text

    if prices == []:

        price = ['null']

    else:

        price= prices[0].text

    if places == []:

        place = ['null']

    else:

        place = places[0].text[1:3]+places[0].text[-3:-1]

    data = {

    'title': title,

    'time': time,

    'price': price,

    'places': place,

    '类型':'个人'if(main_url[22:23] =='0')else'商家'

 }

    if(title!=['null']):

        print(data)

for循环的意思即为,遍历list中所有的网址。
inf = requests.get(url)

inf_soup = BeautifulSoup(inf.text,'lxml')

titles = inf_soup.select('div.col_sub.mainTitle > h1')

times = inf_soup.select('li.time')

prices = inf_soup.select('div.su_con > span.price')

places = inf_soup.select('div.su_con > span.c_25d')

同get到href的方法,右键检查

实践才是检验真理的唯一标准-爬虫制作(一)_第7张图片
3000,好贵

以价格为例,在class='su_con'的子标签中他的clss='price c_f50',我们根据这个就可以提取出来所想要的信息。
if titles==[]:

title=['null']

else:

title=titles[0].get_text()

if times == []:

time = ['空']

else:

time = times[0].text

if prices == []:

price = ['null']

else:

price= prices[0].text

if places == []:

place = ['null']

else:

place = places[0].text[1:3]+places[0].text[-3:-1]
在这些if语句中,如果卖家没填这些信息,我们把他设为空,如果填了我们就用.text方法把两个标签之间夹的信息提取出来,例如price里的3000。这里的地址使用了切片因为提取出来的信息含有大量的换行符。所以切取想要的部分,并用加号连接。
data = {

'title': title,

'time': time,

'price': price,

'places': place,

'类型':'个人'if(main_url[22:23] =='0')else'商家'

}

if(title!=['null']):

    print(data)
把提取的信息存放到一个叫data的字典里。这里有一个问题,直接输出字典会出现全空的网页,所以这里通过过滤title的方法来过滤掉没用的信息。我们可以看一下结果:

实践才是检验真理的唯一标准-爬虫制作(一)_第8张图片
是不是感觉amazing

最后:

就是这样~是不是感觉还可以。这只是一个简单的版本,有兴趣的小伙伴可以把整个北京的信息都爬取下来,可以做一些简单的数据处理。只需要在加一个循环即可。

可以加博主qq:844255371 咱们共同研究,记得附上备注。

博主脸皮中等厚度,记得文明探讨

最后的最后,附上github,ipad.py就是源代码。github 

你可能感兴趣的:(实践才是检验真理的唯一标准-爬虫制作(一))