第一周大作业

代码

#爬取转转
 from bs4 import BeautifulSoup
 import requests
 import re
 
 
def get_info0(url):
 urls = urls0
 for url in urls:
 wb_data = requests.get(url)
 # 判断状态码，检查是否被网站封ip
 if wb_data.status_code != 200:
 continue
 soup = BeautifulSoup(wb_data.text, 'lxml')
 prices = soup.select('.price_now')
 areas = soup.select('.palce_li')
 
 
    for views in soup.select('.look_time'):

        data0 = {
                'title' : soup.title.text,
                'price': prices[0].text if len(prices) > 0 else 0,
                # 检查区域标签是否存在，存在则取，不存在设置默认值
                'area': list(areas[0].stripped_strings) if len(areas) > 0 else [],
                # 检查时间标签是否存在，存在则取，不存在设置默认值
                'view' : views.get_text()
        }
        print(data0)
 
 
url = 'http://bj.58.com/pbdn/0'
 while True:
 #获取下一页
 urls=[]
 index = requests.get(url)
 soup = BeautifulSoup(index.text, 'lxml')
 if soup.find("a", class_="next") == None:
 print("没有下一页")
 break
 else:
 next_page = soup.find("a", class_="next").get('href').split("/")[3]
 current_page = 'http://bj.58.com/pbdn/0/{}'.format(next_page)
 url = current_page
 urls.append(url)
 for link in urls:
 urls0=[]
 index = requests.get(url)
 soup = BeautifulSoup(index.text, 'lxml')
 for link0 in soup.find_all(href=re.compile('zhuanzhuan'), class_='t'):
 link0 = link0.get('href').split('?')[0]
 urls0.append(link0)
 
 
    get_info0(url)
 
 

#爬取商品页
 from bs4 import BeautifulSoup
 import requests
 import re
 
 
def get_info1(url):
 urls = urls1
 for url in urls:
 wb_data = requests.get(url)
 # 判断状态码，检查是否被网站封ip
 if wb_data.status_code != 200:
 continue
 soup = BeautifulSoup(wb_data.text, 'lxml')
 
 
    prices = soup.select('.c_f50')
    areas = soup.select('.c_25d')
    dates = soup.select('.time')

    data1 = {
        'title' : soup.title.text,
        'price': prices[0].text if len(prices) > 0 else 0,
        # 检查区域标签是否存在，存在则取，不存在设置默认值
        'area': list(areas[0].stripped_strings) if len(areas) > 0 else [],
        # 检查时间标签是否存在，存在则取，不存在设置默认值
        'date': dates[0].text if len(dates) > 0 else ""

    }
    print(data1)
 
 
url = 'http://bj.58.com/pbdn/1'
 while True:
 urls = []
 index = requests.get(url)
 soup = BeautifulSoup(index.text,'lxml')
 
 
if soup.find("a", class_="next") == None:
    print("没有下一页")
    break

else:
    next_page = soup.find("a", class_="next").get('href').split("/")[3]
    current_page = 'http://bj.58.com/pbdn/1/{}'.format(next_page)
    url = current_page
    urls.append(url)
#以上urls中包含了所有列表页
for links in urls:
    urls1 = []
    for link1 in soup.find_all(href=re.compile('x.shtml?'),class_ = 't'):
        link1 = link1.get('href').split('?')[0]
        urls1.append(link1)

get_info1(urls1)
 
 

成果

爬取“转转”的程序大概可以爬取到3400多条的数据，耗时17分钟。比较慢啊。爬取“商家”数据越300条，耗时1分钟。

总结

刚一开始也想想老师讲的那样统一爬取，后来发现58改版的幅度非常大，个人售卖已全部转为“转转”，而且个人信息的网页内容和商家信息的网页内容有很多不同，个人没有时间，浏览量也可以直接通过html获取。所以我决定写两个程序分别爬取。

最大的难点是如何爬取全部数据。
以“转转”为例：
转转的起始页是：http://bj.58.com/pbdn/0/

Paste_Image.png

这一页要爬取的数据主要有详情页的链接和下一页链接。
通过观察，图片和标题都能起到跳转的作用，所以会重复抓取2条详情页的链接。不过标题链接中独有class="t"的属性可以借此定位。

为了获取全部列表页，我是这样考虑的。
首先解析起始页，得到下一页的链接，然后将下一页的链接作为当前页，接着重复上一步骤。这一步的实现其实相当简单，需要用的while True。只不过当时想了好久。

在“商家”中，没有爬取浏览量，因为我始终没有找到相应的js内容。除了这个之外，其他的与“转转”基本思路一致。

反思

这次作业的最大收获就是练习了 while True 的编写。简直是爬取的利器。