week1-爬取58同城二手商品数据

学习Python爬虫的第一周，完成了爬取58同城个人二手列表页中除转转和推广商品之外的正常商品数据。

最终成果是这样的：

week1.png

我的代码：

from bs4 import BeautifulSoup
import requests
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.86 Safari/537.36'
}

# 获得从第几页到第几页的所有详情页信息
def get_more_page(start, end):
    urls = ['http://bj.58.com/pbdn/0/pn{}/?PGTID=0d305a36-0000-13b2-d376-d5d8f54e0130&ClickID=2'.format(str(i)) for i in
            range(start, end)]
    for url in urls:
        get_detail_urls(url)
        time.sleep(2)

page_links = []
# 获得每一页的所有详情页信息(除推广商品\转转商品之外)
def get_detail_urls(url):
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    detail_urls = soup.select('td.t > a.t')
    for url in detail_urls:
        if 'zhuanzhuan' in url.get('href'):
            pass
        elif 'jump.zhineng' in url.get('href'):
            pass
        else:
            page_links.append(url.get('href'))
    for link in page_links:
        get_detail(link)

# 获得某个详情页的浏览数
def get_views(url):
    id = url.split('/')[-1].strip('x.shtml')
    api = 'http://jst1.58.com/counter?infoid={}'.format(id)
    js = requests.get(api)
    views = js.text.split('=')[-1]
    return views

# 获得某个详情页的信息(类目category,标题title,发布时间release_time,价格price,成色state,区域area,浏览量views)
def get_detail(url):
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'lxml')

    category = soup.select('div.breadCrumb.f12 > span:nth-of-type(3) > a')[0].text
    title = soup.select('div.col_sub.mainTitle > h1')[0].text
    release_time = soup.select('li.time')[0].text
    price = soup.select('div.col_sub.sumary > ul > li:nth-of-type(1) > div.su_con > span')[0].text
    state = soup.select('div.col_sub.sumary > ul > li:nth-of-type(2) > div.su_con > span')[0].text.strip()
    if soup.find_all('span', 'c_25d'):
        area = soup.select(' span.c_25d')[0].text.strip()
        if '-' in area:
            area = area.split('-')[0].strip() + '-' + area.split('-')[-1].strip()
        else:
            area = area
    else:
        area = None
    data = {
        'category': category,
        'title': title,
        'release_time': release_time,
        'price': price,
        'state': state,
        'area': area,
        'views': get_views(url) 
    }
    print(data)

# 获取1页,除推广商品和转转商品之外,所有商品详情页信息
get_more_page(1, 2)

总结：

• 了解了网页的结构，客户端与服务器交互的机制。对于一个网页来说，HTML描述了网页的结构，CSS描述了网页的样式，JavaScript描述了网页的功能，而爬取网页的要点是根据网页结构描述元素的位置。通过CSS Selector可以获取元素的位置和属性。
• 学习了requests和beautifulsoup库的基本用法。通过requests的get方法获取HTML，并用beautiful soup解析网页，通过元素的唯一特征来获得所需数据。
• 了解了异步加载的原理。对于异步加载的数据，用抓包工具分析出异步请求的URL，点击刷新网页，观察哪个url返回的值包含浏览量，然后拼接URL解析数据。
• 请求时可以通过传入headers，伪造cookies模拟已登录状态,改变user-agent模拟移动端的数据，来防止被反爬。同时针对大量数据的爬取应在每次请求之间加访问延时以防止访问频率限制。

问题：

商品详情页中的浏览量，通过异步加载，如何判断该属性在哪个响应资源文件中?
浏览量的问题：通过在header中添加Referer，Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器藉此可以获得一些信息用于处理。这样就可以反‘反盗链’了。