python 实现抓取58同城二手物品信息

1 . 获取二手分类信息

我们首先要分析的网址是: http://bj.58.com/sale.shtml 首先我们要将所有的二手物品分类给获取下来：（这里解析网页用的是BeautifulSoup,此处不做过多的讲解，可以参考网上关于BeautifulSoup的教程）

base_url_mobile = 'http://m.58.com/bj'

# 解析得到所有的分类
def parse_channel_list():
    url = 'http://bj.58.com/sale.shtml'
    html = requests.get(url)
    soup = BeautifulSoup(html.text, 'lxml')
    items = soup.select('ul.ym-submnu > li > b > a')

    channel_urls = []

    for item in items:
        print(item)
        url = base_url_mobile + item.get('href') # base_url_mobile 
        channel_urls.append(url)

    content = '\n'.join(channel_urls)

    write_to_file(content)

def write_to_file(content):
    path = '{0}/{1}'.format(os.getcwd(), 'doc')
    if not os.path.exists(path):
        os.makedirs(path)
    file_path = '{0}/{1}.{2}'.format(path, '58samecity', 'txt')
    with open(file_path, 'a', encoding='utf-8') as f:
        f.write(content + '\n')
        print('写入成功', content)
        f.close()

这里我们就将所有的分类信息的url存入了文件 doc/58samecity.txt中。其中用到的 base_url_mobile ，因为移动端的数据结构相对来说更加的清晰一些，因此在下一步要处理的分类信息 我们采用了移动端的网页结构来进行解析。

以后，要获取所有的分类的url只需要调用下面的方法即可：

def get_channel_list():
    urls = []
    path = '{0}/{1}'.format(os.getcwd(), 'doc')
    file_path = '{0}/{1}.{2}'.format(path, '58samecity', 'txt')
    with open(file_path, 'r') as f:
        lines = f.readlines()
        for line in lines:
            urls.append(line.strip())

    # 去除重复
    urls1 = sorted(set(urls), key=urls.index)
    # print(urls1)

    return urls1

2 . 解析每个分类

1 . 获取该分类下的二手物品帖子列表

# 通过分类URL, 获取该分类下的所有发帖的url(此处用的是移动端的接口)
# @url 分类的url
# @pages 页码
def get_urls_mobile_from(url, pages):
    list_view = '{}/pn{}/'.format(url, str(pages))
    html = requests.get(list_view)
    soup = BeautifulSoup(html.text, 'lxml')

    if soup.find('.nobg'):   # 没有数据, 返回
        return

    list = soup.select('.asynInfo .zhuanzhuan > li > a')
    for li in list:
        href = li.get('href').split('?')[0]

        data = {
            'href' : href
        }

        url_pc = href.replace('m.', '')
        if url_pc == 'http://jump.zhineng.58.com/jump':
            continue
        parse_detail_from(url_pc)
        save_channel_to_mongo(data)
        sleep(1)

2 . 对列表中的每一条帖子进行详情解析：

def parse_detail_from(url):
    try:
        html = requests.get(url)
        soup = BeautifulSoup(html.text, 'lxml')
        print(soup.find('title').get_text())
        if soup.find('title').get_text() == '请输入验证码':
            print('操作太频繁了,需要用ip代理了')
        title = soup.select('.info_titile')[0].get_text()
        view = soup.select('.look_time')[0].get_text()[0:-3]
        area = soup.select('div.palce_li > span > i')[0].get_text().split('-')

        if len(area) == 2:
            area = area[1]
        elif len(area) == 1:
            area = area[0]
        else:
            area = '不明'

        cate = list(soup.select('div.breadCrumb.f12')[0].stripped_strings)

        good = {
            'url' : url,
            'title' : title,
            'view' : view,
            'area' : area,
            'cate' : cate
        }

        save_goods_to_mongo(good)

    except TimeoutException:
        parse_detail_from(url)

代码暂时未处理因频繁操作导致的需要验证的问题，这个问题我将在另一篇文章（利用代理ip解决因频繁操作造成的访问受限问题）进行详细的分析解答。

3 . 将北京同城二手物品分地区生成分析图表：#

Screen Shot 2018-03-15 at 3.33.37 PM.png

图表的生成 用到了 jupyter notebook, 详情请查看我的另一篇文章： jupyter 的安装与简单使用
。
另外此工程的所有代码将在下面附上：

点这里：源码

此篇到此结束，希望多多提意见，共同学习！
同时，此系列文章也会不定期更新哦！~~