Python爬取今日头条江歌案新闻

今天学习总结下爬取今日头条江歌案的新闻，今天头条用到了Ajax技术，所以用传统的索取网页元素的方法是获取不到内容的，之前我写了篇爬取拉钩上海Python职位信息，有兴趣的可以点开看看！

站外图片不能上传了么？上一篇的拉钩爬虫也是图片上传失败......大家有兴趣的可以去我博客，博客链接在最下面

第一步

用Chrome打开网页https://www.toutiao.com/search/?keyword=%E6%B1%9F%E6%AD%8C，打开开发者工具，红框内的信息是我们需要的，我们要抓取的数据就在data一栏中
[图片上传失败...(image-2b5cd5-1513863080036)]

我们再观察下网页信息，把网页不断的忘下翻，可以看到第一页是offset=0，往下翻过一个节点就是20，40，60这样递增上去
[图片上传失败...(image-bf43a2-1513863080036)]

好了，基本的分析完了，准备动手写代码

# -*- coding:utf-8 -*-
import requests
from urllib.parse import urlencode
from requests.exceptions import RequestException

def get_data():
    data = {
        'offset': 0,
        'format': 'json',
        'keyword': '江歌',
        'autoload': 'true',
        'count': '20',
        'cur_tab': 1,
        'from':'search_tab'
    }
    # urlencode(data)就是链接的解析
    url = 'https://www.toutiao.com/search_content/?' + urlencode(data)
    response = requests.get(url)
    try:
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('data is error')
        return None

def main():
    html = get_data()
    print(html)


if __name__ == '__main__':
    main()

运行下代码，返回了这样的数据

[图片上传失败...(image-8a70f-1513595350490)]

第二步

解析数据

我们可以看下data一栏下的网页数据
[图片上传失败...(image-d10b02-1513863080036)]

def parse_data(html):
    data = json.loads(html) # JSON 字符串解码为 Python 对象
    if data and 'data' in data.keys():
        news_list =[]
        for item in data.get('data'):
            news = {
                'title': item.get('title'), # 使用get()方法避免了部分keys不存在时报错
                'url': item.get('url'),
            }
            news_list.append(news)
        return news_list

解析后再次运行代码，这就是我们要的数据了
[图片上传失败...(image-b26291-1513863080036)]

第三步

可以爬下单页数据了，现在来看下怎么爬取多页面

第一步网页分析的时候，offset的数据是抓取多页面内容的关键，我们先创建一个配置文件config.py，再创建多进程调用map方法

GROUP_START = 1
GROUP_END = 20

    groups = [x * 2 for x in range(GROUP_START, GROUP_END + 1)]
    pool = Pool(8)
    pool.map(main, groups)
    pool.close()
    pool.join()
    print('ALl is done!')

最后运行代码，开启了多进程后爬取的效率可以说是坐了火箭
[图片上传失败...(image-200d36-1513863080036)]

完整代码在GitHub
GitHub

欢迎访问我的博客Treehl的博客
最后放一个爬虫集合，是我最近学习Python写的，喜欢的亲！给个Star呗！！！
SpiderList