首先说明, 这个我是照着崔老师的视频敲的, 删减掉了保存到数据库那步, 因为mangodb的用法我还没学.另外, 今日头条的网页在后来有了变化, 用之前的方式有些地方就走不通了, 自己动脑筋做了一些修改.原链在这里http://study.163.com/course/courseMain.htm?courseId=1003735019
什么是AJAX
首先来说明一下什么是AJAX(摘自廖雪峰的javascript教程)
AJAX不是JavaScript的规范，它只是一个哥们“发明”的缩写：Asynchronous JavaScript and XML，意思就是用JavaScript执行异步网络请求。
虽然我不是前端开发, 但是因为作为Android开发的原因, 我基本理解AJAX是怎么回事.
以今日头条举例来说
通常像这样的列表页, 数据都是AJAX加载的, 因为没必要在一开始就加载所有的数据, 需要时才加载.当用户滚动到页面底部时, 这时候才发起http请求, 请求新的数据, 然后将新的数据显示到页面上.然后页面中就有新的内容了, 接着用户又继续滚动网页, 当滚动到最底部的时候意味着所有数据都已经浏览完毕, 然后又发起了一个AJAX请求.图中红框中的部分意味着这时候刚刚发起一个AJAX请求, 数据还没有获取到.
我之所以理解这些, 是因为在移动端中, Android和iOS的app一般也都是这么做的.而且要证明这一点十分容易.打开浏览器的开发者工具, 不断向下滚动列表, 你就会观察到会出现如右边红框中的网络请求, 那就是AJAX
获取索引页的链接
刚才说了, 在今日头条搜索街拍, 那个页面的数据是从AJAX请求中得到的, 所以https://www.toutiao.com/search/?keyword=街拍这个请求的response中其实是没有我们想要得到的索引页的链接的, 事实也正是如此, 我观察过.
所有数据都在这样格式的请求里
先获取这些json格式的数据, 代码如下
def get_page_index(offset, keyword):
data = {
'offset': offset,
'format': 'json',
'keyword': keyword,
'autoload': 'true',
'count': 20,
'cur_tab': 1,
'from': 'search_tab'
}
headers = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
}
try:
response = requests.get(url='https://www.toutiao.com/search_content', params=data, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
print('请求索引页错误')
return None
pass
接着, 解析这个json数据
def parse_page_index(html):
data = json.loads(html)
if data and 'data' in data.keys():
for item in data.get('data'):
if item and 'article_url' in item.keys():
yield item.get('article_url')
如此一来, 我们就得到了索引页的列表, 接着把这个索引页的url传递过去
def main(offset):
html = get_page_index(offset, KEYWORD)
for url in parse_page_index(html):
detail_html = get_page_detail(url)
获取详情页图片链接
在浏览器中进入详情页, 观察到图片的链接在这个地方
先获取详情页的所有response内容
def get_page_detail(url):
try:
response = requests.get(url)
# response.encoding = response.apparent_encoding
if response.status_code == 200:
return response.text
return None
except RequestException:
print('请求详情页错误', url)
return None
pass
使用正则提取
def parse_page_detail(html, url):
soup = BeautifulSoup(html, 'lxml')
title = soup.select('title')[0].get_text()
print('title:', title)
images_pattern = re.compile(r'gallery: JSON.parse\("(.*?)"\),', re.S)
result = re.search(images_pattern, html)
if result:
# group(0)是原始字符串, group(1)是第一个括号匹配到的字符串
# groups()以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)
# codecs: 使不具有转义的反斜杠具有转义功能
data_str = codecs.getdecoder('unicode_escape')(result.group(1))[0]
json_data = json.loads(data_str)
if json_data and 'sub_images' in json_data.keys():
sub_images = json_data.get('sub_images')
images = [item.get('url') for item in sub_images]
for image in images:
download_image(image)
return {
'title': title,
'images': images,
'url': url
}
else:
print('没有搜索到符合条件的gallery数据', end='\n\n')
这里估计是最困难的一步了, 首先要获取JSON.parse("xxxxx")中双引号里的内容, 也就是我用xxxxx表示的那一部分, 但是这还不够.这样提取出来的是像 r'{"count":5}' 这样的字符串, 使用print打印出来你会发现双引号前面还带着个反斜杠(真不是转义, 是真的带着个反斜杠).后来搜了个方法, 将不转义的反斜杠全部变成转义的, 具体可以看上面的代码.另外还需要注意的是, 现在今日头条的详情页有两种形式, 一种是gallery相册形式, 我们可以按照上边的代码解析到图片地址, 另一种是列表形式的, 我就直接打印了"没有搜索到符合条件的gallery数据", 然后不管了(因为懒)
下载图片
获取到图片地址之后就可以下载, 代码挺简单的:
def download_image(url):
print('正在下载图片', url)
try:
response = requests.get(url)
if response.status_code == 200:
save_image(response.content)
except RequestException:
print('请求图片错误', url)
pass
结语
最后是一些代码的修改和优化, 这里不就细说了, 可以看崔老师的视频或者访问我的github仓库https://github.com/mundane799699/Jiepai
最后的最后, 上个成果图