在某些时候,网站的某些内容的访问不仅仅需要用户登录,而且需要回复才能看到全部内容,如下图。所以我们需要通过模拟表单提交实现用爬虫回帖,进而获取到隐藏内容。本节就来介绍模拟表单提交的方法,github地址:https://github.com/kongtianyi/heartsong/tree/reply
你已经了解了HTML表单的相关知识(这个很好找)和scrapy的简单功能以及配置Cookie,如果还不会,请戳Scrapy定向爬虫教程(五)——保持登陆状态。
在帖子页面的底部找到表单,右键检查,查看这一部分的源代码
我们知道,表单提交的数据都在标签里,明显这里也没有多选框之类的东西,我们只需要把有name属性的元素如
和
都找出来就好了
图中提到这时的提交地址并不全,咋办呢,我们就先手动回复一下,看看都发生了什么
转码的话,网上有许多现成的工具,也可以自己写个小脚本。
把上面的四张图看完并且实践之后局势就很清晰了,剩下的就是轻轻松松写代码了。ok,上代码,思路就是先访问一个页面,查找这个页面是否需要回复可见,如果需要,则回复之。这里我把判断是否需要回复注释掉了,随便一个帖子id直接运行就会回复。推荐移步去github上把代码下载到本地来看,重要部分的我都写了注释。
因为本节只介绍回复,所以只要网页上出现了我们用爬虫回复出来的内容就算成功了,就不跟下载分析什么的整合到一起了。
heartsong_spider.py
# -*- coding: utf-8 -*-
# import scrapy # 可以用这句代替下面三句,但不推荐
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy import Request
from scrapy import FormRequest # 带表单的请求
import random
class HeartsongSpider(Spider):
name = "heartsong"
allowed_domains = ["heartsong.top"] # 允许爬取的域名,非此域名的网页不会爬取
start_urls = [
# 起始url,这里只回复这一个页面,多个页面连续爬取请看mast分支
"http://www.heartsong.top/forum.php?mod=viewthread&tid=136"
]
# 用来保持登录状态,可把chrome上拷贝下来的字符串形式cookie转化成字典形式,粘贴到此处
cookies = {'QGfS_2132_lastvisit': '1478302547', 'QGfS_2132_seccode': '1.fa43f9a3cb6efdd635', 'QGfS_2132_smile': '1D1', 'QGfS_2132_lip': '202.102.144.8%2C1478307120', 'QGfS_2132_ulastactivity': '29d9HUFm42onqH11DCnfZh8MN%2FFmPt0TEe15bNf2oeHflNI%2BJiwJ', 'QGfS_2132_auth': 'd713PkyUoDmnvp%2BestZH5F4lo%2BK0ewxTT1A02ulX%2FbRufbG%2B6T%2FIATHA5uYS9yoQzeNH3qz%2BupceANNs4IWF9w', 'QGfS_2132_nofavfid': '1', 'QGfS_2132_lastact': '1478308730%09misc.php%09patch', 'QGfS_2132_viewid': 'tid_196', 'QGfS_2132_sid': 'wbBi5Q', 'pgv_info': 'ssi', 'QGfS_2132_st_p': '14%7C1478308725%7Cacf78675ed42e1121abb06c3d6b494cb', 'QGfS_2132_visitedfid': '36D48', 'QGfS_2132_saltkey': 'GN4BcGg4', 'QGfS_2132_lastcheckfeed': '14%7C1478307120', 'QGfS_2132_forum_lastvisit': 'D_48_1478306883D_36_1478306901', 'QGfS_2132_st_t': '0%7C1478306901%7C6c837d3b8b5892fd86ea3bb15bf4426e', 'pgv_pvi': '8246475216', 'QGfS_2132_security_cookiereport': '12adOGUyzEnhcSY%2FZb5MgT52%2BxCPi3KZn%2Fh7pNHlxvWLnqDlLbAd'}
# 发送给服务器的http头信息,有的网站需要伪装出浏览器头进行爬取,有的则不需要
headers = {
'Connection': 'keep - alive',
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
}
# 对请求的返回进行处理的配置
meta = {
'dont_redirect': True, # 禁止网页重定向
'handle_httpstatus_list': [301, 302] # 对哪些异常返回进行处理
}
def start_requests(self):
"""
这是一个重载函数,它的作用是发出第一个Request请求
:return:
"""
# 带着headers、cookies去请求self.start_urls[0],返回的response会被送到
# 回调函数parse中
yield Request(self.start_urls[0],
callback=self.parse, headers=self.headers,
cookies=self.cookies, meta=self.meta)
def parse(self, response):
"""
用以处理主题贴的首页
:param response:
:return:
"""
selector = Selector(response) # 创建选择器
table = selector.xpath('//*[starts-with(@id, "pid")]') # 取出所有的楼层
if not table:
# 这个链接内没有一个楼层,说明此主题贴可能被删了,
# 把这类url保存到一个文件里,以便审查原因
print "bad url!"
f = open('badurl.txt', 'a')
f.write(response.url)
f.write('\n')
f.close()
return
# 如有回复可见的隐藏区域,进行回复
# locked = selector.xpath('//*[@class="locked"]')
# if locked:
# re_a = locked.xpath('a/text()')
# if re_a and re_a.extract()[0] == u'回复':
# 找到表单要提交到的地址
form_action = selector.xpath('//*[@id="fastpostform"]/@action').extract()[0]
action = "http://www." + self.allowed_domains[0] + "/" + form_action + "&inajax=1"
replys = [
'回复看看 有用不',
'厉害厉害,谢谢分享!'
] # utf-8编码的一些回复,具体使用什么编码要看具体的网站的编码
reply = replys[random.randint(0, 1)] #防止被管理员识别是机器回复,要随机一下
formdata = {
'formhash': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[2]/@value').extract()[0],
'usesig': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[3]/@value').extract()[0],
'subject': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[4]/@value').extract()[0],
'posttime': selector.xpath('//*[@id="posttime"]/@value').extract()[0],
'message': reply
} # 表单数据,是从网页表单代码里分析出来的
# 发出带表单的请求,当然,要有cookie
yield FormRequest(action, callback=self.finish,
headers=self.headers,
cookies=self.cookies,
meta=self.meta,
formdata=formdata)
return
def finish(self, response):
print "reply seccess!"
与正常手动回复无异。
本节介绍了如何分析表单并回帖,希望对你有所帮助!剩下的部分还有配置代理和发送邮件,如果需要,请通知我更新,哈,懒癌需要驱动。