selenium自动化测试+OCR-获取图片页面小说
随着爬虫技术的发展，反爬虫技术也越来越高。
目前有些网站通过自定义字体库的方式实现反爬，主要表现在页面数据显示正常，但是页面获取到的实际数据是别的字符或者是一个编码。
这种反爬需要解析网站自己的字体库，对加密字符使用字体库对应字符替换。需要制作字体和基本字体间映射关系。
还有些网站通过图片加载内容的方式实现反爬，想要获取网页内容，可以结合使用OCR技术获取图片文字内容。
第一步：先获取网页内容截图
结合之前《selenium自动化测试-获取动态页面小说》相关的文章代码，改造下，封装成一个新方法，只获取小说网页内容截图，按章节ID分目录保存每页截图文件。
依旧采用拆分步骤细化功能模块封装方法编写代码，便于后续扩展功能模块，代码中缺少的封装方法代码，详情参考之前的《selenium自动化测试》文章。
def spider_novel_content_save_image(req_dict):
'''
@方法名称: 爬取小说章节明细内容，保存内容截图文件
@中文注释: 爬取小说章节明细内容，保存内容截图文件
@入参:
@param req_dict dict 请求容器
@出参:
@返回状态:
@return 0 失败或异常
@return 1 成功
@返回错误码
@返回错误信息
@param rsp_dict dict 响应容器
@作 者: PandaCode辉
@weixin公众号: PandaCode辉
@创建时间: 2023-09-26
@使用范例: spider_novel_content_save_image(req_dict)
'''
try:
if (not type(req_dict) is dict):
return [0, "111111", "请求容器参数类型错误,不为字典", [None]]
# 章节目录文件名
json_name = req_dict['novel_name'] + '.json'
# 检查文件是否存在
if os.path.isfile(json_name):
print('json文件存在，不用重新爬取小说目录.')
else:
print('json文件不存在')
# 爬取小说目录
spider_novel_mulu(req_dict)
# 读取json文件
with open(json_name, 'r') as f:
data_str = f.read()
# 转换为字典容器
mulu_dict = json.loads(data_str)
# 在列表中查找指定元素的下标，未完成标志下标
flag_index = mulu_dict['flag'].index('0')
print(flag_index)
# 章节总数
chap_len = len(mulu_dict['chap_url'])
# 在列表中查找指定元素的下标
print('章节总数:', chap_len)
# 截图目录
screenshot_dir = os.path.join(os.path.dirname(__file__), 'screenshot')
if not os.path.exists(screenshot_dir):
os.makedirs(screenshot_dir)
print('打开浏览器驱动')
open_driver()
# 循环读取章节
for chap_id in range(flag_index, chap_len):
print('chap_id : ', chap_id)
# 章节url
chap_url = mulu_dict['chap_url'][chap_id]
# 截图目录，根据章节ID分类保存
chap_id_dir = os.path.join(screenshot_dir, str(chap_id))
if not os.path.exists(chap_id_dir):
os.makedirs(chap_id_dir)
# 打开网址网页
print('打开网址网页')
driver.get(chap_url)
# 等待6秒启动完成
driver.implicitly_wait(6)
print('随机休眠')
# 随机休眠 暂停0-2秒的整数秒
time.sleep(random.randint(0, 2))
# 章节分页url列表初始化
page_href_list = []
# 根据url地址获取网页信息
chap_rst = get_html_by_webdriver(chap_url)
time.sleep(3)
if chap_rst[0] != 1:
# 跳出循环爬取
break
chap_html_str = chap_rst[3][0]
# 使用BeautifulSoup解析网页数据
chap_soup = BeautifulSoup(chap_html_str, "html.parser")
# 章节内容分页数和分页url
# 获取分页页码标签下的href元素取出
page_href_list_tmp = chap_soup.select("div#PageSet > a")
all_page_cnt = len(page_href_list_tmp)
print("分页页码链接数量：" + str(all_page_cnt))
# 去除最后/后面数字+.html
tmp_chap_url = re.sub(r'(\d+\.html)', '', chap_url)
for each in page_href_list_tmp:
if len(each) > 0:
chap_url = tmp_chap_url + str(each.get('href'))
print("拼接小说章节分页url链接：" + chap_url)
# 判断是否已经存在列表中
if not chap_url in page_href_list:
page_href_list.append(chap_url)
print("分页url链接列表：" + str(page_href_list))
# 网页长宽最大化，保证截图是完整的，不会出现滚动条
S = lambda X: driver.execute_script('return document.body.parentNode.scroll' + X)
driver.set_window_size(S('Width'), S('Height'))
# 章节页码，首页
page_num = 1
# 章节内容截图
image_file = os.path.join(chap_id_dir, str(page_num) + '.png')
# 元素定位
chap_content_element = driver.find_element(By.ID, 'content')
print(chap_content_element)
# 元素截图
chap_content_element.screenshot(image_file)
# 分页列表大于0
if len(page_href_list) > 0:
for chap_url_page in page_href_list:
print("chap_url_page：" + chap_url_page)
time.sleep(3)
# 打开网址网页
print('打开网址网页')
driver.get(chap_url_page)
# 等待6秒启动完成
driver.implicitly_wait(6)
print('随机休眠')
# 随机休眠 暂停0-2秒的整数秒
time.sleep(random.randint(0, 2))
# 章节页码
page_num += 1
# 章节内容截图
image_file = os.path.join(chap_id_dir, str(page_num) + '.png')
# 元素定位
chap_content_element = driver.find_element(By.ID, 'content')
print(chap_content_element)
# 元素截图
chap_content_element.screenshot(image_file)
# 爬取明细章节内容截图成功后，更新对应标志为-2-截图已完成
mulu_dict['flag'][chap_id] = '2'
print('关闭浏览器驱动')
close_driver()
# 转换为json字符串
json_str = json.dumps(mulu_dict)
# 再次写入json文件，保存更新处理完标志
with open(json_name, 'w', encoding="utf-8") as json_file:
json_file.write(json_str)
print("再次写入json文件，保存更新处理完标志")
# 返回容器
return [1, '000000', '爬取小说内容截图成功', [None]]
except Exception as e:
print('关闭浏览器驱动')
close_driver()
# 转换为json字符串
json_str = json.dumps(mulu_dict)
# 再次写入json文件，保存更新处理完标志
with open(json_name, 'w', encoding="utf-8") as json_file:
json_file.write(json_str)
print("再次写入json文件，保存更新处理完标志")
print("爬取小说内容异常," + str(e))
return [0, '999999', "爬取小说内容截图异常," + str(e), [None]]第二步：通过OCR接口识别截图
结合之前《PaddleOCR学习笔记3-通用识别服务》和《selenium自动化测试-获取动态页面小说》相关的文章代码，改造下，封装成一个新方法，通过OCR接口识别小说网页内容截图，然后写入文件保存。
依旧采用拆分步骤细化功能模块封装方法编写代码，便于后续扩展功能模块，代码中缺少的封装方法代码，详情参考之前的《selenium自动化测试》文章。
# 模拟http请求
def requests_http(file_path, file_name, url):
full_file_path = os.path.join(file_path, file_name)
# 请求参数，文件名
req_data = {'upload_file': open(full_file_path, 'rb')}
# 模拟http请求
rsp_data = requests.post(url, files=req_data)
# print(rsp_data.text)
result_dict = json.loads(rsp_data.text)
# print(result_dict)
return result_dict
def spider_novel_content_by_ocr(req_dict):
'''
@方法名称: 通过OCR接口获取小说章节明细内容文字
@中文注释: 读取章节列表json文件，通过OCR接口获取小说章节明细内容文字，保存到文本文件
@入参:
@param req_dict dict 请求容器
@出参:
@返回状态:
@return 0 失败或异常
@return 1 成功
@返回错误码
@返回错误信息
@param rsp_dict dict 响应容器
@作 者: PandaCode辉
@weixin公众号: PandaCode辉
@创建时间: 2023-09-26
@使用范例: spider_novel_content_by_ocr(req_dict)
'''
try:
if (not type(req_dict) is dict):
return [0, "111111", "请求容器参数类型错误,不为字典", [None]]
# 章节目录文件名
json_name = req_dict['novel_name'] + '.json'
# 检查文件是否存在
if os.path.isfile(json_name):
print('json文件存在，不用重新爬取小说目录.')
else:
print('json文件不存在')
# 爬取小说目录
spider_novel_mulu(req_dict)
# 读取json文件
with open(json_name, 'r') as f:
data_str = f.read()
# 转换为字典容器
mulu_dict = json.loads(data_str)
"""
关于open()的mode参数：
'r'：读
'w'：写
'a'：追加
'r+' == r+w（可读可写，文件若不存在就报错(IOError)）
'w+' == w+r（可读可写，文件若不存在就创建）
'a+' ==a+r（可追加可写，文件若不存在就创建）
对应的，如果是二进制文件，就都加一个b就好啦：
'rb' 'wb' 'ab' 'rb+' 'wb+' 'ab+'
"""
file_name = req_dict['novel_name'] + '.txt'
# 在列表中查找指定元素的下标，2-截图完成，标志下标
flag_index = mulu_dict['flag'].index('2')
print(flag_index)
# 2-截图完成，标志下标为0，则为第一次爬取章节内容，否则已经写入部分，只能追加内容写入文件
# 因为章节明细内容很多，防止爬取过程中间中断，重新爬取，不用重复再爬取之前成功写入的数据
if flag_index == 0:
# 打开文件，首次创建写入
fo = open(file_name, "w+", encoding="utf-8")
else:
# 打开文件，再次追加写入
fo = open(file_name, "a+", encoding="utf-8")
# 章节总数
chap_len = len(mulu_dict['chap_url'])
# 在列表中查找指定元素的下标
print('章节总数:', chap_len)
# 截图目录
screenshot_dir = os.path.join(os.path.dirname(__file__), 'screenshot')
# 循环读取章节
for chap_id in range(flag_index, chap_len):
# 识别成功标志
succ_flag = False
# 章节标题
chap_title = mulu_dict['chap_title'][chap_id]
print('chap_id : ', chap_id)
# # 写入文件,章节标题
fo.write("\n" + chap_title + "\r\n")
# 截图目录，根据章节ID分类保存
chap_id_dir = os.path.join(screenshot_dir, str(chap_id))
# 列出目录下的所有文件和文件夹
file_list = os.listdir(chap_id_dir)
# 章节目录下文件列表大于0
if len(file_list) > 0:
for file_name in file_list:
print("file_name：" + file_name)
time.sleep(3)
url = "http://127.0.0.1:5000/upload/"
# 模拟http请求
result_dict = requests_http(chap_id_dir, file_name, url)
print(result_dict)
# 识别成功
if result_dict['error_code'] == '000000':
succ_flag = True
result_list = result_dict['result']
for data in result_list:
print(data['text'])
# 将识别结果，逐行写入文件,章节内容
fo.write(data['text'] + "\n")
else:
succ_flag = False
print('识别失败异常.')
# 识别成功则更新
if succ_flag:
# 爬取明细章节内容成功后，更新对应标志为-1-已完成
mulu_dict['flag'][chap_id] = '1'
print('关闭浏览器驱动')
close_driver()
# 关闭文件
fo.close()
print("循环爬取明细章节内容，写入文件完成")
# 转换为json字符串
json_str = json.dumps(mulu_dict)
# 再次写入json文件，保存更新处理完标志
with open(json_name, 'w', encoding="utf-8") as json_file:
json_file.write(json_str)
print("再次写入json文件，保存更新处理完标志")
# 返回容器
return [1, '000000', '爬取小说内容成功', [None]]
except Exception as e:
print('关闭浏览器驱动')
close_driver()
# 关闭文件
fo.close()
# 转换为json字符串
json_str = json.dumps(mulu_dict)
# 再次写入json文件，保存更新处理完标志
with open(json_name, 'w', encoding="utf-8") as json_file:
json_file.write(json_str)
print("再次写入json文件，保存更新处理完标志")
print("爬取小说内容异常," + str(e))
return [0, '999999', "爬取小说内容异常," + str(e), [None]]第三步：运行效果
第四步：总结
目前很多网站都有基本的反爬策略，常见就是验证码、JS参数加密这两种。
爬虫本身会对网站增加一定的压力，所以也应该合理设定爬取速率，尽量避免对目标网站造成麻烦，影响网站正常使用，一定注意自己爬虫的姿势。
敬畏法律，遵纪守法，从我做起。
最后说明：上述文章仅供学习参考，请勿用于商业用途，感谢阅读。