爬虫小技巧--随机获得请求头,Pycharm小技巧--批量添加字符

随机产生一个浏览器信息

导入一个包 fake_useragent /my_fake_useragent随机获得请求头
下载命令:

pip install fake_useragent

导入:

from fake_useragent import UserAgent

使用:

# 随机产生一个浏览器信息
headers = {"User-Agent": UserAgent().random}

pycharm使用小技巧

为冒号(:)两端统一添加双引号("")等符号

原始状态

headers = {
Host: g.csdnimg.cn
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0
Accept: */*
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate, br
Referer: https://blog.csdn.net/DD18203614685
Connection: keep-alive
}
  • 先将所有代码靠左边书写
  • pycharm中按CTRL(Chang,Tiao,Rap,Lanqiu)+r 进入两年半模式,如图:
    爬虫小技巧--随机获得请求头,Pycharm小技巧--批量添加字符_第1张图片

注意:必须勾选Regex选项框,表示启用正则匹配;
in Select 选项框勾选后,操作只对选中区域起作用。

  • 在左上角的选项框中输入
(.*?): (.*)
#   注意:冒号(:)后有空格,具体看个人需求

爬虫小技巧--随机获得请求头,Pycharm小技巧--批量添加字符_第2张图片
全部选中表示匹配成功
注意:冒号(:)表示分割两端的字符,也可以是其他字符

  • 左下选项框中填入:
"$1": "$2",
# " "和 ,表示需要添加的内容,$1、$2表示原文内容

爬虫小技巧--随机获得请求头,Pycharm小技巧--批量添加字符_第3张图片

  • 最后点击Replase all ,完成

爬虫小技巧--随机获得请求头,Pycharm小技巧--批量添加字符_第4张图片

更多内容 尽在:https://blog.csdn.net/DD18203614685

你可能感兴趣的:(python)