python爬虫之requests篇

#最近在学爬虫，把学习过程做个记录，也方便自己以后查看。
##二、requests篇
*requests模块：python中原生的一款基于网络请求的模块。
作用：模拟浏览器发请求。
如何使用：（requests模块的编码/使用流程）
   -指定url
      -UA伪装
      -请求参数的处理
   -发起请求
   -获取响应数据
   -持久化存储
环境安装：pip install requests
（Pycharm安装教程:https://www.runoob.com/w3cnote/pycharm-windows-install.html）
案例：

#-需求：爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":
    #step 1:指定url
    url = 'https://www.sogou.com/'
    #step 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    #step 3:获取响应数据，text返回的是字符串形式的相应数据
    page_text = response.text
    print(page_text)
    #step 4:持久化存储
    with open('./sougou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取结束！')

实战巩固
1、爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

#UA:User-Agent（请求载体的身份标识）
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
# 说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求是非正常请求（爬虫），
# 则服务器端就很有可能拒绝该请求
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == "__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
     
        'User-Agent':'（这里放自己浏览器的UA就行啦）'
    }
    url = 'https://www.sogou.com/web'
    #处理url携带的参数，封装在字典中
    kw = input('enter a word:')
    param = {
     
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，且请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)

    page_text = response.text
    fileName = kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功！')

2、破解百度翻译
   -post请求（携带了参数）
   -响应数据是一组json数据

import requests
import json
if __name__ == "__main__":
    #1.指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2.进行UA伪装
    headers = {
     
        'User-Agent': '（这里放自己浏览器的UA就行啦）'
    }
    #3.post请求参数处理（同get请求一致）
    word = input('enter a word:')
    data = {
     
        'kw':word
    }
    #4.请求发送
    response = requests.post(url=post_url,data=data,headers=headers)
    #5.获取响应数据：json()方法返回的是obj（如果确认相应数据是json类型才可用该方法）
    dic_obj = response.json()
    #持久化存储
    fileName = word + '.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!')

3、爬取微博主页 https://weibo.com/中的页面数据

import requests
if __name__ == "__main__":
    url = 'https://weibo.com/a/aj/transform/loadingmoreunlogin'
    param = {
     
        'ajwvr': '6',
        'category': '0',
        'page': '2',
        'lefnav': '0',
        'cursor':'',
        '__rnd': '1604655621598',
    }
    headers = {
     
        'User-Agent': '（这里放自己浏览器的UA就行啦）'
    }
    response = requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    fileName = 'weibo.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功')

4、爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地名的餐厅数

import requests
import json
if __name__ == '__main__':
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

    headers = {
     
        'User-Agent': '（这里放自己浏览器的UA就行啦）'
    }
    place = input('Input the city:')
    data = {
     
        'cname':'',
        'pid':'',
        'keyword': place,
        'pageIndex': '1',
        'pageSize': '10',
    }

    response = requests.post(url=url,data=data,headers=headers)
    shops_content = response.text
    fileName = place + '.json'
    #fp = open(fileName,'w',encoding='utf-8')
    with open(fileName, 'w', encoding='utf-8') as fp:
        json.dump(shops_content,fp=fp,ensure_ascii=False)

    """fileName = place+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(shops_content)"""
    print(fileName,'Over!')

5、爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://scxk.nmpa.gov.cn:81/xk/

import requests
import json
if __name__ == '__main__':
    #批量获取不同企业的id值
    url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
    headers = {
     
        'User-Agent': '（这里放自己浏览器的UA就行啦）'
    }
    id_list = []  # 存储企业的id
    all_data_list = []  # 存储所有的企业详情数据
    for page in range(1,6):
        page = str(page)
        #参数的封装
        data = {
     
            'on': 'true',
            'page': page,
            'pageSize': '15',
            'productName':'',
            'conditionType': '1',
            'applyname':'',
            'applysn':'',
        }
        json_ids = requests.post(url=url,headers=headers,data=data).json()
        for dic in json_ids['list']:
            id_list.append(dic['ID'])
    #获取企业详情数据
    post_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
    for id in id_list:
        data = {
     
            'id':id
        }
        detail_json = requests.post(url=post_url,data=data,headers=headers).json()
        all_data_list.append(detail_json)
    #持久化存储all_data_list
    fp = open('./allData.json','w',encoding='utf-8')
    json.dump(all_data_list,fp=fp,ensure_ascii=False)
    print('over!')

代理：破解封IP这种反爬机制。
什么是代理：
  - 代理服务器。
代理的作用：
  - 突破自身IP访问的限制。
  - 隐藏自身真实IP
代理ip的类型：
  - http：应用到http协议对应的url中
  - https：应用到https协议对应的url中
代理ip的匿名度：
  - 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
  - 匿名：知道使用了代理，不知道真实ip
  - 高匿：不知道使用了代理，更不知道真实的ip
案例：

import requests
if __name__ == "__main__":
    url = 'https://www.baidu.com/s?wd=IP'
    headers = {
     
        'User-Agent': '这里放自己浏览器的UA'
    }
    page_text = requests.get(url=url,headers=headers,proxies={
     "https":'58.21.197.197:4256'}).text #58.21.197.197:4256是找的一个代理ip
    with open('./ip.html','w',encoding='utf-8') as fp:
        fp.write(page_text)