Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）

选择了适合的网络库 MonkeyLei：Python-网络基本工具库urllib、urllib2和requests选择？ 我们就可以开始一些基本练下，优先关注下官方案例：

https://docs.python.org/3/library/urllib.request.html#examples

image

1. 我们采用Python3.x的urllib，然后你会发现如果爬取的链接，直接访问会被403，这个主要是涉及因为我们请求Header里面没有User-Agent字段。此时可以配合三方的fake_useragent来生成'User-Agent'代理字段，添加到请求头里面，伪装是浏览器访问，即可继续爬取；当前你要爬取一些别的反爬虫的网页，可能需要其他规则和策略了....

2. 案例里面还涉及到认证相关的处理，比如urllib.request.HTTPBasicAuthHandler，可以自己跟着敲一下，有个大概的了解，当你真正从事这个的时候，肯定要深入很多东西。最后，我用urllib请求了一下公司的登录接口，顺便练习了下Json处理 dataDic = json.loads(jsonStr)

直接上练习 - 最后请求登录，你替换为自己公司的去做个练习就好！

net_test.py

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
# 文件名：net_test.py

from urllib import request as urlRequest
import requests
from fake_useragent import UserAgent

# 0.可以开始了，从官方入手还是可以滴
# https://docs.python.org/3/library/urllib.request.html#examples

# 1.获取git项目的一个readme吧
try:
    # with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源
    with urlRequest.urlopen("https://heyclock.gitee.io/doc/Share/README.md") as jianshu:
        while True:
            data = jianshu.read(1024)
            if not data:
                break;
            print(len(data))
            print(data.decode('utf-8'))
except Exception as err:
    print(err)

# 2.获取一篇文章页面内容【爬取需要一些参数认证，猜想可能有cookie, user-agent之类的吧...】
# 伪装一个代理
ua = UserAgent()
headers = {
    'User-Agent': ua.random
}
# 方式一、 requests + fake_useragent - 伪装浏览器
if True:
    url = 'https://www.jianshu.com/p/2e190438bd9c'
    response = requests.get(url, headers=headers)
    print(response.content.decode('utf-8'))
    print(response.status_code)

# 方式二、python3.x的urllib+user-agent(从浏览器开发者工具Network/XHR/下找到的user-agent作为浏览器标识)
if False:
    url_jianshu = 'https://www.jianshu.com/p/85a3004b5c06'
    try:
        # with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源
        # python爬虫中带上Cookie，Referer，User-Agent -> https://blog.csdn.net/qq_40187062/article/details/86356955
        # python爬虫之伪装User-Agent -> https://www.jianshu.com/p/74bce9140934
        headers_fromWeb_devloptool = {
            # 'Accept': '*/*',
            # 'Accept-Language': 'zh-CN,zh;q=0.9',
            # 'Accept-Encoding': 'gzip, deflate, br',
            # 'Connection': 'keep-alive',
            # 'Cookie': 'BIDUPSID=8640A1C37FE0690CCFD0ADC95CDD0614; PSTM=1573012288; BAIDUID=8640A1C37FE0690C2FF67C0B307E1236:FG=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; HMACCOUNT=67BE1EE84C6E8606; H_PS_PSSID=1427_21089_18560_29568_29220_28702; delPer=0; PSINO=7; HMVT=6bcd52f51e9b3dce32bec4a3997715ac|1573106717|',
            # 'Referer': 'https://www.jianshu.com/p/2e190438bd9c',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
        }
        req = urlRequest.Request(url_jianshu, None, headers_fromWeb_devloptool)
        # req.add_header("xxx", "xxxx") 还可以继续添加header参数
        with urlRequest.urlopen(req) as jianshu:
            while True:
                data = jianshu.read(1024)
                if not data:
                    break;
                print(len(data))
                print(data.decode('utf-8', 'ignore'))  # "ignore"解决 'utf-8' codec can't decode byte..
    except Exception as err:
        print(err)

# 请求带参数 - 来自官方案例
import urllib.parse
params = urllib.parse.urlencode({'wd': "皮皮虾", 'ie': "UTF-8"})  # 字典提供https://www.baidu.com/s?wd=皮皮虾&ie=UTF-8
# post方法
# params = params.encode('utf-8')
# with urlRequest.urlopen("https://www.baidu.com/s", params) as f:
#     print(f.read().decode('utf-8'))
# get方法
urlBds = "http://www.baidu.com/s?%s" % params  # 如果用https的话，爬到的是一个重定向的页面
with urlRequest.urlopen(urlBds) as f:
    print(f.read().decode('utf-8'))

# other1\. 了解一下：认证简单实践HTTP Authentication - 来自官方案例。如果搞这个行业，有天你可能会去研究更深的用法，如何应对反爬虫等等
# Create an OpenerDirector with support for Basic HTTP Authentication...
if False:
    urlAuthent = 'http://pythonscraping.com/pages/auth/login.php'  # 目前没有搞服务器那头，也不知道哪里有这种url，写法就是这么个写法
    author_handler = urlRequest.HTTPBasicAuthHandler()
    author_handler.add_password(None, urlAuthent, user='ryan', passwd='password')
    opener = urlRequest.build_opener(author_handler)
    # ...and install it globally so it can be used with urlopen.
    urlRequest.install_opener(opener)
    with urlRequest.urlopen(urlAuthent) as f:
        print(f.read().decode('utf-8'))

# other2\. 请求下公司的登录方法 - 今天基本就差不了，回头就去开始去xPath做分析实践
urlCompany = "https://www.xxxxx.com/"  # xxx/xxx/xxxx - 这个具体方法就不公布了
params = urllib.parse.urlencode({"login_name":"151xxxxxxx", "password": "123456"})
urlCompany = urlCompany + "?" + params
print("公司登录方法:" + urlCompany)
with urlRequest.urlopen(urlCompany) as f:
    jsonStr = f.read().decode('utf-8')
    print(jsonStr)
    # other3\. 顺便解析下Json
    import json
    dataDic = json.loads(jsonStr)
    print(type(dataDic), dataDic)
    print("dataDic['code']: ", dataDic['code'])
    print("dataDic['data']: ", dataDic['data'])
    print(type(dataDic['data']))
    print(dataDic["data"]["display_name"])
    print(dataDic["data"]["user_phone"])

说明：里面我分别去爬取了gitee上的readme，爬取了的网页，请求了一下百度搜索页面，get/post，手动去网页开发者工具粘贴了一个'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'来添加到Header伪装浏览器访问...同时里面有一些链接参考，可以帮助学习。。。老规矩，别人的是别人的，我们需要有自己的想法和拓展，虽然当前没办法一下子很可以，但是可以慢慢积累 - 共勉！

结果没啥吧：

image

工程练习地址：https://gitee.com/heyclock/doc/tree/master/Python/python_study

附录：

with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源

python爬虫中带上Cookie，Referer，User-Agent -> https://blog.csdn.net/qq_40187062/article/details/86356955

python爬虫之伪装User-Agent -> python爬虫之伪装User-Agent