【Python爬虫】爬取搜狗首页的页面数据

分析

1、指定url
首先进入搜狗搜索页面，指定url，并进行UA伪装。
UA就是User-Agent，UA伪装就是让爬虫对应的请求载体身份标识伪装成某一款浏览器。因为门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，就说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫），服务器就很有可能会拒绝该次请求。
我们进入到搜狗搜索页面，打开开发者工具（鼠标右击，点击“检查”即可），点击Network，刷新页面。我们可以找到对应的URL和User-Agent。

2、发起请求
我们可以通过开发者工具看到请求方式为GET，所以我们使用requests.get()方法。

3、获取响应数据
从下图可知，内容的类型为text/html，所以我们使用 .text，返回字符串形式的响应数据。

4、持久化存储

代码

import requests
if __name__ == "__main__":
    # 1、指定url
    url = 'https://www.sogou.com/'

    # 2、发起请求
    # get方法会返回一个响应对象
    response = requests.get(url=url)

    # 3、获取响应数据
    # .text返回的是字符串形式的响应数据
    page_text = response.text

    # 4、持久化存储
    with open('sogou.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！！！')