python爬虫之requests篇1 爬取搜狗首页

python爬虫之requests篇1 爬取搜狗首页

# 引入第三方requests库
import requests
if __name__ == '__main__':
    # 定义爬取的网页地址
    url = 'https://www.sogou.com/'
    # 这边用requests模块内封装的方法去传入url去获取页面数去
    # 获取到数据之后用response去接收数据
    # 默认以unicode形式返回网页内容，也就是网页源码的字符串
    response = requests.get(url=url)
    # 去拿到response.text的页面数据
    page_text = response.text
    # 打印页面数据
    print(page_text)
    # 这边使用with open去持久化数据，由于这次爬取的是没有技术含量的东西
    # 这边的保存就放在本地了
    with open('./sougou.html','w',encoding='UTF-8') as fq:
        fq.write(page_text)
    print("爬取搜狗首页完成")