爬虫入门学习---爬取搜狗网页数据

 什么是爬虫:
通过编写程序,模拟浏览器上网,然后让其去互联网抓取数据的过程

我用的是pycharm中的requests模块来实现

步骤如下:

目录

步骤如下:

代码如下


# step1:指定url
# step2:发起请求
# step3:获取响应数据,text返回的是字符串形式的响应数据
# step4:持久化存储

代码如下

# 需求:爬取搜狗首页数据
import requests
# step1:指定url
url = 'https://www.sogou.com/'
# step2:发起请求
# get方法会返回一个响应对象
response = requests.get(url=url)
# step3:获取响应数据,text返回的是字符串形式的响应数据
page_text = response.text
print(page_text)
# step4:持久化存储
with open('./sogou.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)
print("爬取数据结束!!!")

由于只是爬取主页的信息,所以没有必要使用UA伪装。

结果是网页的所有数据会存储到本地的一个html文件中。

你可能感兴趣的:(python爬虫,爬虫,python,pycharm)