python 实现一个简单的网页爬虫程序

最近在学习python，以下为网页爬虫代码，供参考

1、爬取指定网页的标题和所有的连接

2、并将这些信息保存到一个文件中。

前置：因使用到网页相关的功能，故需导入requests、BeautifulSoup 库来完成

#导入网页相关的库

import requests

from bs4 import BeautifulSoup

#定义一个函数get_page()

def get_page(url):

        response = requests.get(url)        # 发送HTTP的get请求

        # 解析响应内容为HTML（此处使用*.content，否则使用*.text有乱码)

        soup = BeautifulSoup(response.content, 'html.parser')  

  

        # 获取链接的文本内容，即标题

        # *.title代表HTML文档中