Python和Beautiful Soup爬虫助力提取文本内容
大家好，网络爬虫是一项非常抢手的技能，收集、分析和清洗数据是数据科学项目中最重要的部分。今天介绍如何从链接中爬取高质量文本内容，我们使用迭代，从大约700个链接中进行网络爬取。如果想直接跳转到代码部分，可以在下方链接GitHub仓库中找到，同时还会找到一个包含将爬取的700个链接的.csv数据集。
【GitHub】：https://github.com/StefanSilver3/MediumArticlesCode-byStefanSilver/tree/main/WebScraping
1.从单个链接进行网页抓取
首先导入所需的库：
from bs4 import BeautifulSoup
import requests
from bs4.element import Comment
import urllib.request
如果还没有安装BeautifulSoup库，可以直接在Python中安装：
pip install beautifulsoup4
然后开始编码，这里定义两个函数，一个用于检查要排除的内容，另一个用于从网站上爬取内容。
第一个函数用于查找要排除的元素，代码如下：
# 要从提取的文本中过滤的标签
def tag_visible(element):
if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
return False
if isinstance(element, Comment):
return False
return True
第二个函数将使用这个函数，以确保所有的无用内容都从最终结果中排除，代码如下：
# 从网页文本中过滤前一个函数中提到的所有标签的函数
def text_from_html(body):
soup = BeautifulSoup(body, 'html.parser')
texts = soup.findAll(string=True)
visible_texts = filter(tag_visible, texts)
return u" ".join(t.strip() for t in visible_texts)
进而可以在一个新链接上测试这两个函数，可以放置任意链接，不需要使用下面的链接。
html = urllib.request.urlopen('https://www.artificialintelligence-news.com/2023/11/20/microsoft-recruits-former-openai-ceo-sam-altman-co-founder-greg-brockman/').read()
print(text_from_html(html))
网络爬取的内容将会像下面的文本一样：
爬取的网站——随机链接
注意，一些网站会检测到网络爬取活动，并阻止网络爬取尝试。如果发生这种情况，将收到一个403错误，这是“禁止”的代码。
2.同时爬取多个链接
测试了简单的提取函数，接下来对提供的链接数据集的所有链接进行迭代提取。首先确保获取了在GitHub仓库中找到的数据集，然后读取数据集并将列名更改为Link，原本的列名是max(page)。
df = pd.read_csv("furniture_stores_pages.csv")
df.rename(columns={"max(page)":"Link"}, inplace=1)
创建一个以0为起始值的变量x，它将在列表中的每个链接上进行迭代，也可以使用元素变量。
x=0
df_contents=[]
for element in df.iterrows():
try:
url = df["Link"][x]
scraped_text = urllib.request.urlopen(url).read()
df_contents.append(text_from_html(scraped_text))
x=x+1
except:
print("(",x,")","This website could not be scraped-> ",df["Link"][x])
x=x+1
定义一个名为df_contents的列表，它将包含从每个网页中提取的所有可以爬取的文本。
接下来，遍历每个元素，如果可以访问且包含相关数据，就从中提取信息。这只是对随机链接进行上述测试，但测试的对象是提供的数据集中的所有链接。代码中还使用了try-except对无法提取的链接进行跳过。
检查新列表(df_contents)的长度，查看提取了多少链接。
len(df_contents)
这个函数返回268，这意味着在700多个网站中只有268个爬取成功，可以使用下面的代码访问并打印第一个被爬取的网站。
df_contents[0]
这将打印第一个文本，示例如下所示（简短版本）：
从数据集中爬取的网站
如果需要的话，也可以使用下面的代码反复打印。每打印完一个元素后，都需要输入任意字符以继续，这样就可以逐一检查每个提取的网站。
count = 0
for element in df_contents:
print(df_contents[count])
print("\n \n---------------------------------------------------------------------------------------- \n \n")
print("Press any key to continue to print df_contents [",count+1,"]")
input()
count= count+1