解决Python中加载sklearn新闻数据集出现的HTTP Error 403 Forbidden问题

解决Python中加载sklearn新闻数据集出现的HTTP Error 403 Forbidden问题

在使用Python调用sklearn中的fetch_20newsgroups函数加载新闻数据集时，有时会遇到HTTP Error 403 Forbidden错误，主要是由于爬虫被禁止访问导致的。本文将介绍两种常用的解决方法。

方法一：更改请求头

通常，HTTP Error 403 Forbidden错误是由于缺少合适的请求头信息所引起的。我们可以为请求加入User-Agent信息，让服务器认为是正常的浏览器访问，从而避免被拒绝。下面是修改请求头的代码示例：

from sklearn.datasets import fetch_20newsgroups
import requests

headers = {
   
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0;Win64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/58.0.3029.110Safari/537.3'}