爬虫403 被服务器拒绝

import urllib.request as request
src=!["https://www.ptt.cc/bbs/movie/index.html"]
with request.urlopen(src) as response:
    data=response.read().decode('utf-8')
print(data)

在这种情况下直接对网路进行连接，一般情况下会被服务器拒绝出现这样的报错“”“urllib.error.HTTPError: HTTP Error 403: Forbidden”“”

这种情况是网站认为你不是普通用户操作，所以我们需要模拟普通用户。
一般用户使用会给网站发送一个这总系统和浏览器的信息，所以我们需要模拟。也要向网站发送一个这样的信息。

#抓取PTT电影版的网页原始码（HTML）
import urllib.request as req
url="https://www.ptt.cc/bbs/movie/index.html"
#建立一个Request物件，附加Request Headers 的资讯  
request=req.Request(url,headers={
     
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
})
with req.urlopen(request) as response:
    data=response.read().decode("utf-8")
#资料解析
import bs4
root=bs4.BeautifulSoup(data,"html.parser")
titles=root.find_all("div",class_="title")
print(titles)

下边这行代码就可以爬取ptt网站的题目信息了