Python抓取网页被拒绝,需要添加headers来解决

当使用Python对网页内容进行抓取时,常常会遇到网页访问被拒绝的情况,这主要是因为一些网页进行了防抓取设置,不过不用怕,添加一个headers就好了,举个例子。

headers={'User-Agent':'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}

url='http://www.ximalaya.com/#/1029811/album/3487530'

html=requests.get(url,headers=headers)

这样就可以啦!!

转载于:https://www.cnblogs.com/txdongfeng/p/5105589.html

你可能感兴趣的:(Python抓取网页被拒绝,需要添加headers来解决)