python入门--抓取网页文字

python入门--抓取网页文字_第1张图片

要抓取网页文字,我们需要使用Python的一个库,叫做requests。这个库可以帮助我们向网站发送请求,获取网站的内容。

下面是一个简单的示例代码,用于抓取一个网页的文字:

import requests
import re
import os
import io
import sys
import bs4
from bs4 import BeautifulSoup

url = 'https://baijiahao.baidu.com/s?id=1774337207764266892';
response = requests.get(url);
soup=BeautifulSoup(response.text);
textNew=soup.get_text();
text_nospace=textNew.replace('\n','');
d="[\u4e00-\u9fa5]+";
L=[];
for i in text_nospace:
	I=re.findall(d,i)
	L+=I
textPrint="";
for k in L:
 textPrint+=str(k)
print(textPrint);








这个代码将会发送一个GET请求给网站,然后获取网站的内容并存储在变量text中。最后,我们将打印出这个内容。

你可能感兴趣的:(区块链,python,开发语言)