python基于urllib与http访问关键词网站

urllib。request是http.client的抽象,要访问网站,可以使用urllib.request.urlopen(),只需要一行代码.

实验原理

用urlencode()对于搜索的关键字进行url编码,然后拼接到百度的网址后,应用urlopen()发出请求并取得结果,最后通过将结果进行解码和正则搜索与字符串处理后输出。

实验效果

python基于urllib与http访问关键词网站_第1张图片

实验代码

from urllib.request import urlopen
from urllib.parse import urlencode
import re

## wd = input('输入一个要搜索的关键字:')
wd = 'python'
wd = urlencode({'wd':wd})
url = 'http://www.baidu.com/s?' + wd
page = urlopen(url).read()
content = (page.decode('utf-8')).replace('\n','').replace('\t','')
title = re.findall(r'

',content) title = [item[item.find('href = ') + 6:item.find('target=')] for item in title] title = [item.replace(' ','').replace('"','') for item in title] for item in title: print(item)

你可能感兴趣的:(python尝试,python)