python正则匹配html标签_Python爬虫常用正则表达式及HTML网页标签分析总结

这篇文章主要是介绍Python爬取网页信息时，经常使用的正则表达式及方法。它是一篇总结性文章，实用性比较大，主要解决自己遇到的爬虫问题，也希望对你有所帮助~

当然如果会Selenium基于自动化测试爬虫、BeautifulSoup分析网页DOM节点，这就更方便了，但本文更多的是介绍基于正则的底层爬取分析。

涉及内容如下：

常用正则表达式爬取网页信息及HTML分析总结

1.获取标签之间内容

2.获取超链接之间内容

3.获取URL最后一个参数命名图片或传递参数

4.爬取网页中所有URL链接

5.爬取网页标题title两种方法

6.定位table位置并爬取属性-属性值

7.过滤等标签

8.获取'  m_script = re.findall(html_script,content,re.S|re.M)  for script in m_script:    res_original = r''original':'(.*?)'' #原图    m_original = re.findall(res_original,script)    for pic_url in m_original:        print pic_url        filename = os.path.basename(pic_url) #去掉目录路径,返回文件名        urllib.urlretrieve(pic_url, 'E:\\'+filename) #下载图片

运行结果如下图所示，同时下载图片至E盘。

参考文章：

https://bl