Python爬虫常用模块，BeautifulSoup笔记

import urllib  
import urllib.request as request
import re
from bs4 import *


#url = 'http://zh.house.qq.com/'
url = 'http://www.0756fang.com/'
html = request.urlopen(url).read().decode('utf-8')


soup = BeautifulSoup(html,"html.parser")
print(soup.head.meta['content'])#输出所得标签的‘’属性值
print(soup.span.string);print(soup.span.text)#两个效果一样，返回标签的text


#name属性是‘’的标签的类，是一个由组成的list
print(soup.find_all(attrs={'name':'keywords'}))
print(soup.find_all(class_='site_name'))#class属性是‘’的的list,即
print(soup.find_all(class_='site_name')[0])#这是一个


print(soup.find(attrs={'name':'keywords'}))#name属性是‘’的标签的类
print(soup.find('meta',attrs={'name':'keywords'}))#name属性是‘’的meta标签的类
print(soup.find('meta',attrs={'name':'keywords'})['content'])#可直接查属性值
#配合re模块使用，可以忽略大小写
#如下面例子，可以找到name属性为keywords，KEYWORDS,KeyWORds等的meta标签
print(soup.find('meta',attrs={'name':re.compile('keywords',re.IGNORECASE)}))


'''-------------------------------------------------------------------------'''
'''----------------------------修改BeautifulSoup—----------------------------'''
'''-------------------------------------------------------------------------'''
soup.find(attrs={'name':'keywords'}).extract#调用这个方法，可以删除这一个标签
soup.title.name='ppp'#可以把Tag的名字