爬虫学习一 ： 打开特定网页获取信息

#coding=utf-8

#===============================================================================
#import urllib2

#content=urllib2.urlopen('http://blog.csdn.net/yuri_4_vera').read()

#以上运行结果
#urllib2.HTTPError: HTTP Error 403: Forbidden

#=================================================================================

import urllib2  
import re  #引入正则表达式
  
#模仿用浏览器访问
headers = {  
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  
}  
req = urllib2.Request(  
    url = 'http://blog.csdn.net/shawncheer',  
    headers = headers  
)  
  
content = urllib2.urlopen(req).read()  

#解码，如果不解码，就会出现乱码现象。
content=content.decode("utf8")  

#正则表达式：(?<=<li>).+?(?=</li>) 
result = re.findall(r'(?<=<li>).+?(?=</li>)',content)  
  
for x in xrange(0,7):  
    print result[x]  
    pass