入门爬虫--少侠携令进江湖

续上次初入江湖的少侠小李被恶霸张三赶了出来之后做了什么事呢? 小李被恶霸张三赶走之后才发小一个人确实是势单力薄的,就去了少林拜师方丈,少林是当时名气和声望威震江湖的门派, 小李在方丈学了几个月后, 又心高气傲的进入了江湖, 他发现自从拜师少林之后, 那些地方恶霸也不敢欺负他了, 因为他身上携带着少林的令牌, 大家看到是少林的人自然就对其敬让三分, 可是肯定还有一些狠角色的人物还是会看他不爽, 预知后事如何, 请见下回分解!

爬虫的开发环境:

  依赖于python2版本,尽量在linux/Ubuntu下操作!

入门爬虫的简单小程序

# encoding: utf-8
# 指明python的编码语言utf-8,

from urllib2 import urlopen, Request
# 导入需要的包

url = 'http://www.sina.com.cn'
# 发送请求的url路径

headers = {
    'User-Agent':   'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'
}
#  构建请求头(用户代理:模仿用户行为)

request = Request(url, headers=headers)
# 构建请求

response = urlopen(request)
# 接收响应数据

print response.read()
# 打印接收的数据

                                          世界不曾辜负任何一个努力的人
                                                            ___大鱼___