python 爬虫（一）

import urllib2
class Spider:
    '''
    爬取一个网站，定义一个Spider类
    '''
    def load_page(self,page):
        '''
        定义一个发送url请求，下载HTML源码的成员方法，self表示当前对象
        '''
        #要请求的url地址
        url = "https://tieba.baidu.com/f?kw=%E7%8E%AF%E5%A2%83&ie=utf-8&pn="+page
        #请求头user_agent
        user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
        #创建一个字典，将请求头中的headers中'User_Agent':对应user_agent
        headers ={'User_Agent':user_agent}
        #新建一个请求，需要将请求中的headers变量换成我们创建好的headers
        req = urllib.Request(url,headers=headers)
        #请求服务器，得到响应
        response = urllib2.urlopen(req)
        #得到响应的内容
        html = response.read()
        #防止乱码
        new_html = html.decode("gbk").encode("utf-8")
        return new_html

#main
if __name__ == "__main__":
    #创建一个Spider对象
    myspider = Spider()
    #调用load_page()方法
    page = myspider.load_page(0)