爬虫作业三之爬百度百科数据（痛苦的查bug历程）

这个作业主要就是跟着视频教学《Python开发简单爬虫》，学着自己写了一个简单的爬百度百科的爬虫。

一开始的代码都是跟着视频里写的，自己编译运行的时候就出了一堆错。

首先是打错字，比如utf写成uft，init写成int，改完后编译通过，但是爬虫只爬了输入的第一个网页就报craw failed，不再继续爬了；

继续检查发现是有些模块的函数的return语句被我再查错的时候不小心注释掉了，改后仍然只能爬取第一个网页；

打印获得的第二个网页，复制网页地址到crome里打开，发现显示的是“锁定词条”，该页面没有其他可以连接的url，于是爬虫只能停止工作。为什么我爬虫获取的第二个url是这个呢？我打开第一个url也就是百度百科python词条的页面，右键审查元素，查到了第二个url的html语句如下：

而老师视频里我抄下来的抓取url的正则表达式正好是：

links = soup.find_all('a', href=re.compile(r"/item/\d*＋.html"))

可以看到，上面的语句是满足下面的正则表达式的，所以python把这个url加入到url管理器中，作为下一条代爬取的url，导致程序的终止。那么证明由于百度又更新了编码，所以之前的正则表达式不适用于现在的页面了。重新分析页面，右键审查原色，得到可链接的其它页面的语句如下：

Guido van Rossum

可以发现，这些语句都是标题为a，href格式为／item开头加上后面一系列字符串组成，所以我讲正则表达式改为：

links = soup.find_all('a', href=re.compile(r"/item/\w*"))

重新运行，python爬取1000个页面，成功打印出页面url、标题、内容。
不过很快我发现新的问题，输出的标题和内容，凡是有中文的都是乱码，而我按照老师的教学，在输入标题时进行了转码，代码如下：

fout.write("%s"  % data['title'].encode('utf-8'))

但是仍然输出的是乱码，我在网上搜了很多办法，到现在依然没有解决，希望有搞定这个问题的兄弟姐妹们告诉我是这么回事呢？？(我把打印输出的代码贴出来给大家看看，环境是python2.7 OSX系统)

# coding=utf-8

class HtmlOutputer(object):
    def __init__(self):
        self.datas=[]


    def collect_data(self,data):
        if data is None:
            return
        self.datas.append(data)

    def output_html(self):
        fout = open('output.html','w')
        fout.write("")
        fout.write("")
        fout.write("")
        for data in self.datas:
            fout.write("")
            fout.write("" % data['url'])
            fout.write(""  % data['title'].encode('utf-8'))
            fout.write("" % data['summary'].encode('utf-8'))
            fout.write("")

        fout.write("
%s
%s
%s
")
        fout.write("")
        fout.write("")

刚刚折腾了一个中午，大概发现了问题所在，应该是浏览器编码问题。一开始我试着直接打印输出data['title'].，发现即使是中文也不会乱码，于是我将output。html改为用pycharm打开，发现里面的中文都能正常显示。最后，我讲output_html函数改写为output_txt函数，将要打印的内容改写到txt文件，写完打开发现，中文都能正常显示了。我猜，浏览器的编码可能不是UTF8，所以它反而将中文识别称为乱码了。
总之，终于把所有bug解决完毕了，嘘一口气啦～～
－－－－－－－－－－－－－－我是不依不饶的分割线－－－－－－－－－－－－
仔细想了下，刚刚还不算是完全解决乱码问题，因为我写到html文件里面还是乱码。用crome随便打开一个网页，右键查看源码，发现如下显示；

里面的 ，就是 html 编码的约束 。
所以在 html_outputer.py 中，write之前加入一句话：

fout.write("")

再运行，用crome打开output.html，就会发现整整齐齐的中文啦。
这回真正的完结撒花，折腾了一整天了可以嘘一口气了。