爬取百度贴吧图片

依然是参考崔庆才写的关于Python爬虫的文章，大家有兴趣的话可以去他的个人博客静觅学习。

源代码还是在我的GitHub主页上。

上次将百度贴吧里帖子的文字写入txt文件，这次将其中的图片下载保存到本地。

以五月天吧中的这个帖子为例，作者是痴呆Juli，写一个程序将她发的图片下载下来。提取帖子标题和一共的页数，将第n页的所有图片都保存到名为“标题 n”的文件夹中。图片出现的位置如下图，相应的正则表达式为pattern = re.compile('。


图片.png

程序的思路是：对于每一页， re.findall()找出所有的图片链接以列表的形式返回，根据标题和当前页码建立相应的文件夹，将每张图片都保存到该文件夹。
对应的函数有四个

    def mkdir(self, path):
        isExists = os.path.exists(path)
        if not isExists:
            os.makedirs(path)
            return True
        else:
            return False

    def getAllImgs(self, page):
        pattern = re.compile(' 3:
                fTail = "jpg"
            fileName = name + "/" + str(number) + "." + fTail
            self.saveImg(imageURL, fileName)
            number += 1

mkdir建立文件夹，os模块包含了很多操作系统的接口，os.path.exists(path)查看path路径是否存在，若不存在，os.makedirs(path)建立该路径（即在当前目录建立名为path的文件夹）。
getAllImgs() 提取当前页面所有图片的链接，以列表形式返回。
saveImg()打开图片链接，写入名为fileName的文件。因为图片是二进制格式，所以用‘wb’，表示以二进制格式打开一个文件只用于写入，如果该文件已存在则将其覆盖，如果该文件不存在，创建新文件。注意，open之后记得close。
saveImgs保存所有图片。由于imageURL的形式为“URL.jpg”，imageURL.split('.')用.将imageURL分为前后两部分，fTail = splitPath.pop()删除列表最后一个元素并返回该值，即图片的格式，fileName = name + "/" + str(number) + "." + fTail表示在名为name的文件夹下保存number.fTail的文件。