一次性下载CVPR/ICCV/ECCV会议所有论文并提取论文标题重命名pdf文件

动机

    计算机视觉领域会议近年来论文接收数量暴增，论文多得看不过来。偶尔想起来，会兴致勃勃去下载个几篇看看。但每次看都要去官网下载，挺麻烦的。为何不直接把论文全部爬下来，有空时直接翻出来看？这篇博客要干的就是这个事情。

说明

    以防万一有同学看到最后发现该博客解决不了自己问题，这里先说明一下，以下的所有操作都是在ubuntu下进行的，windows下不能直接用，但是可以参考一下。

具体操作

    1. 写脚本，爬论文。

    说到写爬论文脚本，有些同学可能会觉得有点麻烦。其实爬某个网页下的指定格式的文件并不麻烦。比如cvpr 2018年的论文所在网站为http://openaccess.thecvf.com/CVPR2018.py，这个爬论文的脚本只需一行代码：

wget --level=1 --recursive --no-parent --accept pdf,PDF http://openaccess.thecvf.com/CVPR2018.py

    直接将这行代码贴在终端中运行或者将这行代码写在一个.sh脚本中运行都可以。运行完后会在当前目录下生成一个目录"openaccess.thecvf.com"，cd进去看会发现所有的论文都在“openaccess.thecvf.com/content_cvpr_2018/papers ”目录中了，相关的补充材料也会被一并爬下来，保存在“openaccess.thecvf.com/content_cvpr_2018/Supplemental ”目录下。执行ls命令会看到所有的论文都下载好了。

    但是有个问题很烦人，就是pdf文件的名字并不是我们想要的论文标题。难道我们每次想看论文时都得打开一个pdf来看这篇文章是干嘛的吗？更好的方式当然是直接从pdf文件名就能看出论文大概讲的是什么东西（比如做detection的文章大多题目都会有detection这个字眼），这样我们可以随心所欲地选择自己想看的主题相关的论文。

    2. 提取论文标题，用它重命名pdf文件

    由于要获取pdf标题，这边需要先装一下叫PyPDF2的东西，安装方法很简单：

sudo pip install PyPDF2

    安装完后，将下面的代码负责到rename_pdf_using_title.py文件中，运行即可：

  1 import os
  2 from PyPDF2 import PdfFileWriter, PdfFileReader
  3 from shutil import copy2
  4 
  5 src_dir = '/home/XXX/download/cvpr2018_papers/openaccess.thecvf.com/content_cvpr_2018/papers'
  6 des_dir = '/home/XXX/download/cvpr2018_papers/openaccess.thecvf.com/content_cvpr_2018/papers_new'
  7 
  8 if not os.path.exists(des_dir):
  9     os.makedirs(des_dir)
 10 
 11 if os.path.exists(src_dir):
 12     dirs = os.listdir(src_dir)
 13     for dirc in dirs:
 14         pdf_reader = PdfFileReader(open(os.path.join(src_dir, dirc), 'rb'))
 15         titlec = pdf_reader.getDocumentInfo().title
 16         if titlec.find('/')!=-1: #文件名中的斜杠'/'会和目录标识符冲突，因此将其转为'-'
 17             print(titlec)
 18             titlec2 = titlec.replace('/','-')
 19             print(titlec2)
 20             titlec = titlec2
 21         copy2(os.path.join(src_dir, dirc), os.path.join(des_dir, titlec) + '.pdf')
 22 else:
 23     print("Dir does not exist!")

    运行完后到des_dir下ls一下，可以看到所有的pdf文件都命名好了：

    希望对喜欢屯paper的同学有点帮助。