土枪土炮搞爬虫

前言

最近在搞一些植物信息数据的爬取，开始接触到爬虫这种神奇的东西，这里就简单介绍下我是怎么爬取百度百科的吧

语言用的是python，没有使用现成的python爬虫库，比如：pyspider、scrapy，只使用了BeautifulSoup和requests库，所以算是土枪土炮搞出来的爬虫啦

正文

【1】爬虫世界的页面分类

• 纯html页面，请求url得到的response内容就是整个页面的最终展现的dom树
• js页面，请求url得到的response内容并不是最终展现的dom结构，部分dom结构是浏览器运行js后得到的，这里不包括ajax请求拿到dom结构
• ajax页面，这种算是js页面的一类，但它是发出浏览器异步请求去补充页面dom结构的，不是简单的运行下js

【2】爬虫常见问题

• 多进程 + 多线程，尽可能快的爬取数据
• 分布式部署
• 防反爬虫机制
• 爬取js页面（包含ajax页面）

【3】现成解决方案
针对上述3种页面分类，现成的爬虫库已经有很好的解决方案了，先来张常见爬虫对比图吧

爬虫对比

【4】自己的土方案

google出来一堆爬虫框架，杀鸡焉用牛刀？哈哈，其实是懒得去了解其他的库啦，先从土方案入手了解爬虫

方案大致是：
多线程获得爬取任务 + requests库请求url + BeautifulSoup分析html结构 + mysql保存结果

多线程爬取简要实现大致如下（伪代码，不可直接运行）：

def process(tid):
    while True:
        try:
            task = getTask()
            if not task:
                print "跑完了"
                break

            # 请求task的url
            resp = requests.get(task['url'], proxies=proxies)
            if resp.status_code != 200 or not resp.content:
                continue

            # 处理html结果
            soup = BeautifulSoup(resp.content, "html.parser")

            # 保存结果
            db = MySQLdb.connect("localhost", "root", "123456", "plant", charset='utf8')
            cursor = db.cursor()
            cursor.execute(sql)
            db.commit()
        except:
            traceback.print_exc()

if __name__ == "__main__":
    pool = ThreadPool(poolSize)
    results = pool.map(process, range(0, poolSize))
    pool.close()
    pool.join()

这种土方案只能cover住纯html页面，js页面和ajax页面就废了，所以还有一个改进版，通过telemetry库对浏览器进行操控，然后拉取html页面进行分析，得到想要的结果（telemetry的具体使用就暂时不写了，以后有空再介绍，可参考:http://tmq.qq.com/2016/12/google_performance_test/）
缺点：严重依赖chrome浏览器，无法服务化，而且爬取速度很慢
优点：基于浏览器渲染得到的页面结果，最贴近于真实页面结果

后语

【留着以后再写。。。】