爬虫开发python工具包介绍 （1）

本文来自网易云社区

作者：王涛

本文大纲：

• 简易介绍今天要讲解的两个爬虫开发的python库

• 详细介绍 requests库及函数中的各个参数

• 详细介绍 tornado 中的httpcilent的应用

• 总结

目标：了解python中常用的快速开发爬虫的工具包。

基础：    python的基础语法（2.7）

Here we go!

简易爬虫：我把一次性代码称为简易爬虫，这些爬虫是定制化的，不能通用。不像爬虫框架，通过配置就可以实现一个新的抓取需求。对于入门的盆友来讲，本篇文章基本可以满足你的需求。如果有对框架感兴趣的盆友，了解了本文的tornado，对于你了解pyspider这个框架也是有好处的。（Pyspdier使用了tornado框架）

一、简介requests与tornado

随着大数据、人工智能、机器学习的发展，python语言的编程地位保持着持续提升。其它方面的功能暂且不表(因为我不知道)，我们来谈谈python在爬虫方面的表现。

1、requests 基础

相信想快速上手爬虫的人都会选择python，并且选择requests库，请问获取百度首页源码要几步？
答：三步
第一步：下载和安装python
第二步：pip 安装 requests库
第三步：执行 python -c 'import requests; print requests.get("http://www.baidu.com").content'

python -c 'import requests; print requests.get("http://www.baidu.com").content'
       

        

 

     更多产品