一个 Pythoner的 Awesome List

从大三接触 Python 到现在几乎已经有两年的接触经验了，除去中间有一年左右接私活写写 Android 和 Lamp 之外，有 Python 实际项目开发经验也算是 9 个多月，也稍微算得上是一个入门级别的 Python 程序员了。

网上不乏一些不错的 Awesome list, 但是说实话，这种类型的清单某些程度上不就相当于推荐自己没有看过的书单？

而我对自己的 Awesome List 是有要求的。

不求大而全到让人摸不着头脑。
项目只收纳在真实开发项目中用过, 正在学习的，并且的的确确提升了我的开发效率的。
平台仅专注 Mac/Linux 上面的工具。
所选工具除非特意标注，皆兼容 Py3.4+

我觉得这样的 Awesome List 比起那些涵盖各个方面的集合要好很多。

0x01. Python 库

我平时的开发以爬虫为主，Django 框架为辅，偶尔写写 Flask.

1.1. 爬虫类

爬虫其实也并不是很需要技术水平的东西，对于小规模的爬虫，获取 - 解析 - 分析 - 入库即可。

只是抓取情景变化了之后，需要做的事情就是把各个模块解耦，甚至流程也在某种程度上发生了变化，变成了获取 - 入原始网页库 - 分析 - 入中间数据库 - 再获取 - 分析 - 入关系数据库。

在这个过程中，Python 中有很多很方便的库可以使用。

爬虫框架

Scrapy 爬虫框架王者，配合 Scrapy-Redis 可以很快写出分布式爬虫。
PySpider 用过一两次，觉得总有些奇奇怪怪的小问题。值得围观，不推荐。

当然，即便如此，也并不代表不需要编写定制自己的爬虫。

Scrapy 就像大神给你的组装机，是个通用型爬虫，抓取一些简单的网站很好，对付一些比较复杂反爬虫机制比较强的网站，用起来总是束手束脚的，感觉还是需要自己动手组合各个模块进行抓取的。

我是觉得 Scrapy 这种异步的程序调试起来是很费事情的，如果我的想法有错误的话，还请不吝赐教。

所以，下面是我在抓取解析分析入库这个流程中用到的工具第三方库：

爬虫分析网站常用：

phantomjs
chrome
charles 用于抓包和测试

爬虫获取常用：

requests
multiprocessing
threading
asyncio Py3.5 异步库

爬虫解析常用：

正则表达式
json
nodejs 配合 v8 引擎可以复用一部分 js 代码得出真实数据。
beautifulsoup
lxml
pyquery
w3lib 这也是 scrapy 用的库推荐
pytesseract 简单的图像识别
click 用于编写命令行工具

数据库驱动

mysqlclient-python
psycopg2
PyMongo
redis-py

数据清洗与入库

Pandas
https://github.com/kennethreitz/records
https://github.com/kennethreitz/tablib
IPython Notebook

数据提取与可视化

xlsxwriter
Matplotlib
Seaborn
ECharts 虽然不是 Python 语言的，但是可以嵌入到 IPython Notebook 中进行可视化。详情请参照我在上写的这篇文章 IPython Notebook 引入 ECharts 做可视化

爬虫的部署与监控：

psutil
supervisor
Ansible, Ansible 快支持 Py3 了，所以值得关注。将自己平时部署更新的脚本转成 Ansible 脚本的话，大大提高了部署的速度与准确度。

1.2. 网站开发类

Django
django-autocomplete-light
django-celery
django-compressor
django-coverage-plugin
django-crispy-forms
django-debug-toolbar
django-environ
django-extensions
django-filebrowser
django-filter
django-formtools
django-grappelli
django-guardian
django-import-export
django-model-utils
django-mptt
django-redis
django-reversion
djangorestframework
django-compressor
django-pipeline

由于并非专注开发 Flask 程序，所以不推荐 Flask 相关资源。

1.3. 其他 Python 库

命令行工具：

httpie
mycli 如果现在进入 MySQL 终端进行查询的话，首选 MyCLI

小工具：

douban.fm 终端 douban.fm
douyu.fm 这是我写的一个关于斗鱼 TV 弹幕获取的终端小程序

0x02. 网站 / 订阅

对于网站与订阅，求精不求多。

董明伟的博客 http://www.dongwm.com/
知乎上关于 Python 的专题 https://www.zhihu.com/topic/19552832

个人比较看东西找书或者是找代码的时候有两个习惯：

找牛的人看的资料，而不仅仅是牛人的资料。牛人一般情况下推荐的资料也是上上作品。类似于 PageRank, 一直看下去收获相当大。
求精不求多。毕竟技术日新月异，学好一两个领域足矣。

0x03. 书单

其实程序员的阅读量并不完全在纸质书上，主要在各种技术文章上，在各种官网的 Tutorial,Guide,API, 和 Source Code 上面，但是有一些书籍多读几遍还是很有帮助的。

[x] 鸟哥的私房菜两本
[x] Python Cookbook
[x] Python 算法教程
[x] Python 可视化编程
[x] Python Web 开发实战
[x] Python For Data Analysis
[x] MySQL 技术内幕 : SQL 编程
[x] MySQL 技术内幕 : InnoDB 技术内幕
[x] 深入浅出 MySQL
[x] SQL 反模式
[x] Linux 集群和自动化运维
[x] Practical Vim
[x] 大型网站技术架构。核心原理与案例分析

0x04. 进阶源码单

书单是进阶的读者推荐给入门读者的读物。
源码单是进阶的程序员推荐给入门读者的读物。

下面是董明伟推荐的两个源码单：

初级 Pythoner 源码单

kennethreitz/pip-pop: Tools for managing requirements files.
kennethreitz/envoy: Python Subprocesses for Humans™.
kennethreitz/records: SQL for Humans™
mitsuhiko/pluginbase: A simple but flexible plugin system for Python.
mitsuhiko/pipsi: pip script installer
mitsuhiko/unp: Unpacks things.
chrisallenlane/cheat
jek/blinker: A fast Python in-process signal/event dispatching system.
mitsuhiko/platter: A useful helper for wheel deployments.
kennethreitz/tablib: Python Module for Tabular Datasets in XLS, CSV, JSON, YAML, &c.

进阶 Pythoner 源码单

faif/python-patterns 使用 Python 实现一些设计模式的例子。
pallets/werkzeug flask 的 WSGI 工具集。其中包含了实现非常好的 LocalProxy,cached_property,import_string,find_modules,TypeConversionDict 等。
bottlepy/bottle 阅读一个 Web 框架对 Web 开发就会有更深刻的理解，flask 太大，bottle 就 4k 多行，当然如果你有毅力和兴趣直接看 flask 是最好了的。
msiemens/tinydb 了解用 Python 实现数据库。
coleifer/peewee 了解 ORM 的实现。
pallets/click click 已经内置于在 flask 0.11 里，提供命令行功能，值得阅读。

以及一个非常神奇的进阶项目 500lines
https://github.com/aosabook/500lines

0xEE. 结论

这就是我，一个 Python 爬虫工程师常用的以及现在主要在学习的关于 Python 方面的 Awesome List. 整理出来分享给大家。

本文不定期更新

生命苦短，我用 Python