Python学习中常用的一些模块库

1、安装 pip ，组件管理套件

sudo easy_install pip

也可以根据 Python 选择安装 pip 版本

sudo easy_install-3.6 pip
sudo easy_install-2.7 pip

---

---

Django学习中的一些库

---

---

2、Django

pip install django或者sudo pip install django

3、MySQL数据库

pip install PyMySQL(python3中)，详情参见Mac系统配置MySQL环境

4、Pillow 提供图片绘制相关API

pip install Pillow

5、django-tinymce 富文本编辑器

pip install django-tinymce

6、全文检索

pip install django-haystack
pip install whoosh
pip install jieba

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理
haystack：django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearc四种全文检索引擎后端，属于一种全文检索的框架
whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用
jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品

---

---

scrapy学习中的一些库

---

---

7、 BeautifulSoup4

作用：BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.

安装：sudo pip install BeautifulSoup4

8、 jupyter notebook

作用：数据清理和转换，数值模拟，统计建模，机器学习等

安装：sudo pip install jupyter （或者 pip install jupyter ）

9、Requests 库

作用：自动爬取 HTML 页面，自动网络请求提交

安装：sudo pip install requests

10、robots.txt

网站自己创建的一个地址文件
作用：网络爬虫排除标准

11、Re 库

python 自带，无需安装
作用：正则表达式 python 库

12、Scrapy *

https://pypi.python.org 对 Scrapy 爬虫的一些第三方扩展库

作用：专业的网络爬虫框架（一个软件结构和功能组件的集合）

安装：sudo pip install scrapy