python常用的库

标准库和第三方库的区别

 

• python的标准库是随着pyhon安装的时候默认自带的库。用import语句导入就行了。
• python的第三方库，需要下载后，安装到python的安装目录下，不同的第三方库安装及使用方法不同。

大致的标准库

1. os模块 提供了不少与操作系统相关联的函数 操作系统接口
2. glob模块 提供了一个函数用于从目录通配符搜索中生成文件列表 文件通配符
3. sys模块 有 stdin，stdout 和 stderr 属性，即使在 stdout 被重定向时，后者也可以用于显示警告和错误信息。 错误输出重定向和程序终止  sys 模块的 argv 变量 命令行参数
4. re模块 为高级字符串处理提供了正则表达式工具 字符串正则匹配
5. math模块 为浮点运算提供了对底层C函数库的访问 数学 random提供了生成随机数的工具。
6. datetime模块 为日期和时间处理同时提供了简单和复杂的方法。
7. zlib模块 数据压缩

第三方库

1.网络爬虫

1. requests - 对HTTP协议进行高度封装，支持非常丰富的链接访问功能。
2. PySpider - 个人编写的强大的网络爬虫系统并带有强大的webUI.
3. Scrapy - 爬虫框架，用于抓取网站并从其页面中提取结构化数据。可用于从数据挖掘到监控和自动化测试的各种用途
4. Portia-可视化爬取网页内容
5. cola-分布式爬虫框架
6. Crawley-高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等
7. lxml-lxml是python的一个解析库，这个库支持HTML和xml的解析，支持XPath的解析方式

2.自动化

1. XlsxWriter-操作Excel工作表的文字，数字，公式，图表等
2. pymysql-操作MySQL数据库
3. smtplib-发送电子邮件模块
4. pdfminer-一个可以从PDF文档中提取各类信息的第三方库。与其他PDF相关的工具不同，它能够完全获取并分析 P D F 的文本数据
5. python-docx-一个处理Microsoft Word文档的Python第三方库，它支持读取、查询以及修改doc、docx等格式文件，并能够对Word常见样式进行编程设置。

3.数据分析及可视化

1. matplotlib-Matplotlib 是一个 Python 2D 绘图库，Web 应用程序服务器和各种图形用户界面工具包。”
2. numpy-NumPy 是使用 Python 进行科学计算所需的基础包。用来存储和处理大型矩阵，如矩阵运算、矢量处理、N维数据变换等。
3. pyecharts-用于生成 Echarts 图表的类库
4. pandas-一个强大的分析结构化数据的工具集，基于numpy扩展而来，提供了一批标准的数据模型和大量便捷处理数据的函数和方法。
5. Plotly-Plotly提供的图形库可以进行在线WEB交互，并提供具有出版品质的图形，
6. jieba-中文分词模块

4.WEB开发

1. Django-一个开放源代码的Web应用框架， 是Python生态中最流行的开源Web应用框架，Django采用模型、模板和视图的编写模式，称为MTV模式。
2. Pyramid是一个通用、开源的Python Web应用程序开发框架。它主要的目的是让Python开发者更简单的创建Web应用，相比Django，Pyramid是一个相对小巧、快速、灵活的开源Python Web框架。
3. Tornado-一种 Web 服务器软件的开源版本。Tornado和现在的主流Web服务器框架（包括大多数Python的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快
4. Flask是轻量级Web应用框架，相比Django和Pyramid，它也被称为微框架。使用Flask开发Web应用十分方便，甚至几行代码即可建立一个小型网站。Flask核心十分简单，并不直接包含诸如数据库访问等的抽象访问层，而是通过扩展模块形式来支持。

5.机器学习

1. NLTK-一个自然语言处理的第三方库，NLP领域中常用，可建立词袋模型（单词计数），支持词频分析（单词出现次数）、模式识别、关联分析、情感分析（词频分析+度量指标）、可视化（+matploylib做分析图）等
2. TensorFlow-谷歌的第二代机器学习系统，是一个使用数据流图进行数值计算的开源软件库。
3. Keras -是一个高级神经网络 API，用 Python 编写，能够在 TensorFlow，CNTK 或 Theano 之上运行。它旨在实现快速实验，能够以最小的延迟把想法变成结果，这是进行研究的关键。”
4. Caffe-一个深度学习框架，主要用于计算机视觉，它对图像识别的分类具有很好的应用效果
5. theano-深度学习库。它与Numpy紧密集成，支持GPU计算、单元测试和自我验证，为执行深度学习中大规模神经网络算法的运算而设计，擅长处理多维数组。
6. Scikit-learn-是一个简单且高效的数据挖掘和数据分析工具，它基于NumPy、SciPy和matplotlib构建。Scikit-learn的基本功能主要包括6个部分：分类，回归，聚类，数据降维，模型选择和数据预处理。Scikit-learn也被称为sklearn。

6.其他常用

1. IPython-一个基于Python 的交互式shell，比默认的Python shell 好用得多，支持变量自动补全、自动缩进、交互式帮助、魔法命令、系统命令等，内置了许多很有用的功能和函数
2. PTVS-Visual Studio 的 Python 工具
3. pydub-支持多种格式声音文件，可进行多种信号处理、信号生成、音效注册、静音处理等
4. TimeSide-能够进行音频分析、成像、转码、流媒体和标签处理的Python框架
5. dnspython-DNS工具包
6. pygame-专为电子游戏设计的一个模块
7. PyQt5-pyqt5是Qt5应用框架的Python第三方库，编写Python脚本的应用界面
8. PIL(Pillow)-PIL库是Python语言在图像处理方面的重要第三方库，支持图像存储、显示和处理，它能够处理几乎所有图片格式，可以完成对图像的缩放、剪裁、叠加以及向图像添加线条、图像和文字等操作
9. OpenCV-图像和视频工作库
10. Py2exe: 将python脚本转换为windows上可以独立运行的可执行程序。
11. WeRoBot 是一个微信公众号开发框架，也称为的微信机器人框架。WeRoBot可以解析微信服务器发来的消息，并将消息转换成成Message或者Event类型。

如何安装库在此图片里：直接搜索模块（库）名称就好了。