python常见库总结

1、Beautiful Soup：
这是一个HTML和XML解析器，可用于从Web页面中提取数据,这个过程叫做网页爬取。
2、Scrapy：
这是一个用于大规模网页抓取的框架，提供所有需要的工具有效的从网站中抓取数据，以使用者偏好的结构和合适存储数据。
3、Selenium:
这还少一个备受欢迎的自动化浏览器工具，在业界常用于测试，但对于网页抓取也十分方便。
4、pandas、Numpy、PyOD、SpaCy
(用于数据清理和数据操作的python库)
(1)pandas：用于数据操作和数据分析
(2)PyOD：一个全面的、可伸缩的Python工具包，用于检测外围对象
(3)Numpy：这是一个开源库，引入了支持大型多维数组
(4)SpaCy：是用于自然语言处理的库和框架；
5.用于数据可视化的python库：
（1）Matplotlib：允许生成和构建各种各样的图；
（2）Seaborn：为绘制有吸引力的图像而提供高级接口；
（3）Bokeh：面向现代网页浏览器的交互式可视化库；
6.用于建模的python库：
（1）TensorFlow：提供模型构建和机器学习生产及强大的实验工具和库；
（2）PyTorch：python的科学计算包，可使用GPU的强大功能，有着在生产规模中运行模型的能力；
（3）Scikit-learn：支持分类、回归、聚类和模型选择等；
7.用于数据解释性的python库：
（1）LIME：是一种算法（库），可以解释任何分类器或回归量的预测；
（2）H2O：通过可视化提供机器学习可解释性，说明建模结果和模型中特征的影响；
8.用于音频处理的python库：
（1）LibROSA：用于音乐和音频分析的python库，提供了创建音乐信息检索系统所需的构建块；
（2）Madmom： 主要用于音乐信息检索任务；
（3）pyAudioAnalysis：用于音频特征提取、分类、分段，涵盖广泛的音频分析任务；
9、用于图像处理的Python库
（1）OpenCV-python：用于图像处理的PythonAPI，主要用于解决计算机视觉问题
（2）Scikit-image：可执行多个不同图像处理任务的算法集合，用于图像分割，几何变换，色彩空间操作等
（3）Pillow：踏实从Python Imaging Library中派生出来的可以执行逐像素操作和透明处理等
10、属于数据库的Python库
（1）Psycopg：这是Python编程语言中最流行的PostgreSQL适配器
（2）SQLAlchemy：它是PythonSQL工具包和对象关系映射器为应用程序开发人员提供了SQL的全部功能。
11、用于部署的python库
（1）Django：python web框架的先驱，大而全，功能极其强大，非常适合企业级网站的开发
（2）flask：一个python编写的Web框架，小乔、灵活、非常适用于小型网站。