轩小陌的Python笔记-day14 自定义模块、第三方模块、内置模块（部分）

day14 模块

课程目标：掌握Python中常用模块的使用方法。

今日概要：

• 自定义模块（包）
• 第三方模块
• 内置模块【1/2】

1. 自定义模块

1.1 模块和包

import hashlib


def encrypt(data):
    """ 数据加密 """
    hash_object = hashlib.md5()
    hash_object.update(data.encode('utf-8'))
    return hash_object.hexdigest()


user = input("请输入用户名：")
pwd = input("请输入密码：")
md5_password = encrypt(pwd)

message = "用户名：{}，密码：{}".format(user, md5_password)
print(message)

在开发简单的程序时，使用一个py文件就可以完成，但如果程序比较庞大，此时为了代码结构清晰，将功能按照某种规则拆分到不同的py文件中，使用时再去导入即可。另外，当其他项目也需要此项目的某些模块时，也可以直接进行调用，增加重用性。

如果按照某个规则进行拆分，发现拆分到 commons.py 中函数仍然太多，也可以通过文件夹来进行再次拆分，例如：

├── commons
│   ├── convert.py
│   ├── page.py
│   └── utils.py
└── run.py

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pAfNFp3t-1648881373964)(assets/image-20220401205537647.png)]

在Python中一般对文件和文件夹的称呼：

• 一个py文件：模块（module）。
• 含多个py文件的文件夹：包（package）。

注意：在包（文件夹）中有一个默认内容为空的__init__.py的文件，一般用于描述当前包的信息，另外，在导入它下面的模块时，__init__.py也会自动加载。

• Python2 中必须要有__init__.py文件，否则将无法正常导入包。
• Python3 中__init__.py文件可有可无。

1.2 导入

当定义好一个模块或包之后，如果想要使用其中定义的功能，必须要先导入，才能使用。

导入，其实就是将模块或包加载的内存中，以后再去内存中去取。

1.2.1 关于导入模块或包时的路径：

在Python内部默认设置了一些路径，导入模块或包时，都会按照指定顺序逐一去特定的路径查找。

# 通过输出sys.path可以指定系统默认寻找的路径有哪些：
import sys
print(sys.path)

>>输出结果：
[
    'C:\\Pycharm_files\\pythonProject\\day14', 
    'C:\\pythonpath', 
    'C:\\Program Files\\Python39\\python39.zip', 
    'C:\\Program Files\\Python39\\DLLs', 
    'C:\\Program Files\\Python39\\lib', 
    'C:\\Program Files\\Python39', 
    'C:\\Program Files\\Python39\\lib\\site-packages', 
    'C:\\Program Files\\Python39\\lib\\site-packages\\win32', 
    'C:\\Program Files\\Python39\\lib\\site-packages\\win32\\lib',
    'C:\\Program Files\\Python39\\lib\\site-packages\\Pythonwin'
]

如果想要导入任意的模块和包，都必须写在以上的路径下，才能被找到。当然，如果模块或包不在该路径，也可以手动在 sys.path 中添加指定路径，然后再导入：

# 导入路径A下的一个xxxx.py文件
import sys
sys.path.append("路径A")

import xxxxx  

注意：

1. 创建自定义模块名称时，千万不能和内置模块或第三方模块的同名，否则容易导致模块冲突而报错。

2. 项目执行文件一般都在项目根目录，如果执行文件在根目录下嵌套的其他目录中，就需要手动在 sys.path 中添加路径，否则无法导入模块或包。

3. pycharm中默认会将项目的根目录加入到 sys.path 中

1.2.2 关于导入的方式：

导入本质上是将某个文件中的内容先加载到内存中，然后再从内存中去取用。而在Python开发中常用的导入的方式有两种，每种方式又有多种情况：

1.2.2.1 第一类：import xxxx（一般多用于导入 sys.path 目录下的一个py文件）

• 模块级别

  ├── commons
  │   ├── __init__.py
  │   ├── convert.py
  │   ├── page.py
  │   ├── tencent
  │   │   ├── __init__.py
  │   │   ├── sms.py
  │   │   └── wechat.py
  │   └── utils.py
  ├── many.py
  └── run.py
  

• 包级别

  ├── commons
  │   ├── __init__.py
  │   ├── convert.py
  │   ├── page.py
  │   └── utils.py
  ├── third
  │   ├── __init__.py
  │   ├── ali
  │   │   └── oss.py
  │   └── tencent
  │       ├── __init__.py
  │       ├── __pycache__
  │       ├── sms.py
  │       └── wechat.py
  └── run.py
  

1.2.2.2 第二类：from xxx import xxx（一般适用于导入包中嵌套的某个模块或导入模块中嵌套的某个功能）

• 功能级别

  ├── commons
  │   ├── __init__.py
  │   ├── convert.py
  │   ├── page.py
  │   └── utils.py
  ├── many.py
  └── run.py
  

提示：基于from模式也可以支持 from many import *，即：导入一个模块中所有的功能（可能会重名，所以用的少）。

• 模块级别

  ├── commons
  │   ├── __init__.py
  │   ├── convert.py
  │   ├── page.py
  │   └── utils.py
  ├── many.py
  └── run.py
  

• 包级别

  ├── commons
  │   ├── __init__.py
  │   ├── convert.py
  │   ├── page.py
  │   ├── tencent
  │   │   ├── __init__.py
  │   │   ├── sms.py
  │   │   └── wechat.py
  │   └── utils.py
  ├── many.py
  └── run.py
  

1.3 相对导入

在导入模块时，如果使用from xx import xx这种方式，还支持相对导入。例如：

注意：相对导入只能导入在包中的模块文件，而直接在项目根目录下的模块文件则无法使用：

1.4 导入别名

如果在项目中导入功能/模块/包时有重名，那么后导入的会覆盖之前导入，为了避免这种情况的发生，Python支持重命名，即：

from xxx.xxx import xx as xo
import x1.x2 as pg

1.5 主文件

• 当执行一个py文件时：

  __name__ = "__main__"
  

• 当导入一个py文件时：

  __name__ = "模块名"
  

主文件，指的是在程序执行的入口文件，例如：

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

我们通常是执行 run.py 去运行程序，其他的py文件都是一些功能代码。当我们去执行一个文件时，文件内部的 __name__变量的值为 __main__，所以，在主文件中经常会看到：

import many
from commons import page
from commons import utils


def start():
    v1 = many.show()
    v2 = page.pagination()
    v3 = utils.encrypt()


if __name__ == '__main__':
    start()

注意：只有以主文件的形式运行时start函数才会执行，被导入时则不会被执行。

1.6 小结

1. 模块和包的区别

2. 导入模块的两种方式：

   import xx
   from xxx import xxx
   

3. 相对导入，只能导入在包中的模块文件。

4. 模块重名可以通过 as 重命名。

5. 执行py文件时，内部__name__=="__main__"，导入模块时，被导入的模块 __name__="模块名"

6. 在项目开发中，一般在主文件中使用__name__=="__main__" （但不是绝对，因为其他文件在开发调试时候有时候也有可能会使用）。

2. 第三方模块

• Python内部提供的模块有限，所以在平时在开发的过程中，经常会使用第三方模块。

• 其实，使用第三方模块的行为就是去用别人写好并开源出来的py代码，不必重复造轮子。

• 第三方模块必须要先下载安装后才能可以使用。

下面介绍常见的几种中安装第三方模块的方式：

2.1 pip（最常用）

这是Python中最常用的安装第三方模块的方式。

pip其实是一个第三方模块包管理工具，默认安装Python解释器时自动会安装，默认目录：

MAC系统：Python安装路径的bin目录下
	/Library/Frameworks/Python.framework/Versions/3.9/bin/pip3
	/Library/Frameworks/Python.framework/Versions/3.9/bin/pip3.9
	
Windows系统：Python安装路径的scripts目录下
	C:\Python39\Scripts\pip3.exe
	C:\Python39\Scripts\pip3.9.exe

提示：为了方便在终端运行pip管理工具，我们也会把它所在的路径添加到系统环境变量中。

如果你的电脑上没有找到pip，也可以自己手动安装：

• 下载 get-pip.py 文件，到任意目录

  下载地址：https://bootstrap.pypa.io/get-pip.py
  

• 打开终端进入目录，用Python解释器去运行已下载的 get-pip.py文件即可安装成功。
  
  使用pip去安装第三方模块也非常简单，只需要在自己终端执行：pip install 模块名称 即可。
  
  
  默认安装的是最新的版本，如果想要指定版本：pip3 install 模块名称==版本，如：

pip3 install django==2.2

2.1.1 pip更新

上图的黄色字体提示：目前我电脑上的pip是20.2.3版本，最新的是 20.3.3 版本，如果想要升级为最新的版本，可以在终端执行提示的命令：

/Library/Frameworks/Python.framework/Versions/3.9/bin/python3.9 -m pip install --upgrade pip

注意：每个人电脑提示的命令可能有所不同，根据提示的命令去执行即可。

2.1.2 豆瓣源

pip默认是去 https://pypi.org 下载第三方模块，国外的网站速度会比较慢，为了加速可以使用国内的豆瓣源。

• 一次性使用

  pip3.9 install 模块名称  -i  https://pypi.douban.com/simple/
  

• 永久使用

  • 配置

    # 在终端执行如下命令
    pip3.9 config set global.index-url https://pypi.douban.com/simple/
    >>输出结果：
    Writing to C:\Users\xuanxiaomo\AppData\Roaming\pip\pip.ini
    
    # 执行完成后，提示在本地文件中写入了豆瓣源，以后再通过pip去安装第三方模块时，就会默认使用豆瓣源了。
    # 自己以后也可以打开文件直接修改源地址。
    

  • 使用

    pip3.9 install 模块名称
    

除了豆瓣源之外，还有其他的源可供选择：

阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/ 
清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学：http://pypi.mirrors.ustc.edu.cn/simple/

2.2 源码（不常用）

如果要安装的模块在pypi.org中不存在 或因特殊原因无法通过pip install 安装时，可以直接下载源码，然后基于源码安装。例如：

• 下载requests源码（压缩包zip、tar、tar.gz）并解压。

  下载地址：https://pypi.org/project/requests/#files
  

• 进入目录

• 执行编译和安装命令

  python3 setup.py build
  python3 setup.py install
  

2.3 wheel

wheel是Python的一种第三方模块或包的文件格式，我们也可以基于wheel去安装第三方模块。

• 安装wheel格式支持，这样pip就可以处理wheel格式的文件了：

  pip install wheel
  

• 下载第三方的包（wheel格式），例如：https://pypi.org/project/requests/#files

• 进入下载目录，在终端基于pip直接安装whl文件：
  

无论通过什么形式去安装第三方模块，默认模块的安装路径均为：

Max系统：/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Windows系统：C:\Python39\Lib\site-packages\

提示：这个目录在sys.path中，所以我们安装好第三方模块后，直接在代码中导入即可使用。

3.内置模块（一）

Python内置的模块有很多，模块中的功能也非常多，在前面的学习中也已经接触了不少内置模块，下面就一些汇总常用内置模块和介绍。

3.1 os

import os

# 1. 获取当前脚本绝对路径
abs_path = os.path.abspath(__file__)

# 2. 获取当前文件的上级目录
base_path = os.path.dirname( os.path.dirname(路径) ）

# 3. 路径拼接
p1 = os.path.join(base_path, 'xx')
p2 = os.path.join(base_path, 'xx', 'oo', 'a1.png')

# 4. 判断路径是否存在
exists = os.path.exists(p1)

# 5. 创建文件夹
os.makedirs(路径)

# 6. 是否是文件/文件夹
file_path = os.path.join(base_path, 'xx', 'oo', 'uuuu.png')
is_dir = os.path.isdir(file_path)

folder_path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
is_dir = os.path.isdir(folder_path)

# 7. 删除文件/文件夹
os.remove("文件路径")
shutil.rmtree('文件夹路径')
                            
# 8. 查看文件夹目录下所有的文件
data = os.listdir('文件夹路径')
print(data)
>>输出结果：['convert.py', '__init__.py', 'page.py', '__pycache__', 'utils.py', 'tencent']

# 9. 查看目录下所有的文件（含子孙文件）
data = os.walk('文件夹路径')
print(data)
>>输出结果：
<generator object _walk at 0x0000020AA241FF20>	# 一个生成器对象

示例：遍历输出文件夹下的所有mp4文件的路径:

import os

data = os.walk("/Users/xuanxiaomo/Documents/mp4")
for path, folder_list, file_list in data:	
    # 循环data，输出的内容包括：('文件夹路径', ['子文件夹名','子文件夹名'...], ['子文件名','子文件名'...])
    for file_name in file_list:
        file_abs_path = os.path.join(path, file_name)
        ext = file_abs_path.rsplit(".",1)[-1]
        if ext == "mp4":
            print(file_abs_path)

3.2 shutil

import shutil

# 1. 删除文件夹
path = os.path.join(base_path, 'xx')
shutil.rmtree(path)

# 2. 拷贝文件夹
shutil.copytree("/Users/xuanxiaomo/Desktop/图/csdn/","/Users/xuanxiaomo/PycharmProjects/CodeRepository/files")

# 3.拷贝文件
shutil.copy("/Users/xuanxiaomo/Desktop/图/csdn/x.png","/Users/xuanxiaomo/PycharmProjects/CodeRepository/")
shutil.copy("/Users/xuanxiaomo/Desktop/图/csdn/x.png","/Users/xuanxiaomo/PycharmProjects/CodeRepository/x.png")

# 4.文件或文件夹重命名
shutil.move("/Users/xuanxiaomo/PycharmProjects/x.png","/Users/xuanxiaomo/PycharmProjects/xxxx.png")
shutil.move("/Users/xuanxiaomo/PycharmProjects/files","/Users/xuanxiaomo/PycharmProjects/images")

# 5. 压缩文件
# base_name，压缩后的压缩包文件
# format，压缩的格式，例如："zip", "tar", "gztar", "bztar", or "xztar".
# root_dir，要压缩的文件夹路径
shutil.make_archive(base_name=r'datafile',format='zip',root_dir=r'files')

# 6. 解压文件
# filename，要解压的压缩包文件
# extract_dir，解压的路径
# format，压缩文件格式
shutil.unpack_archive(filename=r'datafile.zip', extract_dir=r'xxxxxx/xo', format='zip')

3.3 sys

import sys

# 1. 获取解释器版本
print(sys.version)
print(sys.version_info)
print(sys.version_info.major, sys.version_info.minor, sys.version_info.micro)

# 2. 导入模块路径
print(sys.path)

• argv：在终端执行py文件时，aegv用于接收python解释器后面传入的参数并保存为列表返回(默认列表第一个元素是执行的py文件，后面是用户从外部输入的内容)

# 假设本文件为test.py
import sys

print(sys.argv)

>>从终端输入：python test.py 轩小陌 哈哈哈
>>输出结果：
['C:/Pycharm_files/pythonProject/day14/test.py', '轩小陌', '哈哈哈']

示例：实现下载图片的一个工具：

# 假设本文件为test.py
import sys

def download_image(url):
    print("下载图片", url)

def run():
    # 接受用户传入的参数
    url_list = sys.argv[1:]
    for url in url_list:
        download_image(url)

if __name__ == '__main__':
    run()

>>从终端输入：python test.py https//pictures/photo1.png
>>输出结果：
下载图片 https//pictures/photo1.png

3.4 random

import random

# 1. 获取范围内的随机整数
v = random.randint(10, 20)

# 2. 获取范围内的随机小数
v = random.uniform(1, 10)

# 3. 随机抽取一个元素
v = random.choice([11, 22, 33, 44, 55])

# 4. 随机抽取多个元素
v = random.sample([11, 22, 33, 44, 55], 3)

# 5. 打乱顺序
data = [1, 2, 3, 4, 5, 6, 7, 8, 9]
random.shuffle(data)

3.5 hashlib

import hashlib

hash_object = hashlib.md5()						# 创建一个md5对象
hash_object.update("轩小陌".encode('utf-8'))	  # 传入需要加密的数据，需要为字节类型
result = hash_object.hexdigest()				# 得到加密后的密文
print(result)
>>输出结果：d6d63e44236edc8dd3867415abcb2b8a

# 对md5加密进一步加严：
import hashlib

hash_object = hashlib.md5("iajfsdunjaksdjfasdfasdf".encode('utf-8'))	# 相当于在创建md5对象时先传入任意的参数，先进行一重加密
hash_object.update("轩小陌".encode('utf-8'))
result = hash_object.hexdigest()
print(result)

3.6 configparser

处理ini格式文件的内置模块（此模块已在day9的内容中详细讲解过）

3.7 xml

处理xml格式文件的内置模块（此模块已在day9的内容中详细讲解过）

今日总结

1. 模块和包的区别

2. 了解如何导入模块

   • 路径
   • 导入方式

3. 导入模块时一般要遵循的规范【补充】

   • 模块的注释：写在文件顶部或 init 文件中。

   • 在文件顶部导入模块

   • 有顺序地导入分行多个模块。

     import内置模块
     import第三方模块
     import自定义模块
     

4. 第三方模块安装的方法

5. 常见内置模块

今日作业

1. 自己去网上搜索如何基于Python计算mp4视频的时长，最终实现用代码统计某个文件夹下所有mp4的时长。

   import os
   from moviepy.editor import VideoFileClip
   
   def get_mp4_seconds(folder_path):
       total_time = 0.0
       data_list = os.walk(folder_path)
       for path, folder_list, file_list in data_list:
           for file_name in file_list:
               file_path = os.path.join(path, file_name)
               name = file_path.rsplit('.')[-1]
               if name == 'mp4':
                   clip = VideoFileClip(file_path)
                   total_time += clip.duration
       return round(total_time, 2)
   
   if __name__ == '__main__':
       result = get_mp4_seconds('movies')
       print(f'该目录下所有MP4文件的时长为：{result}秒')