Python文件操作(txt + xls + json)

文章目录

  • 简介
  • 1、使用with_open读取和保存:.txt + .bin(二进制文本)
    • 1.1、with open语句详解
    • 1.1、项目实战
  • 2、使用pandas读取和保存:.xls + .xlsx
    • 2.1、pandas简介
    • 2.2、环境配置
    • 2.3、项目实战
  • 3、 使用json.dump读取和保存:.json
    • 3.1、json格式
    • 3.2、项目实战
  • 4、打开对话框
    • (1)打开文件选择对话框
    • (2)打开文件夹选择对话框
    • (3)判断路径 / 文件夹 / 文件是否存在
  • 5、统计时间
    • 5.1、计算运行时间
    • 5.2、获取当前时间

简介

Python文件操作是处理文件和目录的重要组成部分。文件操作允许您创建、打开、读取、写入、修改和删除文件。这是Python编程中常见的任务之一,对于处理数据、配置文件、日志记录等等非常有用。

使用Python的内置库和第三方库进行文件操作:
(1)TXT文件
(2)Excel文件
(3)JSON文件

1、使用with_open读取和保存:.txt + .bin(二进制文本)

1.1、with open语句详解

函数功能:with open语句是Python中一种处理文件的方式。通过使用with语句,可以确保在退出代码块时文件会被正确关闭,避免资源泄漏。
函数说明:with open(file_path, mode) as file:
输入参数:
		(1)file_path:要打开的文件路径。
		(2)mode:文件模式,指定文件在打开时的操作。可以是以下之一:
				"r":	读取模式。用于打开文件并读取内容。
				"w":	写入模式。用于打开文件并写入内容。
								 备注:如果文件已存在,会清空文件内容。如果文件不存在,则创建一个新文件。
				"a":	追加模式。用于打开文件并在文件末尾追加内容。
								 备注:如果文件不存在,则创建一个新文件。
				"rb":	以二进制读取模式打开文件。
				"wb":	以二进制写入模式打开文件。
				"ab":	以二进制追加模式打开文件。

1.1、项目实战

with open('file.txt', 'r') as file:
    content = file.read()  # 读取文本文件
# 文件在这里会自动关闭


with open('file.txt', 'w') as file:
    file.write('Hello, World!')  # 写入文本文件
# 文件在这里会自动关闭
with open('binary_file.bin', 'rb') as file:
    binary_data = file.read()  # 读取二进制文件
# 文件在这里会自动关闭


with open('binary_file.bin', 'wb') as file:
    file.write(b'\x01\x02\x03')  # 写入二进制文件
# 文件在这里会自动关闭

2、使用pandas读取和保存:.xls + .xlsx

2.1、pandas简介

pandas(Python Data Analysis Library)是一个强大的开源数据分析和处理库,它为Python编程语言提供了高性能、易于使用的数据结构和数据分析工具。pandas通常与NumPy和Matplotlib等库一起使用,用于数据清洗、转换、分析和可视化。

  • 数据结构:(1)Series:是一个带标签的一维数组,可以容纳任何数据类型。它由一组数据和与之相关的标签(索引)组成。(2)DataFrame:是一个二维的表格型数据结构,可以容纳多种类型的数据。它类似于电子表格或 SQL 表,具有行和列。
  • 数据导入和导出:Pandas 可以轻松导入和导出多种数据格式,包括 CSV、Excel、SQL 数据库、JSON、HTML、Parquet、HDF5 等。示例:pd.read_csv(), pd.read_excel(), df.to_csv(), df.to_excel(), 等等。
  • 数据清洗和处理:Pandas 允许你删除重复值、处理缺失值、过滤数据、合并和连接数据、排序和分组数据。示例:df.drop_duplicates(), df.dropna(), df.fillna(), df.groupby(), df.pivot_table(), 等等。
  • 数据索引和选择:可以使用标签或位置来选择特定的数据行或列。Pandas 提供了多种索引和切片的方式。示例:df['列名'], df.loc[], df.iloc[], df.loc[], 等等。
  • 数据计算和聚合:Pandas 提供了丰富的数据计算和聚合功能,包括求和、平均值、计数、最大值、最小值、分位数等等。示例:df.mean(), df.sum(), df.max(), df.min(), df.describe(), 等等。
  • 数据可视化:Pandas 可以与其他 Python 可视化库(如 Matplotlib 和 Seaborn)结合使用,用于绘制数据图表。示例:df.plot(), df.hist(), df.boxplot(), sns.pairplot(), 等等。
  • 时间序列分析:Pandas 对时间序列数据有很好的支持,可以轻松处理日期和时间数据。示例:pd.to_datetime(), df.resample(), df.rolling(), 等等。
  • 高性能:Pandas 针对大数据集的处理进行了优化,可以高效地处理大规模数据。

2.2、环境配置

  • pip install pandas
  • pip install xlrd
  • pip install openpyxl

(1)pandas的read_excel()函数依赖于 xlrd 库来实现读取.xls格式的Excel文件,因此需要安装并导入xlrd库。
(2)pandas的to_excel()函数依赖于 openpyxl 库来实现将DataFrame对象保存.xlsx格式的Excel文件,因此需要安装并导入openpyxl库。

  • xlrd 是一个用于读取 Excel 文件的库,它提供了许多功能来处理 Excel 文件,包括读取单元格内容、处理日期、数字和文本等。使用 xlrd.open_workbook() 函数可以打开 Excel 文件,并使用工作簿、工作表对象来访问数据。
  • openpyxl 是一个用于读取和写入 Excel 文件的库,它提供了更多的灵活性和功能,包括读取和修改单元格内容、样式和图表等。使用 openpyxl.load_workbook() 函数可以打开 Excel 文件,并使用工作簿、工作表对象来访问数据。

2.3、项目实战

import os
import pandas as pd

"""读取xls数据"""
excel_file_path = os.getcwd() + r'\rgb.xls'
# 使用 header 参数指定要跳过的行数,通常跳过第一行(表头),默认 header=0
df = pd.read_excel(excel_file_path, header=None)
# 提取第一列和第二列数据并转换为列表
gray_value = df.iloc[:, 0].tolist()  # 提取第一列数据并转换为列表
name_value = df.iloc[:, 1].tolist()  # 提取第二列数据并转换为列表
rgb_value = df.iloc[:, 2:5].values.tolist()  # 提取第三到四列数据并转换为列表(RGB)

"""数据保存到xls"""
data = [["nii", num, 1]]  # 创建一个包含单行数据的二维数组
df = pd.DataFrame(data, columns=["name", "num", "RGB"])
df.to_excel(self.output_excel_path, index=False, engine='openpyxl')
print(f'Data saved to {self.output_excel_path}')


"""
# 保存三维数组

import pandas as pd
data = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]  			# 示例数组
df = pd.DataFrame(data, columns=["z", "y", "x"])
output_excel_path = "output.xlsx"  					# 替换为您想要保存的文件路径
df.to_excel(output_excel_path, index=False, engine='openpyxl')
print(f'Data saved to {output_excel_path}')
"""

"""在当前的excel数据中添加新数据"""
import pandas as pd
import os
# 检查Excel文件是否已存在
excel_path = folder_path + "/cell_counting/all.xlsx"
if os.path.exists(excel_path):
    df = pd.read_excel(excel_path)   # 如果文件存在,读取现有数据
else:
    df = pd.DataFrame()  # 如果文件不存在,创建一个空的数据框
new_data = {'target_gray': [target_gray], 'cell_num': [cell_num]}
new_df = pd.DataFrame(new_data)  # 添加新的数据到数据框
df = pd.concat([df, new_df], ignore_index=True)
df.to_excel(excel_path, index=False, engine='openpyxl')  # 将更新后的数据框写回Excel文件
print(f'Data has been successfully saved to: {excel_path}')

3、 使用json.dump读取和保存:.json

3.1、json格式

JSON(JavaScript Object Notation)是一种轻量级的用于数据存储和交换的文本格式。最初由Douglas Crockford于2001年提出,它基于JavaScript的一个子集,但已经成为一种独立于编程语言的数据格式。

JSON的主要特点:

  • 可读性:采用类似于字典或映射的 " 键-值对 " 方式来表示数据。
  • 支持多种数据结构:包括字符串、数字、布尔值、数组、对象(也叫字典或映射)和null。这些数据类型可以嵌套组合,以表示复杂的数据结构。
  • 支持跨平台交互JSON是一种独立于编程语言的数据格式,可以在不同的编程语言中进行解析和生成。这使得它成为不同系统和应用程序之间进行数据交换的理想选择。
  • 轻量级:JSON的语法非常简洁,没有繁杂的标记或语法,这使得它在网络传输中占用的带宽较少。
  • 易于解析:JSON数据可以通过各种编程语言中的解析器快速解析为内部数据结构,使得应用程序能够轻松地操作JSON数据。
  • 支持添加注释:虽然JSON规范中并没有官方支持注释的语法,但一些JSON解析器允许在数据中包含注释,这对于文档和配置文件非常有用。
# 字符串、数字、布尔值、数组、对象
data = {
    "name": "John Doe",							
    "age": 30,
    "isStudent": False,
    "courses": ["Math", "Science", "History"],
    "address": {
        "street": "123 Main St",
        "city": "Anytown",
        "zipCode": "12345"
    }
}

3.2、项目实战

  • 方法一:使用with语句的好处是,它会在代码块执行完毕后自动关闭文件。这确保了文件在使用完后被正确关闭,不会造成资源泄漏。在with语句块结束时,文件会自动被关闭,而不需要显式调用close()方法。
import json

json_file_path = "/coordinates.json"
with open(json_file_path, 'w') as json_file:  # 打开json文件
    # 在这个代码块中,json_file处于打开状态
    data = {'Z_line': Z_line,
            'Y_line': Y_line,
            'X_line': X_line}
    json.dump(data, json_file, indent=4)  # 填充json文件

# 在这个代码块中,json_file会自动被关闭
  • 方法二:如果使用open()方法来打开文件,需要在文件使用完后显式调用close()方法来关闭文件。如果忘记关闭文件,可能会导致文件句柄泄漏,占用系统资源。
import json

json_file_path = "/coordinates.json"
f = open(json_file_path, 'w')  # 打开json文件
data = {'Z_line': Z_line,
        'Y_line': Y_line,
        'X_line': X_line}
json.dump(data, f, indent=4)  # 填充json文件

f.close()  # 手动关闭文件,确保释放资源。

4、打开对话框

Python本身没有内置的文件夹选择界面。然而,可以使用第三方库来实现在代码中选择文件或文件夹的功能。一个常用的库是tkinter,它是Python的标准GUI库之一,提供了创建简单的图形用户界面的功能。

  • 安装:tkinter是Python的标准库之一,通常已经预装在大多数Python发行版中。如果你的环境中没有安装tkinter,你可能需要安装它。在大多数操作系统上,可以通过命令行运行以下命令来安装tkinter:pip install tkinter
  • 备注:选择文件与文件夹的区别,一个是调用filedialog.askopenfilename(),一个是调用filedialog.askdirectory()

(1)打开文件选择对话框

在这里插入图片描述

import tkinter as tk
from tkinter import filedialog
import os

root = tk.Tk()		# 创建根窗口
root.withdraw()  	# 隐藏根窗口
file_path = filedialog.askopenfilename()		# 打开文件选择对话框
print("Selected file path:", file_path)			# 打印所选文件的路径

file_name = os.path.basename(file_path)                         # 获取文件的名称+后缀
file_name_without_extension = os.path.splitext(file_name)[0]    # 获取文件的名称
file_directory = os.path.dirname(file_path)                     # 获取文件的目录

print("获取文件的名称+后缀:", file_name)
print("获取文件的名称:", file_name_without_extension)
print("获取文件的目录:", file_directory)

"""
Selected file path: D:/Anaconda/_conda.exe
获取文件的名称+后缀:_conda.exe
获取文件的名称:_conda
获取文件的目录:D:/Anaconda
"""

(2)打开文件夹选择对话框

在这里插入图片描述

import tkinter as tk
from tkinter import filedialog

root = tk.Tk()		# 创建根窗口
root.withdraw()  	# 隐藏根窗口
folder_path = filedialog.askdirectory()			# 打开文件夹选择对话框
print("Selected folder path:", folder_path)		# 打印所选文件夹的路径

###########################################################################
import tifffile		# 用于打开.tif格式的图像
# 读取文件夹中的所有tif图像并将它们存储在列表中
image_list = []		# 新建一个空列表
for filename in sorted(os.listdir(folder_path)):				# 列举文件夹中的所有文件 + 排序后遍历。
    if filename.endswith('.tif'):								# 提取以.tif结尾的图像文件。
        image_path = os.path.join(folder_path, filename)		# 将文件名和文件夹路径连接起来,得到完整的图像文件路径image_path
        image = tifffile.imread(image_path)						# 加载tif图像
        image_list.append(image)								# 在列表末尾添加元素

import numpy as np
output_tif_path = "result.tif"
image_stack = np.stack(image_list, axis=0)				# 将图像列表转换为三维数组
labeled_image = image_stack.astype(np.uint8)            # 将数据类型转换为uint8
tifffile.imwrite(output_tif_path, labeled_image)        # 保存图像为TIFF并指定数据类型为uint8

(3)判断路径 / 文件夹 / 文件是否存在

import os

folder_path = os.getcwd() + "/image"
# (1)判断字符串是否存在
if folder_path != "":

    # (2)判断文件夹是否存在(不存在则新建)
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)
        print("文件夹不存在")

    # (3)判断文件是否存在
    image_path = folder_path + "/conda.exe"
    if os.path.exists(image_path):
        print("图像存在")

5、统计时间

5.1、计算运行时间

import time
start_time = time.time()  # 记录开始时间
# ...
end_time = time.time()  # 记录结束时间
runtime = end_time - start_time  # 计算运行时间
print(f"总运行时间: {runtime:.2f} 秒")

"""
import time
start_time = time.time()  # 记录开始时间

print(f"总运行时间: {time.time() - start_time:.2f} 秒")  # 打印运行时间
"""

5.2、获取当前时间

import time
current_timestamp = time.time()
print("获取当前时间戳:", current_timestamp)
"""
#####################################################################
时间戳: 表示从某个特定时间点(通常是"Unix纪元",即1970年1月1日00:00:00 UTC)到特定日期时间的秒数,包括小数部分表示毫秒或微秒。
#####################################################################
获取当前时间戳: 1698040970.5602446 表示距离1970年1月1日00:00:00 UTC已经过去了大约 1698040970 秒和约 560 毫秒以及 2446 微秒。
"""

from datetime import datetime
print("获取当前日期和时间:", datetime.now())
print("只日期格式:", datetime.now().date())
print("只时间格式:", datetime.now().time())
print("自定义格式:", datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
"""
获取当前日期和时间: 2023-10-23 14:02:50.560244 表示2023年10月23日下午14点2分50秒零点五百六十四微秒
#####################################################################
只日期格式: 2023-10-23
只时间格式: 14:02:50.560244
自定义格式: 2023-10-23 14:02:50
"""

你可能感兴趣的:(深度学习,Python项目实战,python,json,文件操作)