【Python】从入门到上头— IO编程（8）

一.IO编程是什么

IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。

比如你打开浏览器，访问新浪首页，浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器，告诉它我想要首页的HTML，这个动作是往外发数据，叫Output，随后新浪服务器把网页发过来，这个动作是从外面接收数据，叫Input。所以，通常，程序完成IO操作会有Input和Output两个数据流。当然也有只用一个的情况，比如，从磁盘读取文件到内存，就只有Input操作，反过来，把数据写到磁盘文件里，就只是一个Output操作。

• IO编程中，Stream（流）是一个很重要的概念，可以把流想象成一个水管，数据就是水管里的水，但是只能单向流动。Input Stream就是数据从外面（磁盘、网络）流进内存，Output Stream就是数据从内存流到外面去。对于浏览网页来说，浏览器和新浪服务器之间至少需要建立两根水管，才可以既能发数据，又能收数据。

由于CPU和内存的速度远远高于外设的速度，所以，在IO编程中，就存在速度严重不匹配的问题。举个例子来说，比如要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘要接收这100M数据可能需要10秒，怎么办呢？有两种办法：

• 第一种是CPU等着，也就是程序暂停执行后续代码，等100M的数据在10秒后写入磁盘，再接着往下执行，这种模式称为同步IO；

• 另一种方法是CPU不等待，只是告诉磁盘，“您老慢慢写，不着急，我接着干别的事去了”，于是，后续代码可以立刻接着执行，这种模式称为异步IO。

同步和异步的区别就在于是否等待IO执行的结果。

• 好比你去麦当劳点餐，你说“来个汉堡”，服务员告诉你，对不起，汉堡要现做，需要等5分钟，于是你站在收银台前面等了5分钟，拿到汉堡再去逛商场，这是同步IO。

  • 你说“来个汉堡”，服务员告诉你，汉堡需要等5分钟，你可以先去逛商场，等做好了，我们再通知你，这样你可以立刻去干别的事情（逛商场），这是异步IO。

很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。

• 想想看，你得知道什么时候通知你“汉堡做好了”，而通知你的方法也各不相同。如果是服务员跑过来找到你，这是回调模式
• 如果服务员发短信通知你，你就得不停地检查手机，这是轮询模式。总之，异步IO的复杂度远远高于同步IO。

操作IO的能力都是由操作系统提供的，每一种编程语言都会把操作系统提供的低级C接口封装起来方便使用，Python也不例外。我们后面会详细讨论Python的IO编程接口。

注意，本章的IO编程都是同步模式，异步IO由于复杂度太高，后续涉及到服务器端程序开发时我们再讨论。

二.文件读写

1.读取文件

1. 使用Python内置的open()函数，传入文件名和标示符：

   f = open('/data/est.txt', 'r')
   

   • 标示符'r'表示读，如果文件不存在，open()函数就会抛出一个IOError错误，表示文件不存在：

     Traceback (most recent call last):
       File "", line 1, in <module>
     FileNotFoundError: [Errno 2] No such file or directory: '/data/est.txt'
     

2. 如果文件打开成功，调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示：

   f.read()
   #'Hello, world!'
   

3. 调用close()方法关闭文件

   • 文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的：

   f.close()
   

4. 文件读写可能产生IOError，一旦出错，后面的f.close()就不会调用。为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：

   try:
       f = open('/data/file.txt', 'r')
       print(f.read())
   finally:
       if f:
           f.close()
   

   • 每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法：

     with open('/data/file.txt', 'r') as f:
         print(f.read())
     

5. 调用read()会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。

   • 另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list

建议：如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：

2.file-like Object

像open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object。除了file外，还可以是内存的字节流，网络流，自定义流等等。file-like Object不要求从特定类继承，只要写个read()方法就行。

• StringIO就是在内存中创建的file-like Object，常用作临时缓冲。

二进制文件

要读取二进制文件，比如图片、视频等等，用'rb'模式打开文件即可：

f = open('/Users/michael/test.jpg', 'rb')
f.read()

`b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # `十六进制表示的字节

字符编码

要读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数，例如，读取GBK编码的文件：

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
f.read()

• 遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。

  • 这种场景open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：

   f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
  

3.写文件

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：

• 以’w’模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。
• 如果我们希望追加到文件末尾怎么办？可以传入'a'以追加（append）模式写入。

  f = open('/data/test.txt', 'w')
  f.write('Hello, world!')
  f.close()
  

• 可以反复调用write()来写入文件，但是务必要调用close()来关闭文件。
  • 当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。
    • 只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。
    • 忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：

  with open('/Users/michael/test.txt', 'w') as f:
      f.write('Hello, world!')
  

file对象的常用函数

常见标识符

三.StringIO和BytesIO

• StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。

1.StringIO

StringIO顾名思义就是在内存中读写str。

1. 先创建一个StringIO，然后，像文件一样写入即可：

   from io import StringIO
   
   f = StringIO()
   f.write('hello')
   # 5
   f.write(' ')
   # 1
   f.write('world!')
   # 6
   print(f.getvalue())
   # hello world!
   

   • getvalue()方法用于获得写入后的str。

2. 读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取：

   from io import StringIO
   	
   f = StringIO('Hello!\nHi!\nGoodbye!')
   while True:
       s = f.readline()
       if s == '': 
           break
       print(s.strip())
   
   # Hello!
   # Hi!
   # Goodbye!
   

2.BytesIO

如果要操作二进制数据，就需要使用BytesIO。

1. BytesIO实现了在内存中读写bytes，创建一个BytesIO，然后写入一些bytes：

   • 写入的不是str，而是经过UTF-8编码的bytes。

   from io import BytesIO
   f = BytesIO()
   f.write('中文'.encode('utf-8'))
   #6
   
   print(f.getvalue())
   #b'\xe4\xb8\xad\xe6\x96\x87'
   

2. 初始化一个BytesIO，然后，像读文件一样读取：

   from io import BytesIO
   f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')
   f.read()
   #b'\xe4\xb8\xad\xe6\x96\x87'
   

四.操作文件和目录

如果要在Python程序中执行这些目录和文件的命令dir、cp、del操作怎么办？

• Python内置的os模块也可以直接调用操作系统提供的接口函数。

#导入os模块
import os

#操作系统类型  如果是posix，说明系统是Linux、Unix或Mac OS X，如果是nt，就是Windows系统。
print(os.name)

# 查看当前目录的绝对路径:
print(os.path.abspath('.'))
# 'E:\29_resources_python\study'

#把两个路径合成一个时，不要直接拼字符串，而要通过os.path.join()函数，
#这样可以正确处理不同操作系统的路径分隔符。在Linux/Unix/Mac下，os.path.join()返回这样的字符串
print(os.path.join('E:/29_resources_python/study/', 'testdir'))

#创建一个目录:
os.mkdir('E:/29_resources_python/study/testdir')

#删掉一个目录:
os.rmdir('E:/29_resources_python/study/testdir')


#对文件重命名:
os.rename('E:/29_resources_python/study/test1', 'test.py')
#删掉文件:
os.remove('test.py')

• os模块中不存在复制文件功能

  • 因是复制文件并非由操作系统提供的系统调用。我们通过文件读写可以完成文件复制，只不过要多写很多代码。

    • 幸运的是shutil模块提供了copyfile()的函数，你还可以在shutil模块中找到很多实用函数，它们可以看做是os模块的补充。

五.序列化和反序列化

• 把变量从内存中变成可存储或传输的过程称之为序列化，序列化之后，就可以写入磁盘，或者通过网络传输到别的机器上。

• 反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，Python提供了pickle模块来实现序列化。

1.pickle.dumps()

• pickle.dumps()方法可以任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。

  import pickle
  d = dict(name='Bob', age=20, score=88)
  print(pickle.dumps(d))
  #执行结果
  #b'\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.'
  

  • 或者使用pickle.dump()直接把对象序列化后写入一个指定文件中

  f = open('dump.txt', 'wb')
  pickle.dump(d, f)
  f.close()
  

2.pickle.loads()

• 当我们要把对象从磁盘读到内存时，可以先把内容读到一个·bytes·，然后用pickle.loads()方法反序列化出对象，也可以直接用·pickle.load()·方法从一个文件直接反序列化出对象。

  f = open('dump.txt', 'rb')
  d = pickle.load(f)
  f.close()
  print(d)
  #{'age': 20, 'score': 88, 'name': 'Bob'}
  

3.JSON

• 将数据序列化为JSON，可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。

  • JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：
  • 

Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。

Python序列化为Json对象

• dumps()：方法返回一个str，内容就是标准的JSON

• dump()：方法可以直接把JSON写入一个文件中

  import json
  d = dict(name='Bob', age=20, score=88)
  json.dumps(d)
  #'{"age": 20, "score": 88, "name": "Bob"}'
  

JSON反序列化为Python对象

• loads()：JSON的字符串反序列化

• load()：从文件中读取字符串并反序列化：

  import json
  json_str = '{"age": 20, "score": 88, "name": "Bob"}'
  json.loads(json_str)
  #{'age': 20, 'score': 88, 'name': 'Bob'}
  

Class转JSON

• 对象实例直接转class会报错报错，原因是Student对象不是一个可序列化为JSON的对象。

  import json
  
  class Student(object):
      def __init__(self, name, age, score):
          self.name = name
          self.age = age
          self.score = score
  
  s = Student('Bob', 20, 88)
  print(json.dumps(s))
  

  Traceback (most recent call last):
    ...
  TypeError: <__main__.Student object at 0x10603cc50> is not JSON serializable
  

• 默认情况下，dumps()方法不知道如何将Student实例变为一个JSON的{}对象。我需要为Student专门写一个转换函数，再把函数传进去即可：

  def student2dict(std):
      return {
          'name': std.name,
          'age': std.age,
          'score': std.score
      }
  

  • 需要Student实例首先被student2dict()函数转换成dict，然后再被顺利序列化为JSON：

    s = Student('Bob', 20, 88)
    print(json.dumps(s, default=student2dict))
    # {"age": 20, "name": "Bob", "score": 88}
    

  • 也可以把任意class的实例变为dict：

    print(json.dumps(s, default=lambda obj: obj.__dict__))
    # {"age": 20, "name": "Bob", "score": 88}
    

    • 因为通常class的实例都有一个__dict__属性，它就是一个dict，用来存储实例变量。也有少数例外，比如定义了__slots__的class。

JSON转Class

先用loads()方法首先转换出一个dict对象，然后传入的转换函数负责 将dict转换为Student实例：

def dict2student(d):
    return Student(d['name'], d['age'], d['score'])

json_str = '{"age": 20, "score": 88, "name": "Bob"}'
print(json.loads(json_str, object_hook=dict2student))
#<__main__.Student object at 0x000001C3B0BD9CD0>