使用fcntl
在linux下,python的标准库有现成的文件锁,来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。
对于文件锁的操作,主要需要使用 fcntl.flock(fd, operation)这个函数。
其中,参数 fd 表示文件描述符;参数 operation 指定要进行的锁操作,该参数的取值有如下几种:
LOCK_SH:表示要创建一个共享锁,在任意时间内,一个文件的共享锁可以被多个进程拥有
LOCK_EX:表示创建一个排他锁,在任意时间内,一个文件的排他锁只能被一个进程拥有
LOCK_NB:创建一个非阻塞锁,如果访问一个加了锁文件立即返回不等待
LOCK_UN:表示删除该进程创建的锁
LOCK_MAND:它主要是用于共享模式强制锁,它可以与 LOCK_READ 或者 LOCK_WRITE联合起来使用,从而表示是否允许并发的读操作或者并发的写操作
demo
import fcntl
import threading
import time
import datetime as dt
import logging
logging.basicConfig(level=logging.INFO,format='%(asctime)s %(name)s %(levelname)s %(message)s')
def writetoTxt(txtFile):
id = threading.currentThread().getName()
with open(txtFile, 'a') as f:
fcntl.flock(f.fileno(), fcntl.LOCK_EX) #排他锁
logging.info("{0} acquire lock".format(id))
f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
time.sleep(3)
# 在with块外,文件关闭,自动解锁
logging.info("{0} exit".format(id))
for i in range(5):
myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
myThread.start()
代码运行期间,控制台将依次打印哪个线程获得了锁,在对文件进行读写。
测试共享锁
def writetoTxt(txtFile):
id = threading.currentThread().getName()
with open(txtFile, 'a') as f:
fcntl.flock(f.fileno(), fcntl.LOCK_EX|fcntl.LOCK_SH) #共享锁
logging.info("{0} acquire lock".format(id))
f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
time.sleep(3)
# 在with块外,文件关闭,自动解锁
logging.info("{0} exit".format(id))
1~5线程同时访问文件
测试非阻塞锁
def writetoTxt(txtFile):
id = threading.currentThread().getName()
with open(txtFile, 'a') as f:
fcntl.flock(f.fileno(), fcntl.LOCK_EX|fcntl.LOCK_NB) #排他锁和非阻塞锁
logging.info("{0} acquire lock".format(id))
f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
time.sleep(3)
# 在with块外,文件关闭,自动解锁
logging.info("{0} exit".format(id))
线程2~5会直接返回报错
小结
通过调用
fcntl.flock(f.fileno(), fcntl.LOCK_EX)
对文件加锁,如果有其他线程尝试对test文件加锁,会被阻塞。
当线程执行完毕的时候,锁会自动释放。或者也可以采取主动的方式解锁:调用
fcntl.flock(f.fileno(),fcntl.LOCK_UN)
函数, 对文件test解锁
参考:
https://www.jb51.net/article/154555.htm 对Python多线程读写文件加锁的实例详解