python 多线程写文件出现串行问题

参考链接：python 多线程 写文件 python多线程写入一个文件_香奈儿的技术博客_51CTO博客

问题描述

python 爬虫运行100个线程爬取数据，获取的信息都是准确的，但是多线程同时写入文件中的时候，出现数据错行的问题。 导致这些问题的主要原因是多个线程同时执行f.write()操作，而文件对象的写操作是非原子的。这意味着多个线程同时执行写操作时，可能会导致数据交叉写入，进而导致数据错乱或丢失。

解决方法

互斥锁（Lock）：通过使用互斥锁，确保每次只有一个线程能够执行写操作。这样可以避免数据交叉写入的问题。

案例1

import threading

lock = threading.Lock()

def write_file(filename, data):
    with lock:
        with open(filename, 'a') as f:
            f.write(data)

案例2

import threading


class Test:
    def __init__(self):
        self.lock = threading.Lock()

    def save_success(self, data):
        with self.lock:
            with open(filename, 'a', encoding='utf-8')as f:
                f.write(data)

测试加入互斥锁后，未出先串行问题