python Process
1、multiprocessing
def info(title):
print(title)
print(__name__)
print('father',os.getpid())
print('self',os.getpid())
print('-------')
if __name__ == "__main__": #除了创建的子进程和子进程调用的函数，其他的都是脚本进程
# info ('hello')
#创建一个进程调用函数
P = multiprocessing.Process(target=info,args=('hello python',))
P.start()
P.join() #和多线程一样，也是等待的意思
print('hello word') #若没有join则会独立运行
2、join
import multiprocessing
import os
import time
def info(title):
print(title)
time.sleep(2)
print(__name__)
print('father', os.getppid())
print('self', os.getpid())
print('--------')
if __name__ == "__main__":
p1 = multiprocessing.Process(target=info,args=('A1',))
p2 = multiprocessing.Process(target=info, args=('A2',))
p3 = multiprocessing.Process(target=info, args=('A3',))
p1.start()
p2.start()
p3.start()
p1.join()
p2.join()
p3.join()
"""
这里的join只是为了卡住主进程，使得三个进程都执行完毕再执行print
这里很重要，以后多进程扫描文件需要完全等待几个进程全部执行完毕在汇总
"""
print('all over')
'''
轮流执行
p1.start()
p1.join()
p2.start()
p2.join()
p3.start()
p3.join()
'''
3、Rlock
import os
import multiprocessing
import time
"""
多进程，并发，可能乱序并发执行（主要看系统如何处理）
多进程加锁，挨个执行,也可能是乱序
"""
def showdata(lock, i):
with lock:
print(multiprocessing.current_process().name)
time.sleep(2)
print(i)
if __name__ == "__main__":
lock = multiprocessing.RLock() # 创建锁
for num in range(10):
multiprocessing.Process(target=showdata, args=(lock, num)).start()
import multiprocessing
def A(lock, i):
print(i)
if __name__ == "__main__":
lock = multiprocessing.RLock()
for I in range(10):
A(lock,i)
"""
0
1
2
3
4
5
6
7
8
9
"""
"""
进程是一个独立的状态，各个进程之间毫不相关
"""
import multiprocessing
def A(lock, i):
with lock:
print(i)
if __name__ == "__main__":
lock = multiprocessing.RLock()
process_list = []
for i in range(10):
p = multiprocessing.Process(target=A, args=(lock, i))
p.start()
process_list.append(p)
for p in process_list:
p.join()
"""
0
1
2
3
4
5
6
7
8
9
"""
4、进程通信
import multiprocessing
import os
def func(conn):
conn.send(['a', 'b', 'c']) #发送数据
print('func',os.getpid(),conn.recv()) #收到的数据
conn.close() #关闭
if __name__ =="__main__":
conn_a, conn_b = multiprocessing.Pipe() #创建一个管道，两个口
#print(id(conn_a),id(conn_b))
#print(tyoe(conn_a),type(conn_b)) # multiprocessing.connection.Connection
#相当于进程中conn_a.send(['a', 'b', 'c']),发送给conn_b
p = multiprocessing.process(target=func,args=(conn_a,)).start()
conn_b.send([1, 2, 3]) #发送数据给conn_a
print('main',os.getpid(),conn_b.recv())
案例：
"""
编写一个类似与机器人对话系统的程序（我的机器人叫球球）
"""
import multiprocessing
def M(conn):
while 1:
recv_ = conn.recv()
print('球球收到:%s'%recv_)
if recv_ == "你好":
conn.send('我不好')
elif recv_ == "今天天气咋样":
conn.send('冷~')
elif recv_ == "说我很优秀":
conn.send('泥奏凯')
else:
conn.send('略略略')
def P(conn):
y = 'y'
while y != 'n':
input_ = input('小白说:')
conn.send(input_)
print(conn.recv())
if __name__ == "__main__":
conn_M,conn_P = multiprocessing.Pipe()
p_M = multiprocessing.Process(target=M,args=(conn_M,))
p_M.start()
P(conn_P)
"""
"""
小白说:你好
球球收到:你好
我不好
小白说:可萨哈克
球球收到:可萨哈克
略略略
小白说:今天天气咋样
球球收到:今天天气咋样
冷~
小白说:说我很优秀
球球收到:说我很优秀
泥奏凯
小白说:卡卡卡
球球收到:卡卡卡
略略略
"""
5、全局变量不可以进程共享
import multiprocessing
import os
data = []
def List():
global data
data.append(1)
data.append(2)
data.append(3)
print('',os.getpid(),data)
if __name__ == "__main__":
p = multiprocessing.Process(target=List,args=()).start() #子进程
data.append('a') #脚本进程
data.append('b')
data.append('c')
print('全局变量不共享\n',os.getpid(),data)
"""
全局变量不共享
2292 ['a', 'b', 'c']
15580 [1, 2, 3]
"""
6、队列
import multiprocessing
import os
queue = multiprocessing.Queue()
# 注意队列只能单向，要么是父进程插入子进程取出，要么是子进程插入父进程取出
def func(myq):
print(os.getpid())
myq.put([1, 2, 3, 4]) # 子进程插入
if __name__ == '__main__':
print(os.getpid())
# queue.put(['a','b']) # 这里若是脚本父进程先插入了，子进程就没法再插入了
p = multiprocessing.Process(target=func, args=(queue,))
p.start()
print(queue.get()) # 脚本父进程取出
"""
9700
3236
[1, 2, 3, 4]
"""
先进先出，放一个取一个
import multiprocessing
def PUT(q):
q.put(100)
def GET(q):
print('GET',q.get())
if __name__ == '__main__':
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=PUT, args=(q,))
p2 = multiprocessing.Process(target=GET, args=(q,))
p1.start()
p2.start()
p1.join()
p2.join()
"""
GET 100
"""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
"""
import multiprocessing
def PUT(q):
for i in range(10):
q.put(100)
def GET(q):
print('GET',q.get())
if __name__ == '__main__':
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=PUT, args=(q,))
p2 = multiprocessing.Process(target=GET, args=(q,))
p1.start()
p2.start()
p1.join()
p2.join()
运行卡住
import multiprocessing
import time
def PUT(q):
for i in range(10):
time.sleep(1)
q.put(100)
def GET(q):
while 1:
print('GET',q.get(timeout = 5))
if __name__ == '__main__':
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=PUT, args=(q,))
p2 = multiprocessing.Process(target=GET, args=(q,))
p1.start()
p2.start()
p1.join()
p2.join()
若5秒没有进入，则全部崩掉，可以用try…except解决 ?注：加break，不然会停不下来，输出完成后一直输出结束语句
import multiprocessing
import time
def PUT(q):
for i in range(10):
time.sleep(1)
q.put(100)
def GET(q):
while 1:
try:
print('GET',q.get(timeout = 5))
except:
print('队列中在5秒之内已经无法获取元素')
break
if __name__ == '__main__':
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=PUT, args=(q,))
p2 = multiprocessing.Process(target=GET, args=(q,))
p1.start()
p2.start()
p1.join()
p2.join()
"""
GET 100
GET 100
GET 100
GET 100
GET 100
GET 100
GET 100
GET 100
GET 100
GET 100
队列中在5秒之内已经无法获取元素
"""
Queue.empty()
如果队列为空，返回 True ，否则返回 False 。如果 empty() 返回 True ，不保证后续调用的 put() 不被阻塞。类似的，如果 empty() 返回 False ，也不保证后续调用的 get() 不被阻塞。
Queue.full()
如果队列是满的返回 True ，否则返回 False 。如果 full() 返回 True 不保证后续调用的 get() 不被阻塞。类似的，如果 full() 返回 False 也不保证后续调用的 put() 不被阻塞。
Queue.put(item, block=True, timeout=None)
将 item 放入队列。如果可选参数 block 是 true 并且 timeout 是 None (默认)，则在必要时阻塞至有空闲插槽可用。如果 timeout 是个正数，将最多阻塞 timeout 秒，如果在这段时间没有可用的空闲插槽，将引发 Full 异常。反之 (block 是 false)，如果空闲插槽立即可用，则把 item 放入队列，否则引发 Full 异常 ( 在这种情况下，timeout 将被忽略)。
Queue.get(block=True, timeout=None)
从队列中移除并返回一个项目。如果可选参数 block 是 true 并且 timeout 是 None (默认值)，则在必要时阻塞至项目可得到。如果 timeout 是个正数，将最多阻塞 timeout 秒，如果在这段时间内项目不能得到，将引发 Empty 异常。反之 (block 是 false) , 如果一个项目立即可得到，则返回一个项目，否则引发 Empty 异常 (这种情况下，timeout 将被忽略)。