2019实战第二期-时间读书打卡
--读《Python编程快速上手—让繁琐工作自动化》
Python里面的并发分2大类,cpu密集和IO密集,也是面试中经常考的!
多进程,多线程,协程!围绕的库大概有6-7种,如果深入研究会设计到Py3里面最核心的也是最难懂的asyncio库,然而,初学者不需要知道这么多!
简单会用就行,不要一口吃个胖子!
我先把标签建好,详细参考这本"Python编程快速上手"第15章里面15.6/7/8小节
这里就是一个多线程的启动,使用和停止!菜鸟先会用多线程足够了!
等后面再慢慢学习多进程,协程!
不必让所有的代码等待,直到 time.sleep()函数完成,你可以使用 Python 的threading 模块,在单独的线程中执行延迟或安排的代码。这个单独的线程将因为time.sleep()调用而暂停。同时,程序可以在原来的线程中做其他工作。
要得到单独的线程,首先要调用 threading.Thread()函数,生成一个 Thread 对象。在新的文件中输入以下代码,并保存为 threadDemo.py:
import threading, time
print('Start of program.')
def takeANap():
time.sleep(5)
print('Wake up!')
threadObj = threading.Thread(target=takeANap)
threadObj.start()
print('End of program.')
1、我们定义了一个函数,希望用于新线程中。为了创建一个 Thread 对象,我们调用 threading.Thread(),并传入关键字参数 target=takeANap
2、我们要在新线程中调用的函数是 takeANap()。请注意,关键字参数是 target=takeANap,而不是 target=takeANap()。这是因为你想将 takeANap()函数本身作为参数,而不是调用 takeANap(),并传入它的返回值。
3、 threading.Thread()创建的 Thread 对象保存在 threadObj 中,然后调用threadObj.start()
向线程的目标函数传递参数
threading.Thread()创建的 Thread 对象保存在 threadObj 中,然后调用threadObj.start()
import threading
threadObj = threading.Thread(target=print, args=['Cats', 'Dogs', 'Frogs'],kwargs={'sep': ' & '})
threadObj.start()
threadObj.start()调用将创建一个新线程来调用 print()函数,它会传入'Cats'、'Dogs'和'Frogs'作为参数,以及' & '作为 sep 关键字参数。
并发问题
1、如果这些线程同时读写变量,导致互相干扰,就会发生并发问题
2、并发问题可能很难一致地重现,所以难以调试。
为了避免并发问题,绝不让多个线程读取或写入相同的变量。当创建一个新的Thread 对象时,要确保其目标函数只使用该函数中的局部变量。这将避免程序中难以调试的并发问题。
项目:多线程XKCD下载程序
调用 downloadXkcd(140,280)将循环执行下载代码,下载漫画 http://xkcd.com/140、http://xkcd.com/141、http://xkcd.com/142 等,直到http://xkcd.com/279。你创建的每个线程都会调用 downloadXkcd(),并传入不同范围的漫画进行下载。
#! python3
# multidownloadXkcd.py - Downloads XKCD comics using multiple threads.
import requests, os, bs4, threading
os.makedirs('xkcd', exist_ok=True) # store comics in ./xkcd
def downloadXkcd(startComic, endComic):
for urlNumber in range(startComic, endComic):
# Download the page.
print('Downloading page http://xkcd.com/%s...' % (urlNumber))
res = requests.get('http://xkcd.com/%s' % (urlNumber))
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text)
# Find the URL of the comic image.
comicElem = soup.select('#comic img')
if comicElem == []:
print('Could not find comic image.')
else:
comicUrl = comicElem[0].get('src')
# Download the image.
print('Downloading image %s...' % (comicUrl))
res = requests.get(comicUrl)
res.raise_for_status()
# Save the image to ./xkcd.
imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb')
for chunk in res.iter_content(100000):
imageFile.write(chunk)
imageFile.close()
# Create and start the Thread objects.
downloadThreads = [] # a list of all the Thread objects
for i in range(0, 1400, 100): # loops 14 times, creates 14 threads
downloadThread = threading.Thread(target=downloadXkcd, args=(i, i + 99))
downloadThreads.append(downloadThread)
downloadThread.start()
# Wait for all threads to end.
for downloadThread in downloadThreads:
downloadThread.join()
print('Done.')
从 Python 启动其他程序
利用内建的 subprocess 模块中的 Popen()函数,Python 程序可以启动计算机中的其他程序(Popen()函数名中的 P 表示 process,进程)。如果你打开了一个应用程序的多个实例,每个实例都是同一个程序的不同进程。
每个进程可以有多个线程。不像线程,进程无法直接读写另一个进程的变量。
import subprocess
subprocess.Popen('C:\\Windows\\System32\\calc.exe')
向 Popen()传递命令行参数
用 Popen()创建进程时,可以向进程传递命令行参数。要做到这一点,向 Popen()传递一个列表,作为唯一的参数。该列表中的第一个字符串是要启动的程序的可执行文件名,所有后续的字符串将是该程序启动时,传递给该程序的命令行参数。
subprocess.Popen(['C:\\Windows\\notepad.exe', 'C:\\hello.txt'])
运行python脚本
subprocess.Popen(['C:\\python34\\python.exe', 'hello.py'])
用默认的应用程序打开文件
import subprocess
fileObj = open('hello.txt', 'w')
fileObj.write('Hello world!')
fileObj.close()
subprocess.Popen(['start', 'hello.txt'], shell=True)