Pyautogui--键盘&鼠标控制工具

一、安装教程(Ubuntu 20.04)

# sudo apt-get install python3-pip
# pip3 install pyautogui
# sudo apt-get install scrot python3-tk python3-dev

一般这样就可以了

二、使用教程

导入库

import pyautogui

屏幕上的位置由X和Y坐标表示。坐标从0开始

获取当前鼠标位置 

print(pyautogui.position())

获取当前屏幕的分辨率 

print(pyautogui.size())

判断某个坐标是否在屏幕上 

x=10

y=20

print(pyautogui.onScreen(x, y))

暂停2.5s：防止程序出问题，一般要在执行完后先停几秒

pyautogui.PAUSE = 2.5

鼠标移动：移动时间为1s

#1、绝对移动

x = 200

y = 100

num_seconds = 1 

pyautogui.moveTo(x, y, duration=num_seconds)  

#2、相对移动

xOffset = 30

yOffset = -50

num_seconds = 0.5

pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)

鼠标拖动：按下鼠标左键移动鼠标。

#绝对移动

x = 200

y = 100

num_seconds= 1

pyautogui.dragTo(x, y, duration=num_seconds)  

# 相对移动

xOffset = 30

yOffset = -50

num_seconds = 0.5

pyautogui.dragRel(xOffset, yOffset, duration=num_seconds)

鼠标点击：

# 将鼠标移动到(moveToX,moveToY)位置，点击鼠标num_of_clicks次，每次点击间隔

# secs_between_clicks秒

# button表示单击方式，'left'左键单击，'middle'中键单击，'right'右键单击

moveToX = 500

moveToY = 600

num_of_clicks = 1

secs_between_clicks = 1

pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

下面的函数都可以用click()代替，只是方便阅读

moveToX = 10

moveToY = 20

# 右键单击

pyautogui.rightClick(x=moveToX + 50, y=moveToY)  

# 中键单击

pyautogui.middleClick(x=moveToX + 50, y=moveToY)  

# 左键双击

pyautogui.doubleClick(x=moveToX + 50, y=moveToY)  

# 左键三击

pyautogui.tripleClick(x=moveToX + 50, y=moveToY)  

鼠标滚动：

moveToX = 100

moveToY = 200

# 鼠标在当前位置向下滑动100格

# pyautogui.scroll(clicks=-100)

# 鼠标移动到(moveToX,moveToY)位置，然后向上滚动150格

pyautogui.scroll(clicks=150, x=moveToX, y=moveToY)

示例一：

# 鼠标移动到(moveToX,moveToY)位置，鼠标左键按下

pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')

# 鼠标移动到(moveToX,moveToY)位置，鼠标右键松开（按下右键的情况下）

pyautogui.mouseUp(x=moveToX, y=moveToY, button='right')

# 鼠标在当前位置，按下中键

pyautogui.mouseDown(button='middle')

缓动/渐变函数：没有什么实际作用，只是让操作看起来更复杂

可以使用print(pyautogui.ease*?)函数查看

moveToX = 100

moveToY = 100

# 开始慢，结束快

pyautogui.moveTo(moveToX + 5 , moveToY+ 45, 2, pyautogui.easeInQuad)  

# 开始快，结束慢   

pyautogui.moveTo(moveToX + 15, moveToY+ 35, 2, pyautogui.easeOutQuad)

# 快速开始和结束，中间缓慢

pyautogui.moveTo(moveToX + 25, moveToY+ 25, 2, pyautogui.easeInOutQuad)  

# 最后反弹

pyautogui.moveTo(moveToX + 35, moveToY+ 15, 2, pyautogui.easeInBounce)  

# 反复横跳

pyautogui.moveTo(moveToX + 45, moveToY+ 5, 2, pyautogui.easeInElastic)

从键盘输入文字：

# 在当前位置输入文字text，每个字符输入间隔secs_between_keys秒

text = 'Hello world!\n'

secs_between_keys = 0.1

pyautogui.typewrite(message=text, interval=secs_between_keys)  

# 在当前位置按下键盘各种键

pyautogui.typewrite(['\t', 'a', 'b', 'c', 'left', 'backspace', 'enter', 'f1','\n'], interval=secs_between_keys)

查看所有支持的按键：

print(pyautogui.KEYBOARD_KEYS)

按下快捷键：

1、使用hotkey()按下快捷键，同时按两个不松开

# ctrl+c 复制文字

pyautogui.hotkey('ctrl', 'c')  

# ctrl+v 粘贴文字

pyautogui.hotkey('ctrl', 'v')

2、使用keyDown()按下键盘，keyUp()松开键盘

# 按下ctrl键

pyautogui.keyDown('ctrl')

# 按下v键，相当文字粘贴

pyautogui.keyDown('v')

# 松开ctrl键盘

pyautogui.keyUp('ctrl')

3、使用press()：按下再释放

#  按下shift键

pyautogui.keyDown('shift')

pyautogui.press('left')

pyautogui.press('left')

pyautogui.press('left')

#  松开shift键

pyautogui.keyUp('shift')

# 按下三个left键，注意括号内的数据格式

pyautogui.press(['left', 'left', 'left'])

# 按left键五次

pyautogui.press('left', presses=5)

4、hold():一直按住不松

# 按住shift

with pyautogui.hold('shift'):

    # 连续按left,然后松开shift

    pyautogui.press(['left', 'left', 'left'])

# 上面代码功能和下面代码实现功能相同

# 按下shift键

pyautogui.keyDown('shift')

pyautogui.press('left')

pyautogui.press('left')

pyautogui.press('left')

# 松开shift键

pyautogui.keyUp('shift')

消息框函数：向用户展示信息或者需要和用户互动

# 警告窗口

alert_result = pyautogui.alert('点击确定返回字符串OK')

# 确认窗口

confirm_result = pyautogui.confirm('点击确定返回字符串OK，点击取消返回字符串Cancel')

# 点击ok保存输入的文字，点击Cancel返回None

prompt_result = pyautogui.prompt('输入文字')

# 点击ok保存输入的密码，点击Cancel返回None

# default默认文字，mask用什么符号代替输入的密码

password_result = pyautogui.password(text='', title='', default='', mask='*')

截图函数：

先安装：sudo apt-get install scrot

官方说screenshot()函数大概需要100毫秒，但实际需要3秒左右且常常找不到图片类似区域。

# 截屏返回result对象

result = pyautogui.screenshot()

# result是Image对象

print(type(result))

# 保存图像

result.save('result1.jpg')

# 展示图片

#result.show()

# imageFilename参数设置文件保存为止，在截屏前保存图片到本地foo.png文件

# region设置截图区域[x,y,w,h]，以(x,y)为左上角顶点，截宽w，高h的区域

result = pyautogui.screenshot(imageFilename='result2.jpg',region=[10,20,100,50])

图像定位函数：

locateOnScreen(image, grayscale=False)：

在屏幕中，返回和image图片最类似区域的坐标(left, top, width, height)，如果没找到返回None。grayscale设置是否按照灰度查找。

locateCenterOnScreen(image, grayscale=False)：

在屏幕中，返回和image图片最类似区域的中心坐标(x, y)，如果没找到返回None。

locateAllOnScreen(image, grayscale=False)：

在屏幕中，返回和image图片所有类似区域的坐标(left, top, width, height)的生成器

locate(needleImage, haystackImage, grayscale=False)：在haystackImage中，返回和image图片最类似区域的坐标(left, top, width, height)。

locateAll(needleImage, haystackImage, grayscale=False)：

在haystackImage中，返回和image图片所有类似区域的坐标(left, top, width, height)的生成器。

定位函数耗时很长，好几秒钟才行。加速它们的最好方法是传递一个region参数（一个（左、上、宽、高）的4整数元组）来只搜索屏幕的较小区域而不是全屏。但是这个region区域必须比待搜索截图区域大，否则会引发错误：

result = pyautogui.locateOnScreen('result1.jpg', region=(0,0, 300, 400))

result = pyautogui.locate(needleImage='result1.jpg', haystackImage='result.jpg', confidence=0.5, region=(0,0, 300, 400))

可以传递grayscale=True给定位函数以提供轻微加速（大约30%左右）。但会降低图像和屏幕截图的颜色饱和度，加快定位速度，但可能会导致误报匹配。

result_location = pyautogui.locateOnScreen('result.jpg', grayscale=True,confidence=0.6)

如果只需要验证单个像素是否与给定像素匹配，可以调用该pixelMatchesColor()函数，并将其表示的颜色的X坐标、Y坐标和RGB元组传递给它：

# 颜色匹配

pyautogui.pixelMatchesColor(100, 200, (255, 255, 255))

# tolerance参数可以指定红、绿、蓝3种颜色误差范围

pyautogui.pixelMatchesColor(100, 200, (248, 250, 245), tolerance=10)