pywinauto+Tesseract抓取windows自定义控件本文内容

1.pywinauto的介绍

入门指南 · Pywinauto 中文文档 · 看云

2.Tesseract的介绍

https://tesseract-ocr.github.io/tessdoc/

在做windwos的自动化测试时，开发自己画的UI，pywinauto会存在识别了控件的情况。

所以采取，pywinauto自带的截图功能 + Tesseract的文本识别功能，成功获取控件内文本内容。不多说，直接上代码。

from pywinauto import Desktop,win32defines
import pytesseract
from PIL import Image


def sdpwinclient_strategyalarm():
    dlg = Desktop(backend="uia")
    for i in range(2):
        try:
            #连接已存在的应用
            win = dlg.window(found_index=i,title_re=".*SDP", class_name="Qt5QWindowIcon")
            win.set_focus()
        except Exception as e:
            print("未识别到客户端告警弹框！")
            return
        try:
            #找到控件
            label2=win.children()[1].children()[4].children()[0]
            res = label2.capture_as_image()
            res.save("1.png")
            im = Image.open('1.png')
            #识别控件内容
            string = pytesseract.image_to_string(im, lang='chi_sim')
            message = string[1:]
            return message
        except Exception as e:
            pass