Part9：RPA核心技术之抓屏技术

根据信息抓取技术实现方式分类

1、依据对象句柄元素抓取

句柄是指操作系统内存里指向某个结构体的指针，如在Windows中设立句柄是由于内存管理的需要，就像公安部门对社区人口的户籍管理一样，操作系统也需要知道每个应用程序的内存位置，因此Windows用句柄来记载数据地址的变更。句柄标识了应用程序中不同类型的对象实例，如窗口、按钮、图标、滚动条、输出设备、控件或者文件等。

2、依据网页标签实现抓取

大多数Web网页源代码都是通过HTML语言编写的，页面中的数据通过各种HTML标签所标识。RPA可以让用户更灵活更快捷、更精准地获取到所需要的网页内容，而不必采用爬虫技术中的深度或广度搜索，甚至避免了通过种子URL扩展到整个网站页面进行访问或下载。

3、利用图像对比技术实现抓取

利用图像抓取技术的主要原理就是预先保存好需要查询的某对象的图像，如一个按钮或下拉控件的图像，当机器人在桌面窗口查询这个对象时，根据预存的该对象的图像对整个窗口的图像做查询和比对。

4、借助OCR 识别技术实现抓取

OCR(光学字符识别)技术是首先扫描识别整个屏幕图像，获取所有的文字信息，然后在其中查询某个关键字，确定它的坐标位置后再做其他处理动作。OCR还可以用来识别某个页面对象中的文字信息，如利用标准的抓取方式获得了某个对象，却无法获得对象中所显示的文字内容，OCR便可以通过该对象所对应的图像信息来识别其中的文字。

5、依据界面坐标位置实现抓取

RPA软件通常也会提供依据界面坐标位置来获取界面要素的功能，这种功能在早期的自动化软件中经常被使用。但由于每次应用界面开启位置的不确定性和界面的低分辨率等问题，目前RPA技术实现中已经很少采用这种方式。但如果出现了前面所谈到的各种技术都无法实现，且客户端程序的界面位置不能随意调整，大小也不能缩放的情况，我们也可以采用这种方式。

根据抓取目标对象分类

1、本地客户端程序的界面抓取

客户端应用程序指安装和运行在Windows或Mac操作系统之上的应用程序，通常是与服务器端相对应的，但这里也可以指在本地电脑中单机运行的应用程序。客户端应用与网页版应用最大的区别就是对于操作系统的依赖。那么，抓取客户端界面信息的RPA技术就必然依赖于操作系统，而且基于不同操作系统的抓取技术其实现也就必然不同，甚至是同样操作系统的不同版本也会造成技术差异。目前最有效的技术抓取方式就是前面提到的抓取应用程序窗口中的对象句柄。

2、浏览器页面信息的抓取

RPA中的Web页面信息抓取技术可以看作爬虫技术的升级。二者的相同点是都需要对网页进行解析。不同点是，RPA 可以让用户更加灵活、更快捷、更精准地获取所需要的网页内容，而不必采用爬虫技术中的深度或广度搜索，甚至是避免通过种子URL扩展到整个网站的页面访问或下载，以及对网络所带来的流量和访问量的冲击。

3、远程桌面(RDP)或Citrix 中界面信息抓取

如果RPA采用云端部署模式，则要通过远程桌面技术来访问远程应用程序；如果外包人员不能直接在企业内工作，则要通过VPN的方式来远程访问企业的办公网络和办公环境；如果网络存在安全隔离问题，则不得不通过堡垒机访问远程服务器，这些场景都要用到远程桌面。人们在日常工作中也经常会遇到通过远程桌面或Citrix访问系统的情况，所以RPA必须通过OCR和快捷键操作实现远程桌面信息的抓取。