Android 无障碍服务AccessibilityService

前言

谷歌提供了一种用于与app自动交互的手动无障碍服务，只要像正常的Android Service一样写一个继承AccessibilityService的类即可创建一个无障碍服务。当app有操作时系统就会通知你开启的服务，有时候遇到困难无障碍服务也是一个不得已的方案。

具体可以参照谷歌文档：https://developer.android.com/guide/topics/ui/accessibility/service

创建服务类

先创建一个app，实现一个继承AccessibilityService的Service

public class AccessibilitySampleService extends AccessibilityService {
    public static String TAG = "SharkChilli";

    @Override
    protected void onServiceConnected() {
        super.onServiceConnected();
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        // 此方法是在主线程中回调过来的，所以消息是阻塞执行的
 
    }

    @Override
    public void onInterrupt() {
    }
}

onServiceConnected方法中可以来配置服务的一些设置，比如监控哪些app的哪些动作之类的。
onAccessibilityEvent方法就是app发送交互后会调用的方法，相关的交互信息都在AccessibilityEvent 中。
谷歌官网的具体解释如下

• onServiceConnected() -（可选）当系统成功连接到无障碍服务时，会调用此方法。使用此方法可为服务执行任何一次性设置步骤，包括连接到用户反馈系统服务，如音频管理器或设备振动器。如果您要在运行时设置服务的配置或做出一次性调整，从此处调用 setServiceInfo() 非常方便。
• onAccessibilityEvent() -（必需）当系统检测到与无障碍服务指定的事件过滤参数匹配的 `AccessibilityEvent 时，会回调此方法。例如，当用户点击某个按钮或将焦点置于应用中的某个界面控件上，而无障碍服务正在为其提供反馈时。出现这种情况时，系统会调用此方法，并传递关联的 AccessibilityEvent，服务随后可以对其进行解读并用其向用户提供反馈。此方法可能会在服务的整个生命周期内被调用多次。
• onInterrupt() -（必需）当系统要中断服务正在提供的反馈（通常是为了响应将焦点移到其他控件等用户操作）时，会调用此方法。此方法可能会在服务的整个生命周期内被调用多次。
• onUnbind() -（可选）当系统将要关闭无障碍服务时，会调用此方法。使用此方法可执行任何一次性关闭流程，包括取消分配用户反馈系统服务，如音频管理器或设备振动器。

---

配置AndroidManifest.xml

和正常的Service一样需要到AndroidManifest.xml中配置我们实现的Service。

这里基本是固定的在meta-data信息中配置的android:resource="@xml/accessibility_config"是指定我们服务的配置信息，这个配置工作也可以在上面的onServiceConnected方法通过AccessibilityServiceInfo配置。

我们看看这两种的配置方式
xml创建好相关的文件后配置如下

onServiceConnected方法中配置

protected void onServiceConnected() {
        super.onServiceConnected();
        AccessibilityServiceInfo accessibilityServiceInfo = new AccessibilityServiceInfo();
        accessibilityServiceInfo.eventTypes = AccessibilityEvent.TYPE_WINDOWS_CHANGED
                | AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED
                | AccessibilityEvent.TYPE_VIEW_CLICKED
                | AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED
                | AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED;
        accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_ALL_MASK;
        accessibilityServiceInfo.notificationTimeout = 0;
        accessibilityServiceInfo.flags = AccessibilityServiceInfo.DEFAULT;
        accessibilityServiceInfo.packageNames = new String[]{"com.shark.nougat"};
        setServiceInfo(accessibilityServiceInfo);
    }

如需详细了解可在无障碍服务配置文件中使用的 XML 属性，请点击以下链接转到相应的参考文档：

• android:description
• android:packageNames
• android:accessibilityEventTypes
• android:accessibilityFlags
• android:accessibilityFeedbackType
• android:notificationTimeout
• android:canRetrieveWindowContent
• android:settingsActivity

如需详细了解可在运行时动态设置的配置设置，请参阅 AccessibilityServiceInfo 参考文档

---

开启无障碍服务

将app安装后，到设置中开启服务

image.png

这个名称就是我们前面设置的lable

image.png

image.png

---

AccessibilityEvent的操作

开启后app只要有互动，系统就会将这次互动的相关信息封装到AccessibilityEvent中并调用onAccessibilityEvent方法，这里就介绍一下基本操作

判断操作的类型

public void onAccessibilityEvent(AccessibilityEvent event) {
        // 此方法是在主线程中回调过来的，所以消息是阻塞执行的
        switch (event.getEventType()) {
            /**
             * AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED，
             * 而会调用AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED，
             * 而AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED只要内容改变后都会调用，
             * 所以一般是使用AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED来作为监测事件的
             */
            case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
                Log.i(TAG, "TYPE_WINDOW_STATE_CHANGED 界面改变");
                break;
            case AccessibilityEvent.TYPE_VIEW_CLICKED:
                Log.i(TAG, "TYPE_VIEW_CLICKED view被点击");
                break;
        }
    }

通过AccessibilityEvent.getEventType()可以获得这次互动的类型。更多类型可以参考官网文档

获得操作的app包名和Activity类名

String pkgName = event.getPackageName().toString();
String className = event.getClassName().toString();

---

AccessibilityNodeInfo操作

在无障碍服务中控件节点会包装为一个AccessibilityNodeInfo，通过这个类我们可以在代码中与之交互

获取root节点类型

private AccessibilityNodeInfo getRootNodeInfo() {
        AccessibilityEvent curEvent = mAccessibilityEvent;
        AccessibilityNodeInfo nodeInfo = null;
        if (Build.VERSION.SDK_INT >= 16) {
            // 建议使用getRootInActiveWindow，这样不依赖当前的事件类型
            if (mAccessibilityService != null) {
                nodeInfo = mAccessibilityService.getRootInActiveWindow();
                Log.d(TAG, "getRootNodeInfo: " + nodeInfo);
            }
            // 下面这个必须依赖当前的AccessibilityEvent
//            nodeInfo = curEvent.getSource();
        } else {
            nodeInfo = curEvent.getSource();
        }
        return nodeInfo;
    }

获取了根节点就可以向下去查找其他节点了

通过ID查找节点

nodeInfo.findAccessibilityNodeInfosByViewId(viewId);

id："com.shark.nougat:id/sample_text"

通过Text查找节点

nodeInfo.findAccessibilityNodeInfosByText(text);

点击节点

node.performAction(AccessibilityNodeInfo.ACTION_CLICK);

修改文本

node.performAction(AccessibilityNodeInfo.ACTION_SET_TEXT, arguments);

点击全局返回、Home

performGlobalAction(AccessibilityService.GLOBAL_ACTION_BACK);
performGlobalAction(AccessibilityService.GLOBAL_ACTION_HOME);

---

uiautomatorviewer

我们可以使用sdk中自带的uiautomatorviewer查看app id等信息

image.png

引用

Github对AccessibilitySample封装
android 辅助功能（无障碍） AccessibilityService 实战入门详解
Android辅助功能（Accessibility）简介
Android辅助功能原理与基本使用详解-AccessibilityService