面向移动应用的自动可访问性报告生成

许多应用程序都存在基本的可访问性问题,例如缺少标签或对比度低。自动化工具可以帮助应用程序开发人员发现基本问题,但运行起来可能很费力,或者需要编写专门的测试。在这项工作中,我们开发了一个系统,通过与 Apple 的可访问性利益相关者的协作流程从移动应用程序生成可访问性报告。我们的方法将各种数据收集方法(例如,应用程序抓取、手动记录)与现有的可访问性扫描仪相结合。许多这样的扫描仪都基于单屏扫描,而整个应用程序可访问性中的一个关键问题……

来源:Apple机器学习研究

许多应用程序都存在基本的可访问性问题,例如缺少标签或对比度低。自动化工具可以帮助应用程序开发人员发现基本问题,但运行起来可能很费力,或者需要编写专门的测试。在这项工作中,我们开发了一个系统,通过与 Apple 的可访问性利益相关者的协作流程从移动应用程序生成可访问性报告。我们的方法将各种数据收集方法(例如,应用程序抓取、手动记录)与现有的可访问性扫描仪相结合。许多这样的扫描仪都是基于单屏扫描的,而整个应用程序可访问性报告中的一个关键问题是有效地对整个应用程序收集的问题进行重复数据删除和汇总。为此,我们开发了一个准确率为 96.9%(F1 分数为 88.8%)的屏幕分组模型和准确率为 97%(F1 分数为 98.2%)的 UI 元素匹配启发式方法。我们将这些技术结合到一个系统中,以报告和汇总整个应用程序的独特问题,并与 18 名专注于可访问性的工程师和测试人员一起评估了我们的系统。该系统可以增强他们现有的可访问性测试工具包,并解决当前可访问性扫描工具中的关键限制。

图 1:我们的报告生成系统生成的原型交互式 HTML 报告。界面有三个主要区域:a) 显示报告中捕获的所有屏幕的轮播,b) 用于在当前选定的“摘要”视图和由缩略图屏幕截图表示的逐屏视图之间切换的菜单,以及 c) 按类别分组的发现问题汇总结果表。报告提供了用户可以采取的操作,包括忽略、查看建议、提交错误和扩展屏幕截图。
图 2:我们的可访问性报告生成方法通过应用程序爬虫或手动记录工具收集屏幕截图和可访问性审核。根据收集的数据,报告生成器使用屏幕分组模型和 UI 元素去重启发式方法来生成交互式报告。