增强现实应用测试的质量模型
关键字：增强现实、软件质量、软件测试、机器学习、测试自动化、质量模型
导言
增强现实是通过在应用程序的用户界面中创建一种真实与虚拟结合的模型或场景来实现的[1]。“增强现实”一词最早由Caudell和Mizell在1992年使用[2]。在过去的十年里，增强现实应用程序的发展已经非常大众化，由于公共库的兴起使应用程序的构建变得更容易，手机等设备的计算能力不断提高。随着手机融入我们的生活，手机已经成为无处不在的设备[3]。类似地，增强现实技术允许我们保持物质世界不变，并在其上修饰新的数字对象。增强现实正在变得流行，因为在物质世界保持不变时，它允许改变我们所看到的。根据Gartner在2018年进行的一项调查（图1），“根据Gartner ResearchCircle的一项研究，27%和17%的受访者使用或评估增强现实和混合现实技术”[4]。
Gartner新兴技术分析：
3D设计软件和垂直ISV的增强和混合现实机会
另一项Gartner调查侧重于多重体验的应用程序开发。分析师表示：“令人惊讶的是，虚拟现实应用程序被认为是第二种最具影响力的多重体验应用程序（20%），因为增强现实有更多潜在的用例和设备支持。尽管增强现实应用程序开发工具越来越广泛，但只有14%的受访者认为增强现实应用程序最具影响力。”[5]（图2）。
Gartner调查分析：启动企业多重体验开发战略的见解
有几个开发工具可以帮助开发人员创建增强现实应用程序。增强现实Toolkit是由Hirokazu Kato在1999年开发的，可用于Windows、Mac、Linux和Android平台。增强现实Core是Android和iOS手机的一个SDK，由谷歌开发，于2018年发布[6]。苹果有自己的本地工具增强现实Kit，2017年随iOS 11发布[7]。Facebook在2017年发布了Camera Effects平台。2018年10月，Facebook将该平台更名为Spark 增强现实[8]。高通公司在2011年发布了QC增强现实 SDK[9]，然后在2015年以6500万美元的价格出售给PTC[10]。2010年，Maxst作为一家公司成立，2011年，在Pokemon GO发布前5年发布了一款增强现实手机游戏，2012年发布了他们的增强现实 SDK[11]。Wikitude的Javascript SDK于2012年发布[12]。
移动增强现实应用普及的一个驱动因素是多个SDK的可用性和易用性。然而，开发的便利性也导致应用程序的用户体验不佳[13]。有多种开发工具可供选择，包括开源的和商业的，它们跨越了运行时环境。表1列出了这类增强现实应用程序开发工具的几个常见示例。
表一增强现实开发工具示例
增强现实技术在工业中的应用正日益广泛。增强现实应用已经被应用于制造业、服务业、产品设计、工厂布局设计[20]、军事机械服务和维护[21]等。在汽车行业，增强现实技术被梅赛德斯-奔驰用来创建一个消费者应用程序。这个程序允许潜在的购买者定制一辆新车，就像它在自己的私人车道上一样[22]。在iOS用户使用该应用程序的前三个月内超过3.4万次下载，应用程序评级为4.3星级[23]。
在增强现实的开发工具和应用越来越丰富的同时，增强现实专用的测试工具与实践却相对滞后。著名的虚拟现实耳机“达摩克利斯之剑”是由伊凡·萨瑟兰于1968年发明的[24]。然而，虽然虚拟现实技术比增强现实存在的时间更长，但在虚拟现实应用程序交互中，没有通用的测试自动化实践[25]。图3给出了增强现实和VR之间的相似度与关联度的跨度[26]。
图3
虽然之前的研究已经发现了新接口测试实践中的一个潜在缺陷，但这并不是说明行业用户不会搜索它们，也不会依赖它们。web和移动测试自动化解决方案可从开源社区和商业供应商处获得。专门针对增强现实应用程序的测试自动化工具并不那么容易找到。图4显示了Gartner调查的受访者对支持企业多重体验应用程序开发方面技术问题的回答。Gartner的分析师在分析中指出，但Gartner建议应用程序领导者强调采用测试自动化工具和DevOps实践。”
图4 Gartner调查分析：启动企业多重体验发展战略的见解
评估增强现实应用程序的质量比经典的传统软件产品的质量更为复杂。移动增强现实应用程序的早期采用者在生产版本中遇到了错误。亚马逊应用程序增强现实View中发现的质量问题，包括：未能将模型放置在光滑的物理表面上、模型细节低、模型轮廓不自然且可区分，以及未能将模型大小与物理环境成比例[27]。宜家的增强现实应用程序也有类似的质量问题，主要是在低光照的条件下，模型会漂浮或偏离原始锚点[28]。
评估增强现实系统会遇到问题，因为技术发展晚，还不了解增强现实应用程序是否符合最终用户的期望[29]。除此之外，传统的可用性评估方法还不足以全面地检测具有新接口的应用程序中的缺陷[30]。尼尔森将可用性定义为可学习性、效率、可记忆性、满意度和错误的软件属性[31]。增强现实可用性要求物理和虚拟组件协同工作。因此，如果其中一个可用性降低，比如低光场景下，增强现实应用程序很快就会失去可用性。此外，模型和实际环境之间的色彩一致性和冲突也值得关注。与传统测试程序相比，增强环境中的存在和协作也是新的质量问题[32]。在这些情况下，应用程序必须是智能的，以指导用户改进环境设置或转移到更传统的应用程序界面来解决用户的需求。增强现实应用程序能够智能地理解退化的物理环境对其自身可用性的影响，这意味着必须在设计时解决质量问题。
这里提出了一种方法来产生一个质量模型，以满足增强现实产品不断增长的期望。此模型使用ISO 25010模型中的功能。
增强现实应用软件质量模型
一个精心设计的增强现实应用程序将虚拟世界和物理世界融合到一个体验中，从而促进透视、呈现、交互和沉浸感[33]。透视图对于动态物理环境中真实地接触虚拟对象是必要的。呈现是用户在其物理环境中参与虚拟模型或场景的能力。这种参与是指当我们操纵模型时，或当模型相对于环境的视角发生变化时发生的交互。这一切都是为了创造沉浸感。扩展增强现实，应用程序还必须具有持久性。这允许其它应用程序用户体验增强模型和场景，从而扩展增强现实体验。增强现实应用程序的这些特性要求开发人员超越传统的测试关注点。
与功能相关的情景
增强现实应用程序的功能必须针对两个不同的需求进行测试，即遮挡和碰撞[34]。增强现实应用程序的用户需要在实体和虚拟对象之间进行真实的交互。这意味着实体有适当的阴影和深度。它们不应该同时占据相同的空间。
遮挡要求如果虚拟对象远离实体，则在渲染过程中，物理对象应完全以真实的方式隐藏或遮挡部分或虚拟对象。遮挡是困难的，因为增强现实引擎必须正确地表示物理世界，即使我们与它的关系根据物理运动而改变。增强现实引擎必须根据物理世界的特性重建三维模型，并适当渲染动态用户界面。必须创建模拟应用程序将在其中运行的可能的多个物理领域的测试用例，然后加载并使用虚拟对象来测试失败阻塞的倾向，或者创建一个不模拟现实的体验。图8表示失败的遮挡和碰撞的存在。
（图8：手机增强现实应用截图）
当虚拟对象接近实体并试图同时占据相同的三维空间时会发生碰撞。许多增强现实应用程序将允许虚拟对象在物理平面中显示时进行操作。但是，虚拟对象不应该与实体占用相同的空间。碰撞检测需要在实现中进行测试。测试用例还应该包括颜色和光线如何改变检测和防止碰撞的能力。
与视觉区分有关的环境背景
增强现实应用程序可能会失去基于它们所操作的物理世界的视觉区分，降低应用程序的可用性。当模型和物理场景颜色经常变化，或者当表面通常是光滑和反射时，在强光区域（白色占主导地位）接合虚拟对象是困难的并且容易失败。区分测试必须有多个测试用例，这些测试用例将物理环境改变为这些极端类型，以了解应用程序的行为，并可能向用户提供增强现实用户界面之外的选项，例如传统的基于菜单的界面，在这种情况下，无法渲染虚拟对象以使它们是不同的。
与可移植性相关的环境背景
增强现实应用程序的另一个环境问题是平台（运行时操作系统和计算及显示/交互硬件）之间的差异。有许多物理形式的因素和设备操作系统的版本，因此需要测试增强现实应用程序，以确保跨设备和平台的正确执行，有助于确保所需的设备兼容性的广度。对于那些在组织内部使用增强现实应用程序，并且在可接受的硬件上有策略的人，可以减少对移动运行时平台中的变化的关注。有许多移动设备场供应商可供选择，其中一些既有内部部署，也有云选项。同时提供内部部署和云服务的示例供应商包括Experitest、Mobile Labs和SmartBear以及其他供应商。群组测试也可以用来建立一个由各种设备组成的大型试验台。群组测试可以通过群组测试平台在组织内部或外部进行。群体测试可以实现用户体验、功能测试或回归测试等质量目标，它提供了设备之外的多样性，也提供了地理位置以及最终用户的技能和体验方面的多样性。例如，群组测试平台可以包括RainforestQA、掌声或testIO。
性能工程
在操作相机硬件并将图像合并到用户界面时进行三维渲染在计算上非常昂贵。谷歌增强现实Core的早期版本附带了一些发布说明，建议分离或删除锚（一种可以表示物理世界中存在的虚拟对象的功能点），以防止昂贵的CPU成本[35]。
增强现实应用程序通常使用分布式体系结构实现，同时使用本地客户端和一些云或集中服务。在这些情况下，我们必须对集中的资源进行性能分析，并理解当许多客户使用这些服务时，这些资产的计算能力可能会被拉伸。客户端设备本身也可能有性能问题，包括长时间运行时的电池耗尽。传统的性能测试将解决这一分析的大部分问题，而那些利用云资源的人将需要在测试计划中增加对自动扩展资源的复杂性和成本的验证。当到云数据中心的网络流量很高，甚至数据中心内的温度较高时，云性能可能会降低[36]。在分布式增强现实应用程序实现中，流量可能很大。
持续扩展可用性
在多个用户之间扩展增强现实体验需要集中物理地图和虚拟对象锚，以便多个用户可以共享沉浸感。增强现实Kit和增强现实Core都具备这些能力[37]。对于单用户场景，持久性发挥着质量的作用，您可以放置虚拟对象，几天后期望看到它嵌入到相同的物理位置。持久性也是扩展用户共享增强体验能力的一个要求。测试用例将需要参与一个共享场景和经验的测试人员数量的复杂性，以及测试用例覆盖的时间长度。
创建质量模型
增强现实应用程序版本的测试计划有许多环境上下文因素。虚拟对象需要在物理世界的可接受范围内运行。设备运行时环境和形状因子也是变量。根据应用程序的性质，可能需要诸如共享锚定点之类的云技术，这也可能导致具有更复杂的功能性和非功能性质量需求。
ISO 25010模型的各个方面现代化，以反映用户的体验期望，并细分为透视、呈现、交互、沉浸、持久和性能的质量特征。用户体验本身是一个非常有影响力的质量属性[38]。该模型将八个特性归因于增强现实应用程序的用户体验。先前的一项研究指出了用户参与，用户、产品和其他代理之间的交互影响以及可以观察或测量的三个特征[39]。而另一部作品发现了美学、吸引力、快乐、可用性和实用性的五个特征[40]。该模型旨在反映ISO 25010模型，并尽可能与原始的八个质量特性相关。
增强现实质量的特征：
功能/存在：遮挡和碰撞特性将使增强现实应用更加逼真，提供更多的功能用途。这个特性允许用户同时出现在物理和虚拟世界中。
视觉区分/透视：环境（如高反射和明亮的灯光）可能会影响应用程序将虚拟对象一致地注入物理对象的能力的视觉区分。通过测试虚拟对象相对于物理对象的真实感渲染，可以确保透视效果，从而精确地保持高度、宽度和深度。
表现/互动：通过在一个物理布局中包含多个虚拟对象而实现的多个锚可以影响设备性能。如果交互需要频繁或多个虚拟对象创建、实例或突变，这可能会限制用户的交互能力。
性能还取决于云锚定机制，以便多个用户可以共享增强现实体验。
可移植性/沉浸：许多移动表单因素和操作系统创建了一个复杂的运行时环境，需要跨设备进行测试。为了让增强现实应用程序的许多用户体验沉浸感，该应用程序必须在多种设备类型和版本之间兼容。
可用性/持续性：在多个同时使用的用户之间实现共享增强现实体验的扩展需要持久性。持久性利用云技术使分布式用户能够共享锚定点和其他对象和场景元数据，以便用户能够沉浸在彼此的虚拟和物理世界中。
基于机器学习的自动化测试
在增强现实应用中的应用
自动化有助于加快测试速度，这样我们就可以更快地考虑产品发布，同时也可以在更短的时间内发现更多的错误。类似于传统的测试实践不考虑新的用户界面，比如增强现实，测试工具在这方面也很缺乏。SmartBear的一个案例研究可用于讨论他们的方法[41]。虽然他们描述了物理移动实验室和物理机器人技术，这些技术重新定位了设备，使其摄像机能够充分缩放和重置，以便将三维模型融入物理世界，但案例研究并没有描述如何测试质量模型中描述的功能和用户体验，或者特别是如何测试碰撞或遮挡等方面。
于是我们提出了一个框架，其中包括测试自动化、通用工具和实践，以及使用机器学习来构建一种测试方法，该方法提供了在物理世界中准确呈现模型的可能性，加速了手动测试人员和开发人员的速度，以便他们可以快速地在有问题的领域进行研究。
这种方法从增强现实开发中使用的模型文件开始。图5取自集成开发环境Android Studio，并举例说明了在增强现实应用程序开发期间如何存储和组织模型文件。这些将成为自动化框架中使用的比较来源。
图5 Android Studio文件夹和sfb模型文件
这些模型的重要之处是将它们发送到通用的ML图像识别引擎时的返回值。我们的框架使用通用的开源测试自动化工具Appium，在测试运行时截图。
这个建议的框架可以访问开发环境中的模型，以及在移动应用程序中使用时的模型截图。图6是开发环境中模型的图像。
图6番茄酱瓶模型文件
图8 手机增强现实应用截图
图8是一个增强现实应用程序的屏幕截图，该应用程序正在运行，而模型现在正处于阻塞状态。这两幅图像被发送到ML驱动的图像识别引擎。随着时间的推移，当这两个结果在一个可接受值时，我们通过确保模型在物理世界中显示时被有信心地检测到，从而加速了测试工作。这是机器学习和测试自动化如何帮助增强现实应用程序的整个软件开发生命周期的一个方面。同样类型的线束可以在应用程序处于生产状态时自动创建和运行，再次确保在不断变化的环境中，模型在增强现实的新用户界面中得到了充分的呈现。
作为这个框架的一个直接例子，我们可以将图6所示的番茄酱瓶模型提交给AWS的图像和视频分析服务。
如图7所示，该服务返回的概率为97.6%，确定它既是分类食品，又是可识别的番茄酱瓶。
图7 图6中来自AWS的图像和视频分析服务的返回值
然而，当我们使用增强现实应用程序中使用的相同模型文件的屏幕截图时，我们会看到阻塞失败，ML服务返回与结果相关的结果。这将表明潜在的缺陷，然后手动测试可以磨合这个特定的测试用例。
图8显示了失败遮挡的外观，图9给出了Rekognition返回值类型将帮助指出一个缺陷。瓶子被固定在房间的后角，同时也漂浮在离移动设备最近的吉他上。来自同一个AWS识别引擎的概率发生了巨大的变化。我们再也看不到瓶子和食物了。相反，我们发现了家具、休闲活动和吉他。
图9 图8的引擎返回值
结论
增强现实应用程序将虚拟模型和物理世界融合在一起。这些应用程序在许多垂直领域越来越流行，并且有几个SDK可用于帮助创建。然而，还需要进一步开发测试方法和工具。传统的测试方法或ISO 25010模型无法充分解决增强现实用户界面的新颖功能。这项研究建议创建测试用例，关注视角、呈现、交互、沉浸、持久性和性能的特性。同时，还需要利用图像检测功能自动化的特性和机器学习来辅助检测增强现实应用程序中的潜在缺陷。修订后的质量模型和支持ML的自动化框架寻求扩展当前的能力和方法，以增强增强现实应用程序中的缺陷检测。
参考文献
[1] X.Wang，A.Kotranza，J.Quarles，B.Lok，B.D.Allen，《将真实物体快速融入混合环境的管道》，第四届IEEE/ACM混合增强现实国际研讨会，美国华盛顿，2005年10月，第170-173页。
[2] I.拉比，S.乌拉，《增强现实挑战与跟踪调查》，Acta Graphica:J.Print。科学。图形通讯。第24卷，第1-2期，2013年，第29-46页。
[3] J.Gulliksen、B.Góransson、I.Boivie、S.Blomkvist、J.Persson和嫒。Cajander，“以用户为中心的系统设计的关键原则”，行为和信息技术，第22卷，第397-4092003页。
[4] Gartner新兴技术分析：3D设计软件和垂直ISV的增强和混合现实机会，Tuong Nguyen，2019年8月23日。
[5] Gartner调查分析：启动企业多重体验发展战略的见解，Jason Wong，Adrian Leow，2019年2月12日。
[6] “Google ar/arcore android sdk”GitHub。2018年2月23日。2019年4月28日访问。https://github.com/google-ar/arcore-android-sdk
[7] 苹果公司的增强现实Kit:CheatSheet，Cory Bohon，TechRepublic，2019年6月7日。访问日期：2019年9月28日。https://www.techrepublic.com/article/apples-arkit-everything-thepros-need-to-know/
[8]Facebook重塑了Camera Effects平台的品牌，将程序扩展到Instagram，罗伯特·威廉姆斯，2018年10月8日。访问日期：22019年9月28日。
https://www.mobilemarketer.com/news/facebook-rebrands-cameraffects-platform-expanses-program-to-instagram/539066/
[9] 2011年4月26日，发布了QC增强现实 SDK的1.0版本。访问日期：2019年9月28日。
https://developer.vuforia.com/forum/news-andannouncements/announcing-10-release-qcar-sdk
[10] 高通公司将其Vuforia增强现实业务以6500万美元的价格出售给PTC，Ina Fried，2015年10月12日。访问日期：2019年9月28日。
https://www.vox.com/2015/10/12/11619500/qualcomm-sellsits-vuforia-augmented-reality-business-to-ptc-for-65
[11] 看未来创造增强世界，2019。访问日期：2019年9月28日。
http://maxst.com/#/en/abouus
[12] 发布说明Wikitude Sdk，2012年。访问日期：2019年9月28日。https://www.wikitude.com/external/doc/documentation/latest/android/changelog.html
[13] Y.Arifin，T.G.Sastria和E.Barlian。“增强现实应用的用户体验度量：综述”，《计算机科学》135卷（2018年8月29日）：648-56页。
[14] 使用Vuforia进行计算机视觉和增强现实应用，2019年。访问日期：2019年9月28日.
http://www.ptc.com/en/academicprogram/academic-products/free-software/vuforia
[15] 下载，2019年。访问日期：2019年9月28日。
https://developers.facebook.com/docs/ar-studio/downloads/
[16] 为增强现实的最新进展做好准备，访问日期：2019年9月28日。https://developer.apple.com/augmented-reality/
[17] 增强现实Core概览，2019年2月28日。访问日期：2019年9月28日。https://developers.google.com/ar/discover/
[18] Wikitude增强现实软件开发工具包，2019年。访问日期：2019年9月28日。https://www.wikitude.com/products/wikitude-SDK/
[19] 增强现实软件开发工具包，2019年。访问日期：2019年9月28日。http://maxst.com/#/en/arsdk
[20] S.P.Yun，H.J.Yap，R.Singh，S.W.Chang，K.L.R.Cheong，《柔性制造单元的增强现实辅助工厂布局规划与分析》，计算机科学与计算数学国际会议，2014年，第106-111页。
[21]S.J.Henderson，S.Feiner，评估增强现实技术对装甲运兵车炮塔维修任务定位的好处，第8届IEEE混合与增强现实国际研讨会，美国佛罗里达州奥兰多，2009年，第135-144页。
[22]G.Westerfield，A.Mitrovic，M.Billinghurst，主板装配智能增强现实训练，国际人工神器。英特尔。教育。第25卷，2015年第1期，第157-172页。
[23]梅赛德斯汽车应用程序。客厅停车场，2018年。访问日期：2019年9月28日。https://developer.mercedes-benz.com/inspire/c增强现实app
[24]Y.A.G.V.Boas，“虚拟现实技术概述”，载于《交互式多媒体会议》，2013年卷。
[25]A.Bierbaum、P.Hartling、Patrick和C.Cruz Neira，“虚拟现实应用接口的自动化测试”。欧洲图形虚拟环境研讨会”，第107-114页。ACM出版社，纽约，2003年。
[26]R.T.Azuma，Y.Baillot，R.Behringer，S.K.Feiner，S.Julier和B.Macintyre，增强现实的最新进展。计算机图形学与应用21，6（2001年11月/12月），第34-47页。
[27]亚马逊的增强现实工具是在购买产品之前查看产品的有用方法，Phillip Tracy，2017年11月2日。访问日期：2019年9月28日。
https://www.dailydot.com/debug/amazon-ar-view-app/
[28]J.Diaz，2017年9月22日，使用这一新应用程序，避免宜家的可怕争斗。访问日期：2019年9月28日。
https://www.fastcompany.com/90143908/avoid-killing-yourrelationship-at-ikea-with-this-new-app
[29]A.Dünser和M Billinghurst“评估增强现实系统”，载于：Furht B.（eds）《增强现实手册》。斯普林格，纽约，纽约，2011年，289-307页。
[30]A.Sutcliffe和K.Kaur，“评估虚拟现实用户界面的可用性”，行为和信息技术，第19卷，2001年。
[31]J.Nielsen，可用性工程。旧金山：摩根考夫曼，1993年。
[32]K.M.Stanney，M.Mollaghasemi，L.Reeves，R.Breaux和D.A.Graeber，“虚拟环境的可用性工程：确定驱动有效虚拟环境系统设计的多个标准，”Int.J.Hum.-Comput。螺柱，第58卷，第447-4811903页。
[33]陶先生，张先生，聂先生。数字双驱动智能制造。爱思唯尔学术出版社，2019年。第229页。
[34]D.E.布林、E.罗斯和R.T.惠特克。《增强现实中真实与虚拟物体的交互遮挡与碰撞》，技术报告ECRC-95-02，欧洲计算机工业研究中心，慕尼黑，德国，1995年。
[35]“基本概念”，谷歌公司，增强现实C Core，2019年2月28日。访问日期：2019年4月28日。
https://developers.google.com/ar/discover/concepts#anchors_and_trackables
[36]A.N.Asadi，M.A.Azgomia和R.Entezari Malekib使用随机rewardn对云计算基础设施的统一功率和性能分析〉，《计算机通信》，第138卷，2019年4月15日，第67-80页。
[37]“坚持增强现实-为什么这么重要？”评论家。2018年6月16日。访问日期：2019年5月1日。
https://arcritic.com/2151/persistence-in-arwhy-is-it-so-important/
[38]J.York和P.C.Pendharkar，“可变工作环境下移动计算的人机交互问题”，《国际人机研究杂志》，第60卷，第771-7972004页。
[39]W.Albert，T.Tullis测量用户体验：收集、分析和呈现可用性度量。纽恩斯；2013年5月23日。
[40]M.Hassenzahl和N.Tractinsky，“用户体验-研究议程”，行为与信息技术，第25卷，第91-97页，2006年。
[41]J.Kaasila，“谷歌增强现实——Bitbar如何帮助自动化他们的应用程序测试。”Bitbar，2018年4月17日。访问日期：2019年9月28日。
https://bitbar.com/blog/how-bitbar-helped-google-to-automatetheir-augmented-reality-testing/
智联联盟秘书处翻译，如有需调整、需提高等，欢迎反馈！
