一个端到端的移动网络台的自动化框架

文摘

介绍了端到端自动化框架开发项目作为三角形的一部分。三角形项目致力于在移动网络应用程序和设备的基准测试。为此,需要确保所有组件的行为的可重复性测试期间执行相同的移动网络。这就是为什么项目的主要目标之一就是开发一个端到端的自动化框架来提供可重复的测试。本文详细描述了框架的设计和实现。

1。介绍

符合标准(1]在射频级是一个法律要求允许部署新的移动设备的移动网络(监管)。2 g网络的起源以来,欧洲领导一致性测试的创建和开发过程和工具为移动设备。智能手机的主要供应商测试方法适用于证明设备符合广播信号标准和被授权经营的监管范围。

然而,广播和协议的认证信号相关的功能并不能保证一个良好行为的移动设备在运行应用程序时,这可能是一个巨大的问题考虑应用程序将发挥关键作用的5 g的时代。表现不佳的应用或意想不到的失败由于不同的应用程序之间的相互作用在同一设备可以检测到通过适当的测试和资格的方法。三角形项目的主要目的是开发三角形试验台(2)的测试应用程序和设备运行时应用程序的性能。

在这种情况下,项目专注于开发一个测试框架应用程序在参考手机一组可重复的场景。这意味着一个完全控制环境(从网络手机)的元素表现以复制的方式,允许识别差异所产生或由于被测试的应用程序。控制环境将允许不同的射频仿真场景和后端网络障碍。测试的结果是一个基准分数比较应用程序定义的一组参考价值和kpi(关键性能指标)3]。

当前解决方案测试应用和不同的网络条件只是基于软件工具来模拟提供特定的网络品质的延迟或错误率(Facebook的一些示例增强交通控制(4]或Dymmynet [5])。此类软件仿真是指预先对纯仿真(6,7整个系统在计算机的,因为他们支持连接的设备作为端到端路径的一部分。然而,网络本身只是一种错觉。模拟5 g网络效应如无缝交接或无记名的质量动态变化很难表现出同样的行为比真正的网络设备。此外,移动设备运行应用程序的行为应该需要大量的修改(并非总是可行)连接到这样的软件模拟网络。

三角形试验台的主要目的是提供现实的5 g行为修改的商业移动设备。为此,实验结合实际工业4 g / 5 g测试人员,商业内皮祖细胞,商用移动用户设备等提供紧急网络场景在一个非常灵活的和可编程环境,保证实验的可重复性。使用这种方法,商业设备可直接连接到平台运行这个应用程序在选定的网络场景。

试验台的主要构建块三角形架构测试框架和实验设施,由硬件和软件组件。测试框架涵盖了所有软件、协调/测序自动化试验台的控制和管理基础设施。它负责处理和测试请求转换成可操作的步骤内的软件和硬件部分的实验。本文侧重于描述三角形的测试框架,其主要目标是底层的完全自动化试验台的软件和硬件基础设施。

最相关的论文的贡献是描述方法用于实现三角形测试框架和测试自动化框架的引入从Keysight (TAP),一个现代的微软。网络应用程序,可用于先进的自动化软件测试系统的开发。方法受测试方法用于电信领域的规范是基于一组测试用例包含描述和测试环境的配置和每个测试期间要执行的动作。这种方法可以确保测试是可重复的,无论设备和执行认证的实体。这意味着相同的测试用例是采用和实施不同的实验,结果他们两人所提供的应该是可比的。开发工具支持测试用例转化为可执行的测试计划。水龙头测试计划允许自动化配置,控制和执行的测试。

部分2介绍了试验台的基础设施。部分3介绍了利用软件和附加组件用于构建所谓的三角形测试框架。测试框架和实验基础设施之间的相互作用在部分说明4;本节详细描述了控制接口实现的测试框架来管理每个台的组件之一。最后,部分5讲话的主要结果三角形试验台。

2。试验台的基础设施

为了提供更好地了解如何测试框架执行,本节概述不同组件的集成测试平台。

三角形试验台由几个相互关联的硬件单元,计算机和虚拟机。所有这些组件一起工作来提供的方法执行测试应用程序或设备,并提供测试报告。最重要的基础设施层,操作完全自动化的测试框架配置、控制和执行测试用例中指定的项目8)的测试应用程序和设备。

图1概述了物理实验组件之间的联系。

商业移动设备连接到从Keysight UXM无线测试集9]。这种设备通常用于移动设备的一致性测试。UXM扮演的角色跑(无线接入网络)三角形试验台。它的一些关键特性的UXM是灵活的注液电池(eICIC)干扰协调方案,WLAN(无线局域网)出售,和IMS (IP多媒体子系统)/端到端回(LTE)语音多种设备之间的通信。

无线电信号不是辐射(无线);相反,它是通过校准射频电缆问题天线连接器。出于测试目的,大多数问题通常包含小天线连接器的用户隐藏。UXM支持互连两个问题。更多的设备连接到同一UXM试验台使用射频开关,由一个开关控制驱动程序。之间的开关放置在射频连接问题和UXM和开关驱动程序将选择射频连接路径(RF)路由到UXM。

UXM模拟所有的网络信号和物理信号,包括MIMO(多输入多输出)配置。所有的协议层中定义的模拟网络操作实际3 gpp(第三代合作伙伴项目)测试规范和可配置。此外,出于测试目的,UXM仪器提供了额外的有用的功能,比如一个下行信道模拟器来模拟实际的辐射传播的影响,详细的日志记录,和友好的控制。

电池针的问题(用户设备)连接到功率分析仪N6705B。这允许输入电压到电话的控制和测量瞬时电流的装置。N6705B功率分析仪支持多达四个设备连接在同一时间。

此外,移动设备应提供一些控制和自动化试验台的接口,可以使用编制工具。例如,在安卓系统的情况下,这意味着一个USB连接试验台计算机支持连接通过亚行(Android调试桥)工具。支持多个移动设备、试验台使用DUT USB集线器。

以下元素通过以太网连接本地网络:UXM, N6705B,开关驱动程序,管理服务器、核心网络和运输。实验还包括基于OpenStack的虚拟基础设施支持本地部署的服务。

核心网络商业EPC(进化包芯)北极星网络,其中包括一个标准的核心网络的主要元素:居里夫人(移动管理实体)、信令转换(服务网关),产气井(分组数据网络网关),高速钢(家庭用户服务器),和PCRF(政策和收费规则函数),已被整合。此外,这个EPC包括ePDG(进化包数据网关)和ANDSF(访问网络发现和选择功能)组件为双重连接场景。

模仿eNodeB之间的交通网络和EPC,三角形使用SDN(软件定义网络)部署提供流量优先级等特性,分离数据和控制平面交通,选择的交通流量和透明的镜像。此外,该试验台提供集成人工缺陷的可能性在核心网络的接口和应用程序服务器。

两个软件探针部署问题,DEKRA TACS4代理(10],TestelDroid工具(11大学的马拉加。三角形也为应用程序开发人员提供了一个仪器库,以提供额外的测量,不能通过其他方式提取。有额外的软件探测器运行核心网络和回程。硬件探测包括功率分析仪连接到问题中可用的探针测量功耗和无线访问模拟器。所有的探测器也控制下的测试框架。

最后,在管理服务器,部署一个软件工具,称为Quamotion WebDriver [12]。这个工具是基于硒技术用于web测试(13]。Quamotion WebDriver已经适应了这种技术为Android应用程序的测试。这个工具也测试框架的控制下运行测试。

3所示。三角形测试框架

三角形测试框架已经开发了三角形的项目范围。的重要推动者,自动化测试框架的开发实现。利用提供了灵活和可扩展的测试序列和测试计划创建。水龙头是一个微软。网络应用程序可以单独或结合使用更高级别的测试执行软件环境:利用c#和微软Visual Studio;水龙头是一个平台,在该平台上可以构建测试解决方案。

特别是,挖掘已被用于测试用例的实现中定义的上下文三角形项目(8和接口的实现控制试验台的组件基础设施。本节的重点是执行测试用例,而部分4侧重于描述插件开发自动化试验台的控制基础设施。

利用允许测试计划的定义。开发测试计划包括一系列测试步骤,执行指定的操作集在不同开发工具(控制物理设备的逻辑实体平台)或控制测试计划的执行流程(例如,重复某些步骤或执行不同的动作取决于先前的测试步骤的结果)。利用定义了一组基本的测试步骤适合大多数用户需求,并可以开发自定义步骤在c#中对于复杂或非常具体的需求。

利用工具,功能与dut(被测试设备),定义的逻辑与其他实体的交互设备。利用包含一个通用的仪器控制计划(可编程仪器的标准命令)兼容的设备,而定制开发工具可以使用c#开发。每个挖掘工具封装设备的配置和管理逻辑,以及定义可以执行的行动。

开发中起着关键作用的实现控制和自动化测试框架,它允许在试验台的所有组件。在三角形中,一个测试计划由一系列步骤指定的测试用例。在每个测试步骤中,有一组可配置的参数。可配置参数的值可以在外部测试计划;因此,它是可能的修改这些值执行测试计划之前,制造可以安排开发的执行使用一个外部实体。通过这种方式,可以使用丝锥的细粒度与不同设备的交互控制平台,同时保持一个独立的,上层通用测试用例的编制。

Python已经被用于实现逻辑上利用决定特定的值在测试计划中配置。这个决定是基于信息存储在YAML配置文件。YAML文件包含的值的参数中指定测试用例。

Python是一种现代编程语言的一个大型社区的开发人员,继续改善夹杂物的新的内置模块和功能在每个后续版本。此外,有大量可以使用开源框架和库适合常见的需求。这可以促进发展平台的组件,例如,通过使用Python的标准库定义的REST API(具象状态传输应用程序编程接口),支持不同组件之间的通信。

由于Python是一种解释语言,也可以迅速修改代码,而无需一个单独的编译阶段开发的机器,可以大大降低测试的复杂性和解决简单问题所需的时间。

图2显示了一个更详细的视图的主要功能块组成三角形的测试框架。架构可以分为几个子系统,将在本节简要介绍了其作用。

最终用户通过门户访问三角形试验台(14]。在这个门户,他们可以上传测试下的应用程序。此外,他们将不得不宣布他们的应用程序的功能或功能。这些特性将定义我们可以测试和测试用例规格将适用的测试应用程序。除了应用程序特性,最终用户必须提供额外的信息;例如,他们必须选择设备的应用程序将在测试期间执行和场景(网络和传播条件,例如,行人和车辆的场景)。

为了提高利用三角形的试验台,可以队列几个活动执行。这些活动将先后执行实验,避免空闲时间在等待用户开始另一个活动的执行。这是通过调度器实现层之间的门户和Orcomposutor三角形。

ORchestrator-COMPOSer-execUTOR (Orcomposutor),在Python中,实现与REST API是一个服务器运行在Windows机器上一样。

一旦所有所需的信息已经进入门户中,三角形的实验最终用户可以进行测试。第一步是把收集到的信息并将其转化为可执行的测试计划。这是测试计划的任务Orcomposutor。根据应用程序的特性介绍了门户测试下,Orcompusutor将生成适用的测试计划。

创建所需的测试计划,Orcomposutor使用预定义的开发测试计划模板。水龙头测试计划中扮演相同的角色,TTCN3的实现定义的测试用例3 gpp认证的移动协议的实现15]。如果可能,Orcomposutor将利用两个水龙头特性:暴露参数的能力测试步骤的外部调用者和一个测试步骤,允许另一个测试计划的执行。图3显示了一个示例的测试计划。测试计划是由一个测试计划参考包含测试的网络配置。剩下的测试步骤用于配置和控制试验台的组件。在图的右边3公开的,可配置的参数测试步骤所示。

例如,许多测试计划将首先建立网络场景和配置所需的参数的实验设备。这个设置是一样的,无论身体的测试计划。因此,Orcomposutor重用现有开发测试计划配置特定的网络场景。

为应用程序测试,测试计划的主体通常包括重演中包含的用户操作应用程序开发人员提供的一个应用程序用户流。Orcomposutor得到的应用程序用户流的门户,并设置相应的外部参数WebDriver回放测试步骤。WebDriver工具用于自动测试与应用程序交互(点击按钮、滚动)。

kpi的Orcomposutor也意识到要测量每个生成的开发测试计划。如果需要的话,测试计划应该提供显式支持执行测量所需的kpi。例如,如果一个测试计划将有助于对功耗KPI,功率分析仪必须配置和使用的测试计划。

每个水龙头Orcomposutor创建的测试计划可以执行在试验台使用自来水。水龙头测试计划包含所有所需的信息自动执行测试。

在开发测试计划的执行,测量工具将收集测量。完全集成的测量工具与开发将发布他们像往常一样。在这种情况下,结果将由挖掘结果侦听器,将它们发送到中央OML服务器(16]。这OML服务器使用一个PostgreSQL数据库服务器来存储测量。一些工具可能包括OML支持,因此把他们直接测量OML服务器。

的主要职能Orcomposutor可以概括如下:(我)接受测试的活动执行请求的门户。(2)组合运行测试所需的开发测试计划活动和测试用例(3)水龙头测试计划执行(iv)上传的结果执行到门户

执行这些函数,Orcomposutor需要沟通与门户的REST API和OML数据库。

请求执行一个测试活动只包括标识符的活动。Orcomposutor使用id来请求更多信息测试活动后端使用REST API。这些信息是用来确定哪些测试用例或测试用例必须执行。一个测试活动可能包括多个测试用例;在这种情况下,Orcomposutor将准备多个开发测试计划的执行。

开发测试计划包含多个外部参数和测试计划引用必须在执行之前可以开始填写。Orcomposutor必须从后端REST API检索适当的信息,以填补这些空白(图3),比如设备测试用例中使用的id或网络场景。我们所说的选择参数和引用开发测试计划测试计划的构成。

一旦开发测试计划已经组成,它可以执行与水龙头CLI(命令行界面)。Orcomposutor将存储水龙头日志,以及内部日志用于诊断目的。

4所示。自动化测试平台

在本节中,我们介绍了利用插件实现试验台的控制每一个组件。插件包含测试步骤中使用的开发测试计划如图3。节3介绍了利用及其使用的音序器的操作配置和控制组件。图4显示了软件接口(点击插件)开发测试框架和基础设施组件通信。

在水龙头,乐器是一个逻辑实体,封装了与物理仪器。至少,一个开发工具必须定义所有必要的逻辑连接和断开水龙头主机与真正的乐器,和一个最佳实践是定义方法来执行每一个可能的(或要求)仪器可以执行的行动。

例如,利用仪器实际电源通过控制计划必须包括两个方法(开启和关闭),创建和发布与仪器的连接,可以有两个额外的设置电压和电流的方法。

仪器广泛应用于开发步骤,使仪器的功能最终用户。继续前面的例子,我们可以定义这个乐器的两个步骤:关闭输出功率,电压和电流设置为0,和另一个集电压和电流使用选定的值由用户在测试步骤配置。水龙头会自动使用工具在需要时打开和关闭方法。

许多组件提供一个计划将接口接收命令。利用提供支持为SCPI-based编写驱动程序组件,这样有利于增加组件的工作。是这样的司机UXM和功率分析仪的应用程序运行在相应的硬件单元。在这两种情况下,计划将命令通过一个TCP连接。

Android应用程序,亚行命令行工具是一个基本组件。亚行可以用来发送命令的应用程序运行在问题或自动执行某些操作,如飞机模式切换和关闭,迫使附件问题的基站。一些问题的自动化工具的实验的一部分,如Quamotion WebDriver,使用ADB来执行其功能。

Quamotion WebDriver提供了一个REST API来管理Android设备上的应用程序和执行用户操作,如利用或刷。这些命令是交付给Android使用ADB问题。通过亚行TestelDroid也是管理。

DEKRA TACS4工具是通过专用控制接口提供的管理工具。

EPC可以控制通过一组固定的TCL(工具命令语言)的脚本使用TCL脚本API提供的EPC组件模拟器。TAP驱动程序将执行这些脚本,然后发送适当的命令通过TCL EPC API。

所有探测器的测量收集和发送到中央OML(轨道测量框架和库)服务器,它使用一个自定义OML协议。有些工具可以直接发送测量OML服务器,利用协调器将使用一个驱动程序将允许发送测量到OML服务器从水龙头,在两个方面。首先,工具,生成结果的CSV(逗号分隔值)文件,司机将收集这些文件和发送测量到OML服务器。第二,司机将实现的标准开发机制处理结果司机,那司机已经集成了丝锥可以发布他们OML服务器没有额外的工作。

5。结论

三角形的主要贡献之一,项目的设计和开发一个测试框架,它自动地端到端配置和控制移动通信实验。测试框架是基于开发(测试自动化平台),一个强大的编辑器的测试序列,还包含一个插件的开发组件的SDK提供控制接口。

测试框架已经被证明是灵活的和可持续的通过整合大量的组件不同性质如跑(无线接入网络)设备、核心网络,仪器测量功耗、移动设备和软件工具作为探针。

此外,三角形测试框架是采用5创世纪项目(17)在实验中生命周期管理器组件的协调层5创世纪设施。5《创世纪》是一个项目致力于实现5 g的验证平台,将允许主要的5 g关键性能指标(kpi)。5《创世纪》项目是由五个平台:集成雅典,柏林,利马索尔,马拉加,萨里。

数据可用性

本文是关于三角形的主要输出项目之一,三角形的端到端自动化试验台。可以找到更详细的信息关于这个项目https://www.triangle-project.eu/project-old/deliverables/。特别是,自动化是WP3描述的可交付成果。乌玛是WP3领袖和伙伴负责自动化任务。

的利益冲突

作者宣称没有利益冲突。

确认

三角形项目由欧盟资助的地平线2020研究和创新计划(批准协议。688712)。5《创世纪》项目是由欧盟地平线2020研究和创新项目815178号根据授权协议。

引用

1. w·林,曾h . h .高,h .苗族和x王”测试序列减少无线物联网协议一致性测试,”安全性和通信网络ID 3723691条,卷。2018年,13页,2018。视图:出版商的网站|谷歌学术搜索
2. a . f . Cattoni g . c . Madueno m . Dieudonne et al。”一个端到端的测试生态系统5 g三角形测试试验台,”绿色工程杂志》第六卷,没有。3、285 - 316年,2016页。视图:出版商的网站|谷歌学术搜索
3. 公元Zayas, l . Panizo j . Banos c . Cardenas和m . Dieudonne“体验质量的评估:三角形的实验方法,”无线通信和移动计算卷,2018篇文章ID 6202854, 12页,2018。视图:出版商的网站|谷歌学术搜索
4. b . Blywis m·冈、f . Juraschek和j·h·席勒“趋势、进步和挑战在testbed-based无线网状网络的研究中,“移动网络和应用程序,15卷,不。3、315 - 329年,2010页。视图:出版商的网站|谷歌学术搜索
5. A Zubow和r . Sombrutzki”,一种低成本的MIMO网状试验台基于802.11 n,”学报2012年IEEE无线通信和网络会议(WCNC),页3171 - 3176年,巴黎,法国,2012年4月。视图:谷歌学术搜索
6. Marco Alaez r . j . m . Alcaraz Calero,问:王et al .,“基于开源的试验台多工位4 g / 5 g基础设施共享在虚拟环境中,“无线通信和移动计算卷,2017篇文章ID 1984314, 11页,2017年。视图:出版商的网站|谷歌学术搜索
7. C.-K。Jao彭译葶。王,T.-Y。叶et al .,“智慧:系统级仿真器5 g移动网络,”IEEE无线通信,25卷,不。2,4 - 7,2018页。视图:出版商的网站|谷歌学术搜索
8. 欧盟H2020“三角形项目可交付成果最终报告2.2 d认证过程的规范化,需求和用例,”2017年,https://www.triangle-project.eu/project-old/deliverables/。视图:谷歌学术搜索
9. E7515A UXM”无线测试集入门指南”,2017年,https://www.keysight.com/main/gated.jspx?lb=1&gatedid=2459161&cc=us&lc=eng&parentcontid=2371785&parentconttype=ct&parentnid= - 32909.0 &filetype=viewable。视图:谷歌学术搜索
10. TACS4性能测试平台,https://performance.tacs4.com/。
11. a·阿尔瓦雷斯,a·迪亚兹,p .美利奴,f . j . Rivas”实地测量与Android智能手机移动服务,”学报2012年IEEE消费者通讯和网络会议(CCNC)拉斯维加斯,页105 - 109年,NV,美国,2012年1月。视图:出版商的网站|谷歌学术搜索
12. Quamotion WebDriver,http://docs.quamotion.mobi/webdriver/。
13. 答:布鲁斯,a Kornstadt, d . Wichmann”与Selenium Web应用程序测试”,IEEE软件,26卷,不。5,88 - 91年,2009页。视图:出版商的网站|谷歌学术搜索
14. a . Diaz-Zayas a Salmeron莫雷诺,g .加西亚Pascual和p .美利奴戈麦斯,“三角形门户:远程实验的友好的用户界面,”智能工业&智能教育m·奥尔和r . Langmann Eds。,Springer, Cham, Switzerland, 2019.视图:出版商的网站|谷歌学术搜索
15. ES 201 873 - 1 V3.4.1 ETSI标准,测试和测试控制符号版本3;2008年第1部分:TTCN-3核心语言,Sophia Antipolis,法国,欧洲电信标准协会(ETSI)。
16. m·辛格·m·奥特i Seskar, p .令Kamat”轨道测量框架和库(OML),动机,设计,实现,和特性,”诉讼的第一台国际会议和研究发展的基础设施网络和社区(Tridentcom 2005)特兰托,意大利,2005年2月。视图:谷歌学术搜索
17. h . Koumaras d . Tsolkas g . Gardikis et al .,“5创世纪的起源一个灵活的5 g设施,”学报》第23届国际研讨会上计算机辅助建模和设计的通信链路和网络(CAMAD)西班牙巴塞罗那,页17日- 19日,2018年9月。视图:谷歌学术搜索

版权

版权©2019雅慕黛娜圣母Diaz Zayas等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。