用户体验质量测试是IPTV成功的关键要素

摘要：随着IPTV业务的部署，电信运营商的网络设施（包括宽带接入、汇聚和核心网）发生了巨大的变化。由于IPTV网络设施、协议和业务的复杂性，运营商在日常的网络开通、维护工作中面临着许多新的挑战，而保障良好的用户体验质量（QoE）是IPTV业务得以成功发展和推广的关键所在。本文在分析了IPTV设备和网络生命周期各个阶段的测试需求的基础上，提出了一整套全面的IPTV QoE测试技术和解决方案，并介绍了其在IPTV设备研发、网络部署和维护中的应用。 1 IPTV业务发展所面临的挑战 随着IP网络和应用的迅速发展以及电信市场竞争的日益加剧，全球的各大电信运营商正掀起一股股IPTV网络建设和三重播放业务发展的热潮。IPTV可堪称是继90年代末电信运营商部署光纤之后的又一次进行大规模资本投入的唯一动力，它将有助于有线电信运营弥补由于长途电话业务不断萎缩所造成的巨额亏损。据预测，到2009年全球IPTV业务的收益可达440亿美金。而在IPTV的竞赛中落伍者将很难得以持续发展和生存。为了能够在激烈的竞争中获胜并盈利，IPTV运营商面临着众多的挑战，需全面考虑各方面的因素，以最小的风险快速地进入并占领市场，其中包括：遵循政府的有关法规制度；降低总拥有成本(TCO)；降低集成和测试成本；提供高服务质量（QoS）的语音、图像和数据业务；保证终端用户的体验质量（QoE）；支持更新、更高级的服务（如：VoD和基于需求的广告播放等）。 作为一种数字视频业务，IPTV必须同传统的有线电视竞争。由于人们已经习惯了有线电视低廉的收费标准、不中断的业务可用性和快速的频道切换时间，因此如何保证IPTV用户体验质量能达到（或超过）有线电视就成为IPTV成功的关键要素，其中主要包括清晰的视频图像质量和快速的频道切换时延等。而另一方面，由于IPTV需采用组播方式进行业务发布，这促使电信网络设施（包括宽带接入、汇聚和核心网）发生了巨大的变化，要求网络能支持高度分布式的信令架构、各种新的组播协议和更完善的IP QoS控制体系。而这些变化势必也会给运营商在IPTV网络的管理、维护和测试上带来了许多新的困难和挑战，例如：如何客观地评价和测量终端用户的体验质量（QoE）？如何准确测量频道切换时延？VoIP和数据业务是否影响IPTV的服务质量 (或三者互相影响)？用户鉴权是否正常工作？ 如何快速诊断IPTV网络中的故障？IPTV网络设施是否能够满足将来用户和流量增长的需要? 2 IPTV设备和网络生命周期各阶段的测试需求 针对以上IPTV网络建设、管理和维护所面临的挑战和问题，设备厂家和网络运营商十分迫切地需要一整套全面的IPTV测试技术体系和解决方案，在IPTV设备和网络生命周期的各个阶段（包括研发、设备集成、网络规划、安装、开通和运营维护）统筹、有效地对IPTV QoS和QoE的各项指标进行测量，不断增强网络设备的性能、迅速诊断和解决网络故障、优化网络性能，从而改善和提高IPTV用户体验质量。 2.1 对IPTV网络设备的QoE性能验证 随着IPTV网络运营商对用户体验质量的日益关注，网络设备制造商也在极力设计并测试可在IPTV网络中提供出色的服务质量（QoS）和用户体验质量（QoE）的设备。 在以往的网络设备性能测试中，人们通常只关注设备自身的转发性能和IP服务质量（QoS），如吞吐率、丢包率和时延等指标。在实现方式上，网络设备一般通过将不同的优先级策略应用到不同业务类型的流量上，以确保每种业务流均以最适当的方式被处理。例如，话音流对延迟非常敏感，所以通常给予较高的优先级；而数据流（例如文件传输或电子邮件）对实时性要求不高，因此可以赋予较低的优先级。而三重播放的消费者通常不会关注流量的优先级和数据包丢失的个数，他们更在意的是VoIP通话是否清晰，IPTV节目是否流畅，图像是否清晰。从这个角度看，如何保证用户体验质量才是网络设备研发和测试时，真正需要考虑的关键要素。因此，网络设备制造商必须在实验室中就严格测试其IPTV设备，模拟真实的网络环境和用户业务流特征，并制定出QoE测量的方法和指标。 在三重播放业务中，由于视频流不但对网络带宽的要求高，而且对时延抖动和数据包丢失的容限低，这就对网络设备提出了独特要求。为了有效评价网络设备对IPTV业务的支持能力，可以采用RFC 4445标准所定义的媒体流传输指标（MDI），在网络层上衡量预期的用户视频体验质量。它不受视频编码方案的影响，是一种简单、可扩展的测量方案，可以在一定程度上替代对视频本身进行解码和检验的MPQM和V参数等测量方法。在本文的3.2.1章节中还会进一步介绍MDI的详细指标和应用。 在IPTV网络中，网络设备通过组播来向用户传送IPTV节目流，终端用户的机顶盒采用IGMP（因特网组管理协议），通过离开和加入不同节目所对应的组播流来切换频道。显然，机顶盒离开和加入组播流的速度将直接影响用户的频道切换体验质量。如果用户期望的频道切换时延在一秒钟左右，则在端到端IPTV路径中的每个网络设备所能引入的时延应不超过100毫秒。因此，对于支持IGMP协议的网络设备的频道切换的性能验证是IPTV设备评估必不可少的测试项目。 此外，为了确保IPTV网络设备能在真实网络中稳定运行并提供所要求的QoE性能指标，还必须在实验室环境中对其进行各种极限测试。例如，可以用测试仪表向被测设备模拟产生上百路的IPTV组播流，同时模拟上千路的用户对这些组播流进行访问，并测试MDI和频道切换等各项QoE指标，从而验证网络设备是否能达到规模建网的基本要求，并满足将来不断增加的IPTV用户数量和流量的需求。 2.2 IPTV网络的开通测试、QoE监测和故障诊断 在设备研发阶段，在确保了单个设备能够达到设计所要求的各项技术指标之后，并不一定能保证建成后的IPTV网络能提供端到端的服务质量和良好的用户体验质量。由于真实的IPTV网络环境将会更为复杂，用户体验质量会受多方面因素的影响。 在IPTV建网初期，主要需要解决系统集成和设备的互操作性问题。端到端的IPTV业务的提供会涉及四个主要的设备系统，包括视频前端（存储应用和节目内容）、传输网络（包括核心网、汇聚和宽带接入网络）、中间件（控制通过网络将电视内容和互动服务从前端传输到用户家中的软件）和客户端设备（安装在用户家中并与电视连接的机顶盒）。既使以上所有系统都能单独正常工作，当它们整合在一起构成一个网络时，由于设备之间的兼容性问题、参数配置不匹配和网络线路质量等因素，都可能造成端到端的用户体验质量问题。在这一阶段，主要的测试内容包括：使用物理层光纤和线缆测试仪表对传输线路进行性能认证测试；使用IP网络性能测试仪进行端到端IP承载网QoS评估测试（可基于RFC 2544标准）；使用IPTV协议分析仪对关键的设备接口进行协议监测，包括：IGMP、PIM-SM/SSM、RTP/RTCP、HTTP MMS和RTSP等，从而迅速排除设备之间的互操作性问题；并可对IPTV的各项QoE指标进行全面评估测试和报告生成，以便作为评估将来网络QoE指标变化的参考依据。 在IPTV网络运营阶段，随着时间的迁移，网络设备和线路将逐渐损耗和老化，IPTV用户数量将不断增加而使得网络流量增大，各种新业务内容的引入会使得网络流量组成更为复杂，更多IPTV终端类型的引入会造成新的兼容性问题。所有这些因素，都会使得IPTV用户体验质量保证变得更复杂和更具挑战性。而另一方面，市场竞争将会逐步激烈，为了留住老用户和吸引更多的新用户，用户体验质量也就变得更为重要了。在这一阶段，网络运营商往往需要部署IPTV监测系统，来保证网络QoS和用户体验质量。IPTV监测系统需具备以下功能特点： *采用高性能的硬件探针进行100％的IPTV流量捕获，能对上百路的IPTV组播流进行实时的QoE/QoS指标统计和分析。 *硬件探针应具有分布式部署能力，可通过GPS或NTP机制实现不同地理位置的探针之间的时钟同步。 *如图1所示，在IPTV的网络关键位置（如视频前端的输出接口、IP核心网、汇聚网和宽带接入节点）部署探针，并能将这些不同位置所采集的QoE/QoS数据进行汇总和关联分析，从而便于定位造成用户体验质量下降的瓶颈网段或节点。 *能够对IPTV终端用户的体验质量进行准确的测量，包括视频图像质量和频道切换时延等。若关键的业务质量参数发生劣化并超过设定门限时，系统能及时产生告警以通知网络管理维护人员。 *可提供一系列故障诊断工具，由上而下地逐层分析造成QoE指标下降的根本原因，包括：视频MOS、MPEG TS传送码流告警（根据ETSI TR 101–290标准）、RTP/RTCP QoS（如丢包率、往返时延和抖动等指标)、UDP/IP和以太网等各层的健康指标统计、1－7层的协议解码。 *支持多用户操作架构，多个网络工程师可以通过客户端软件接入到连接硬件探针的多用户服务器，同时进行实时的数据采集和各种测试分析操作，从而可充分发挥硬件探针的使用效率，提高测试系统的投资回报率（ROI）。   图1：分布式IPTV监测系统的部署示例 2.3 诊断家庭网络导致的IPTV体验质量问题 IPTV服务运营商在保证了自身网络的性能和服务质量之后，还不能完全确保用户获得理想的体验质量。这是因为终端用户的家庭网络也是端到端IPTV系统中的一个关键组成部分，其中可能存在各种各样的问题，如机顶盒同网络兼容性问题、终端故障或配置错误、家庭网络布线问题、其它IP业务（如数据和VoIP）对IPTV的影响等。在运营商排除了IPTV网络设施种存在问题之后，若仍然无法解决用户的投诉时，则需要携带IPTV手持式仪表到用户家里去进行故障诊断和排查。IPTV手持式仪表应具备以下功能特点： *支持对ADSL线路各项指标的分析，如噪声、频率、电平和损耗等； *支持对以太网布线系统的认证测试，验证家庭网络布线能符合IPTV业务的基本要求； *可模拟标准的IPTV终端设备，从而替代用户的机顶盒，进行故障隔离； *支持IPTV 的用户体验质量（QoE）测试，包括：MDI, MOS 和频道切换测试等； *支持基于 IP/RTP的视频 QoS测试，包括：丢包率、抖动等。 3 IPTV QoE测试技术 3.1 视频QoE同QoS的对应关系 用户感知到的视频服务质量（即用户体验）容易受到多种因素的影响，如IPTV的收费价格、用户的期望值、用户个性化行为、网络性能和业务质量等。从技术层面分析，影响IPTV视频服务质量的因素主要包括四个组成部分：视频内容质量、IP网传输质量、视频传送流（MPEG TS）质量和用户互动质量。如下图所示，它放映了用户体验（QoE）同视频QoS指标的对应关系。   图2：IPTV视频QoS和QoE的对应关系 视频图像质量（由上图中的前三项组成）和用户互动质量（如频道切换性能和VoD命令响应时延）是构成总体IPTV用户体验质量的两个基本领域。因此，如何准确、客观地测量这两项用户体验指标，并将QoE指标同网络QoS指标有效地对应起来，是十分值得我们去深入探索和研究的。有了客观的QoE衡量指标和测试方法，就可以准确了解终端用户的体验，通过将QoE指标同网络QoS指标有效关联，就可以知道从何处入手来查找故障和优化网络性能，从而进一步改善用户体验质量。 3.2 视频图像质量测试 目前，业界还没有用于客观视频质量评价的统一国际标准，这就给IPTV测试设备的实现提出了挑战。根据图2中的视频QoS模型，我们了解到可以从三个层面来进行视频图像质量测量。其中视频内容质量主要受端设备（即视频编码服务器和机顶盒）编解码质量的影响，IPTV网络本身不会对这部分内容造成额外的影响。在本文中，我们主要侧重在对与IPTV网络损伤相关的视频质量参数的测量和分析。 3.2.1 媒体流传送指标（MDI）的测试 IPTV用户的数量增加以及其它三重播放（如VoIP和数据）业务流量同IPTV相互争夺有限的网络资源，都会对IPTV数据包转发的及时性和准确性产生重大影响。由此导致的网络故障（包括数据包丢失和序列错误、延迟和抖动等），都会对视频质量造成各种有害的影响，如马赛克、图像模糊、边缘失真、颤抖和视觉噪声等。为了反映IP传输网损伤对IPTV媒体质量的影响，IETF RFC4445标准定义了媒体流传输指标（MDI），此标准也被IP 视频质量联盟（IPVQA）所采纳，成为业界在IP层上测量视频媒体质量的主流技术。 在MDI标准中主要定义了两个参数——即延迟系数（DF）和媒体丢失率（MLR）。因此，通常MDI由两个数字显示，并用冒号隔开。例如：4.22:0.01（DF:MLR）代表时延系数为4.22毫秒，媒体丢帧率为0.01帧/秒。 延迟系数（DF） 为了解MDI延迟系数，有必要重温一下抖动与缓冲之间的关系。当IP数据包在网络中传输时，会被各种网络设备进行排序、路由和转发，由于各种原因（例如大量P2P流量、文件下载和VoIP通话）都可引起网络瞬时拥塞，从而导致数据通过网络的时延变化，这就是所谓的时延抖动。由于到达的IPTV数据流的瞬时速率与机顶盒的处理速率不一致，那么数据包必须先在机顶盒中进行适当的缓冲后，然后在再以恒定的速率送至视频解码引擎。抖动越严重，需要消除抖动的缓冲器就越大。但是，采用较大缓冲器的代价是引入较大的延迟。另外，由于缓冲器的大小有限，过大的抖动会导致缓冲器上溢或下溢，从而导致媒体数据包的丢失，用户看到的视频就会时断时续，并且图像出现失真。 MDI的DF是一个时间值，它表示缓冲器必须包含多少毫秒的数据才能消除抖动。延迟系数可反映视频是否会出现图像失真，从而在一定层面获得用户体验质量。延迟系数还可确定每个网元在视频流传输路径中的影响。通过比较流入设备的DF与流出设备的DF，可确定该设备是否注入过多的抖动以至于影响视频传输。根据机顶盒缓冲区的大小，可接受的延迟系数（DF）一般在9-50毫秒。 媒体丢失率（MLR） 媒体丢失率可以简单定义为每秒钟丢失（或非正常）的媒体数据包的数量。对非正常数据包的检测非常重要，因为许多设备往往不对接收到的数据包重新排序，而直接将其发送到解码器。任何数据包丢失（即出现非零MLR时）都会对视频质量带来不利影响，并造成视觉失真或异常以及不均匀的视频回放。一般情况下，可接受的媒体丢失率（MLR）如下表所示： MDI在IPTV网络监测中的应用 MDI可用于定位和表征对媒体质量和用户的体验质量造成不利影响的网络故障。如果在传输网络的中间点跟踪MDI，则DF和MLR要素在连续网络元素之间的差值可以帮助迅速隔离潜在的问题或已经存在的损坏。如果在IPTV数据流路径中的前一跳（Hop）的MLR为零，而经过某路由器后引入了一个较大的MLR，这就明显表明该路由器中存在性能问题，例如缓冲器上溢或数据包遭到破坏。同样，如果延迟系数DF在两个连续跳跃（Hop）中的变化非常明显，表示由于数据包拥塞而造成较长的队列延迟，这种情况还可预警即将发生的数据包丢失。 3.2.2 对视频传送流（MPEG TS）质量的监测 MPEG TS传送码流用于在各种不同的传输介质（如DVB、ATM、IP网络）上承载和传送视频基本流（ES），其中包含了各种用于视频流解码所必须的信息内容，例如：节目相关表格（PAT）、节目映射表格（PMT）、节目标识（PID）、节目参考时钟（PCR）等。由于MPEG TS流的损伤会直接影响机顶盒的正常解码和视频质量，因此TS流的健康状况监测对保障IPTV用户体验质量也是十分重要的。早在MEPG2 DVB系统中，ETSI TR101 290标准已对MPEG TS流的健康指标进行了详细的定义，它包括三个优先等级的事件：等级1中定义了会对视频业务造成严重影响（如业务完全中断）的事件，例如TS流同步丢失、同步字节错误、PAT/PMT表格错误等；等级2中定义了会对一部分视频业务造成影响的事件，例如PCR时钟偏离、CAT表格错误等；等级3中所定义的事件不如前两个等级那么严重，它可能会对一些特定的业务或应用造成影响。因此，按ETSI TR101 290标准的等级1和2指标，对IPTV上的MPEG TS流进行的监测是必不可少的。 3.2.3 对视频MOS的测量 对视频MOS的客观测量和评价是一个非常复杂的研究课题。虽然有许多研究机构和组织向ITU提交了关于客观视频MOS的测量建议，但ITU目前还没有定义出统一的关于客观视频MOS测量的国际标准。根据测量方法的不同，客观视频MOS测量可分为主动式（全参考模型）和被动式（无参考模型）两大类。 主动式视频MOS测量采用测试仪表向被测设备或网络发送一个标准的参考视频流文件，然后接收经过被测设备或网络后的视频流文件，通过一定的算法比较这两个视频流文件的差异，可计算出视频MOS分值（1－5分）。这种全参考模型的测量方法一般比较复杂，计算量较大，测试结果也相对比较准确，它适合于在实验室环境对视频编解码设备做功能性验证测试。 被动式视频MOS测量则采用测试仪表对网络中的实际视频流进行监测和捕获，然后对其数据流特征进行分析，并给出MOS分值。用这中无参考模型的测量方法进行准确、客观的MOS计算的难度更大，目前这方面的国际标准的制定工作还比较滞后。而另一方面，被动式视频MOS测量对监测IPTV网络和用户体验质量的意义更为重大，为此安捷伦实验室专门研究了一套基于神经网络模型的被动式视频MOS测量方法。该测量技术能够根据发生在IP、MPEG TS和图像层的各种损伤情况，预测出它们对视频MOS分的影响程度。此外，它还将该算法所计算的MOS分值同全参考模型计算的MOS分值进行校准，从而进一步提高了算法的准确性。由于该算法还充分考虑了发生在不同MPEG帧（I、P、B帧）的IP丢包对视频质量所产生的影响，因此它在MDI测量的基础上，可更准确地放映IPTV网络损伤对用户视频质量感受的影响。由于它采用了简单、轻量级的实现算法，因此可以允许测试仪表同时对上百路的IPTV视频流同时进行MOS计算。目前，安捷伦科技公司已对该视频MOS测试技术申请了专利，并应用到了安捷伦的J6900A三重播放分析仪产品中。 3.3 IPTV频道切换性能测试 用户能否快速、准确的切换频道也是影响IPTV用户体验的重要指标。有线电视技术本身决定了其频道切换是非常快速的。对已经习惯了有线电视节目快速浏览的用户来说，他们势必期望IPTV的频道切换速度应该是同有线电视类似的。一般而言，人们可接受的频道切换延迟时间应维持在1秒之内。若频道切换时延在100－200毫秒，则给用户的感受是“瞬间”（即非常快）的。 频道切换的延迟主要来自于网络设备（如B-RAS、DSLAM和汇聚交换机）和机顶盒。由于机顶盒内部的切换命令处理、缓冲延迟、MPEG解码器时延和视频缓冲时延等因素，它一般会引入几百毫秒的时延。好在端到端IPTV路径中只有一个机顶盒，并且机顶盒的大部分功能是通过硬件来处理的，因此机顶盒所引入的频道切换时延是相对稳定和可重复的。由于IPTV采用组播协议作为频道切换的技术，IGMP协议的离开和加入时延才是频道切换延迟的主要来源。为了确保频道切换总延迟在1秒钟之内，每个网络元器件的组播离开/加入延迟必须保持在10到200毫秒之间。 如下图所示，一般的IPTV测试仪在计算从频道1切换到频道2的时延时，只是考虑机顶盒发出IGMP离开（频道1）命令到收到频道2的第一个MPEG图像帧之间的时延（即T1）。然而，这个测量结果不一定能准确反映用户真实感受到的频道切换延迟。因为机顶盒只有在收到MPEG TS流中的第一个PAT（节目关联表格）后才能开始视频解码，所以T2（即IGMP离开命令到第一个PAT帧之间的间隔）才更能更准确地反映用户的真实IPTV频道切换体验。   图3：IPTV频道切换时延的测量 此外，在监测IPTV频道切换时延时，除了测量平均时延之外，还应测量最大、最小时延和时延的分布统计。为了确保用户有好的频道切换体验，IPTV频道切换时延分布应尽可能集中（即要求时延值保持稳定）。如果频道切换速度时快时慢，用户将很难把握应按怎样的频率来按遥控器的按钮，才能准确切换频道。 4 IPTV 测试解决方案和应用 根据对IPTV设备和网络生命周期各阶段的测试需求分析，我们可将IPTV测试工具分为以下三大类： *IPTV网络设备性能测试仪（如安捷伦的N2X仪表）——可模拟产生复杂的三重播放业务（数据、VoIP和视频）流量，主要用于对IPTV网络设备进行性能极限测试，验证IPTV设备在不同流量负荷情况下的各项QoE指标（如MDI和频道切换时延）； *IPTV网络监测仪表和系统（如安捷伦的J6900A三重播放分析仪）——在IPTV网络的关键位置（如视频前端输出口、核心网、汇聚网和宽带接入节点）进行实时QoE和QoS指标监测，优化IPTV网络性能和进行分布式网络故障诊断； *手持式IPTV测试仪（如安捷伦的Framescope Pro测试仪）——主要用于端到端IP网络QoS性能测试，以及对IPTV家庭网络中存在的QoE问题进行故障查找。以下表格是各类产品在IPTV设备和网络生命周期各阶段中的主要应用说明。 5 结束语 目前IPTV网络标准、技术和产品都已日趋成熟，政府部门对于IPTV业务的管制政策也在逐渐放开，国内外主要的有线网络电信运营商都正在积极进行IPTV商用（或试验）网络的建设和运营，为IPTV网络的大规模开通和部署积累经验。相信在不久的将来，IPTV必然会成为电信网络建设的主流，它将推动各种三重播放新业务的发展，从而丰富人们的娱乐生活，进一步推进信息化社会的发展。然而，IPTV在设备研发、系统集成、开通和维护等方面都面临着许多新的困难和挑战。通过对IPTV设备和网络进行有效的用户体验（QoE）性能验证、监测和故障诊断，可以帮助网络运营商和设备厂家更快速、高效地实现对IPTV网络的建设、管理和维护工作，从而推进IPTV产业的健康发展和走向成功。