用户体验质量评估方法浅析

admin

本文摘自《移动通信》2012年13期。作者：王锐 严炎1 引言
　　近年来，随着我国电信业重组、3G牌照发放以及全业务运营战略的有序推进，特别是移动互联网业务的迅猛发展，我国电信运营企业再次面临业务创新策略、网络演进策略、产业整合策略乃至整个经营管理策略的全面调整，从而对通信网络运维提出了新的挑战。全业务运营的环境下，各大运营商的业务产品类型更加趋同，因此急需将网络运维管理的焦点从网络质量转移到以客户为中心客户体验。网络运维管理的对象不再仅仅是网络，更强调面向客户和面向业务的维护管理，即网络运行维护部门要成为各项电信业务、客户、企业客服部门和业务经营部门的强大技术支撑，面向业务计量和评价体系来调整运行维护部门内部组织机构的设置，强调运维向运营延伸，体现网络服务的理念。关注用户感知成为运营商的工作重点。改善用户感知，不仅可以帮忙运营商降低投诉率，还可提升客户的体验满意度，增加用户黏度。
　　常规的网络运营管理目标是服务质量（QoS）。QoS是网络和应用的衡量机制，用来保证用户的感受，其考核指标可在网络或应用中监测或监控。随着运维服务向运营延伸，网络运维的指标体系也由单纯追求QoS转向注重用户体验质量（QoE）。QoE可以理解为用户体验或用户感知，即终端用户对移动网络提供的业务性能的主观感受，其考核指标是用户对服务所作的定性评价，如：优、良、中、差、劣。其本身是一项综合指标，影响因素包括：客观因素，如源端内容质量、端到端的网络质量、承载通道的透明性等；主观因素，如用户期望、投诉处理、体验行为等。
　　2 目前网络监控存在的不足
　　目前通信行业对于网络质量指标的监控和分析已经非常成熟，但仍然存在着一些不足，具体表现在如下几个方面：
　　首先是大多数网络质量监控对象和获取的指标主要仍停留在单个的网元、逐段的链路，缺乏业务层面的全程全网的质量监控。
　　其次是监测到的大多是单个专业/网元的KPI，而非具体的用户体验的衡量，与真实用户体验相距甚远。以常见的“无线寻呼成功率”为例，具体指标的高低不一定能够真实反映用户体验。如一次用户通话过程中，在无线侧可能会出现多次寻呼失败，但最后一次寻呼成功，只要中间的时延足够地小，用户感知不到多次连接，用户的最终体验会比较好，而此时无线寻呼成功率不一定很高。而当无线寻呼成功率指标数值很高时，客户感知的业务质量也不一定很好，用户的体验还受到通话建立过程中其他网络（如核心网、数据网等）的接通率/质量的影响，如果其他协同网络的质量不足，用户通话质量也就难以提升。
　　3 网络运营管理能力的转变
　　越来越多的运营商已经认识到，传统的网络KPI并不能完全反映终端用户的感受。据相关资料统计：82%的用户离网是由于对产品或服务体验不满意，以及运营商无法有效地处理他们的投诉；平均每个不满的客户会将不满传播给13个人。由此，运营商网络运营支撑思路不能仍然停留在网络、网元层面，而应该逐步向客户、服务、体验转变。
　　首先，运营管理对象必须从网络向业务转变。传统的基于网元、网络性能的监控和分析已经研究得非常充分，但最终给予客户的是产品和服务。从面向用户出发，运营管理对象必须进行调整。
　　其次，运营管理模式必须从专业向全网转变。要打破现有以专业为主的监控管理模式和壁垒，为客户提供全专业、全网络的运营管理，从而提供端到端的业务质量体验。
　　再次，运营管理思路必须从监控向管理转变，由被动的网络性能监控，转变为主动的业务质量管理。监控的目的是为了发现问题，需要进一步提升支撑能力、预测能力乃至主动的管控能力。
　　基于上述目标，运营商必须进一步加强以客户为中心的业务QoE的监控和管理。由于其特殊性，QoE的建立方法和模型一直是各运营商及研发机构关注的热点，如何构建合理的QoE就成为首要解决的问题。
　　4 QoE评估的难度
　　广义的QoE不仅仅与网络质量相关，而且与用户使用的终端、所接受到的服务（如客服人员在业务宣传、办理时的方式态度、账单清单的清晰程度）相关。因此，一个全面的QoE模型，牵涉到网络、终端、用户和服务等多个复杂且难以量化的因素。
　　一般为简化QoE模型的建立，首先需要排除一些难以量化和监测的因素（如用户及运营商所提供的售前、售后服务等），仅将用户终端（也可以排除）和网络环节作为重点考察因素。
　　以彩信业务为例（如图1所示），一条彩信的成功发送和接收包含手机、无线接入网、GPRS网络、WAP网关、彩信中心及底层的数据承载网等多个环节的协同配合；如果细分下去，还会包含如路由器、防火墙、交换机、各类服务器等具体设备，因此彩信业务的QoE模型的建立就非常复杂。
　　5 QoE评估方法
　　文献[1]提出的一套KPI/KQI设计思路与架构，提供了自KPI向KQI的由下至上的评估方法以及相对应的服务质量管理模型。但这个模型仅仅提供了QoE的评估思路，具体如何实现还有待进一步细化。
　　基于长期的运营商业务网络监控和分析经验，在TMF GB 923的基础上，本文提出一种QoE评估方法。QoE评估过程的进一步细化，可以按照如下五个步骤开展：
　　（1）分析研究标准规范
　　主要是根据相关标准规范（例如GB 923），研究QoE的定义方法和原理，对具体的业务实现层次和流程进行细化，建立起QoE评估的初步思路。此部分为后续的QoE相关指标的定义和测算提供原则性的指引，可以采用向上汇总和向下挖掘的思路确立指标。
　　向上汇总：通过合理的评估算法生成业务质量KQI，选择重点、具有较大影响力的KPI参数作为KQI的基础，关键指标如：PDP激活成功率、掉话率等，非关键指标如：CP负荷、端口利用率等。
　　向下挖掘：底层KPI可以来自多种途径，不限于网元设备，例如网络性能数据、拨测类数据、信令数据等。KPI数值高低并不能指示业务质量的高低，例如2台设备互备情况。
　　（2）确定QoE/KQI指标

针对具体的业务，通过专家讨论、用户访谈调研，确定本业务的用户体验QoE指标，映射到相应的业务性能KQI指标。考虑到QoE指标的建立需要体现用户的感知，独立于网络具体实现，体现端到端的业务体验，结合图2，业务性能KQI指标是关键。KQI的建立需要综合用户侧体验和业务网络实现具体而定，否则容易陷入过于抽象、无法实现或者过于具体、无法体现用户感知的困境，一般可以参考的指标有业务可用性、时效性、准确性和安全性等。
　　（3）确定底层KPI
　　确定QoE/KQI后，进行逐层分解，自业务层细化到各个具体实现的网络层，如涉及到的网络类型、各个组成网络的架构组织、实现方式等。由网络层继续向下挖掘到网元层，包含每个网络中的网关、路由器、交换机、存储的具体KPI参数，如CPU负荷、流量负载、时延指标等。
　　图3所示为QoE-KQI-KPI的映射关系示例：
　　（4）建立QoE评估算法
　　业内对QoE算法提出了诸多实践和研究，主要有以下几种算法：
　　加权平均法：KPI归一化成分数，并赋予不同的权值，最终得到父节点的分数。该算法还可细分为算术平均法、最小值法、普通加权法等。
　　模糊评判法：对被评判事物的变化区间做出划分，可以顾及对象的层次性，使得评价标准、影响因素的模糊性得以体现。通过选取因素集、确定权重集，逐步得出待求集，从而模糊评判QoE指标的映射关系和权重值。
　　数据挖掘算法：通过学习建立初始的模型，然后经过大量的案例训练，调教模型使之更加优化，最终达到智能化的输出结论，例如神经网络算法等。
　　（5）QoE评估验证优化
　　对于QoE的实现，笔者通过长期的研究认为，更重要的是考虑算法的适用性，并非最复杂、最全面的算法才是最优算法。建议通过多种算法的实际模拟，选择最适合用户体验的QoE评估算法。评估算法也不是一成不变的，相关参数也需要在业务发展过程中不断进行验证和优化调整，例如可以采用真实环境/模拟环境下模拟测试、用户问卷调查等方式进行验证，从而不断适应用户体验，达到最佳效果。
　　6 结束语
　　本文在分析网络运营管理面临的调整的基础上，从对象、模式和思路三个方面提出了网络运营管理的转变思路。针对具体案例说明了用户体验质量模型建立的复杂性，在TMF GB 923的基础上进一步细化，提出了建立QoE评估模型的方法；通过此方法，原则上可以对任何QoE模型的建立提供细化的指引。
　　由于QoE容易受到客观和主观的因素影响，如业务类型、网络结构、运营商提供的服务等，此方法还需要针对具体的场景进行部分修正，但仍不失为具有普适性的用户体验质量评估方法。对于此方法的不足，例如如何选取评估模型的算法、对服务体验的量化等问题，还有待进一步研究。
　　参考文献：
　　[1] TMF GB 923 V3.0. Wireless Service Measurements Handbook[S]. 2004.
　　[2] ITU-T Rec E.800. Terms and definitions related to quality of service and network performance including dependability[S]. 1994.
　　[3] 杨燕. 浅析移动通信网络中的QoE[J]. 电信科学, 2007,23(8): 34-38.
　　[4] 刘枫,雷振明,刘芳. 用户感知的Web业务QoS指标与测量[J]. 北京邮电大学学报, 2009,32(2): 97-100.
　　[5] 杜建华,鲁士文,张方风. 移动服务质量管理中的KQI定义方法研究[J]. 计算机系统应用, 2008(9).

tonyhe

上半年在上海联通做客户感知，和竞争对手HW一起。当时对指标的算法采用的是加权平均，而且参数都是可以自由调节的；但是由于要做到全网全用户的实时性，我们的底层数据采集来自多个口子，这样经过多个阶段，而且是大数据量，结果不是很准确，最后败走麦城。其实这一块还是有很大研究前景的。