一. 前言远程测试的优点已经无需赘述,在产品开发项目周期短暂,来回实验室时间及路费成本高昂,用户遍布各地难以邀约的情况下,远程可用性测试正在成为“实现传统可用性测试80%好处和70%效果”的佳替代品。在远程测试的实际可行操作中,第一步所要做的是搭建一个稳定,安全,且满足测试需求的测试环境。中文站用研组近在这方面进行了积极尝试,并得到一定成果。
图1:传统实验室可用性测试
二. 传统方式的远程测试系统搭建
在传统远程测试(图2)中,我们通常可以采用如下两种方式搭建测试系统:方法1:先让参与者在自己的电脑上安装屏幕共享软件的server端,然后主试通过viewer观看其操作,并在自己的屏幕上进行录屏。方法2:参与者远程连接到主试电脑并进行操作,同时在主试电脑上录屏。
图2:传统远程测试系统
与传统可用性测试(图1)相比,远程测试的好处是不言而喻的:
1. 招募参与者更容易,范围也更广。提高了邀约成功率,且潜在的参与者将从“居住或工作在测试地点附近的人”扩大到“任何有快速internet连接的人”,这意味着各地的用户均可参加测试。 2. 研究周期大为缩短。邀约成功率的提高,无需考虑参与者往返时间,以及可以在任意时间安排测试,这些都为整个项目开发节省下了宝贵的时间。 3. 在用户真实操作和使用环境下进行测试,更有利于发现实际问题。 4. 效果几乎相同。远程测试发现的问题类型和数量很可能与现场测试相同。 但这两种传统的远程测试搭建方法本身都有其缺陷和不足之处:第一种方法只适用于demo存在于线上,或者供测试的demo不存在保密方面的问题可以无阻碍的传送给参与者的情况(在实际商业环境的项目中这种情况很少存在);且参与者在共享屏幕前需要在自己的电脑上安装一个软件(webex或gotomeeting,有时还要进行相应的设置),这对于操作及计算机知识水平都较低的用户(恰恰是中文站的典型用户,相信在其他网站用户中也占相当一部分数量)来说存在着相当的顾虑和障碍(安装设置麻烦,担心有病毒等等),这在挑选参与者时又多出了一层限制,减少了邀约成功率,并且也相应延长了远程测试所需要花费的时间。第二种方法适用于demo存在于线上或公司内部的电脑线下环境里,但若直接让用户访问我们平日工作用电脑,将存在很大的安全隐患问题;且园区的办公网络环境存在特殊性(如外网IP统一等),在这种情况下,外部用户无法直接连接到公司内部的任何一台普通电脑。
三. 兼顾安全及易用的远程测试系统搭建
因此,在与IT及安全部门同事共同商讨后,我们采取了如下的系统搭建方式:
图3:改进后的远程测试系统
机房服务器:首先,我们需要申请一台服务器,放在机房,需要这台服务器内网能够访问到,并且有独立的外网ip(外部用户可以直接访问到)。 由此一来,安全性会有比较大的问题,因此还需要请IT或安全部门的同学服务器上做一些安全策略,并把guest的账户权限设到低(一般设置为只能开网页,不能对系统做修改)。另外服务器上需安装屏幕共享软件的服务端,以便内网的主持者或者观察者能够查看到。
参与者:对于用户来说,操作越简单越好,而且不要让用户安装额外的软件。因此,我们让用户使用windows自带的“远程桌面连接”,来连接到我们的服务器(使用权限低的test账户,每次测试完之后需更改密码)。在测试过程中可要求参与者使用网络视频或免提电话与主试进行实时沟通。
主试:主试电脑上需安装屏幕共享软件的客户端,同时连接到供测试用的服务器,以实现实时屏幕共享。同时主试使用网络视频或免提电话与参与者实时沟通,结合think aloud方法进行测试。
观察员:除主试之外,我们也可以让其他同事或项目成员通过屏幕共享软件连接到服务器,同时观察测试参与者的操作。在有观察者参与时,好在服务器端关掉屏幕共享软件的鼠标控制功能,以防观察者不小心干扰被试的操作。
小结:远程测试时,机房服务器,参与者和主持三部分必选,观察员可选。由“主持”发起,主持需要做以下操作:
1. 到服务器上改好test账户密码,再用test账户登录,开启屏幕共享服务 2. 告知用户test账户密码,让用户用远程桌面连接,或者传给用户“给客户”文件夹下的快捷方式“Default.rdp” 3. 本地打开屏幕共享软件客户端,指导用户操作,并观察。此时,观察者也可以用这种方式查看用户操作。同时可录屏(在主持者电脑录屏,不影响用户速度) 4. 远程测试结束后,用administrator登录,修改test账号的密码。 附 可供安装的软件:
屏幕共享:webex,pchelpware,gotomeeting,VNC,UserVue 远程控制:同上。上面的软件,再加上windows自带的远程桌面连接,基本都可实现远程控制和协作功能,使用软件的话只要开放server端设置中相关权限即可。但一定要注意安全问题。 屏幕录制(很多):camtasia,morae,webex,blueberry flashback,根据需要选择性使用