如何开展可用性评估和研究

如何进行可用性评估和研究
报告框架
什么是可用性评估？——理解可用性
为什么要做评估？——探明评估目标
评估哪些方面？——确定评估指标
选择哪类评估？——选择评估方法
评估前需要哪些准备？——评估准备
如何实施评估？——评估实施
如何撰写评估报告？——评估报告
什么是可用性评估？——理解可用性
可用性定义（ISO9241-11）：产品在特定环境下特定用户用于特定用途时所具有的效果、效率和用户主观满意度。

为什么要做评估？——探明评估目标
研究导向：证实与证伪
产品导向：发现问题，改善设计
为什么要做评估？——研究导向
我发明了一个全新的技术，我想知道用户对这个创新技术的反应，以确认它是否有价值。
——验证性评估
我发明了一个可替代现有技术的新技术，我想知道它是否比现有技术更有价值（对比）。
——对比性评估
为什么要做评估？——产品导向（1）
战略上的目标
1 使我的产品所提供的功能用户真正“想要”和“想用”，建立起清晰的产品定位。
2 使我的产品在同类产品中更具核心竞争力。
功能是产品的核心价值，当同类竞争产品之间的功能相差不大时，可用性和用户体验就升格为核心价值。
Idea：可用性/用户体验是产品竞争的最后一座“堡垒”。
3 使我的用户满意我的产品——〉信赖我的产品的品牌——〉成为我的产品的“骨灰级粉丝”
为什么要做评估？——产品导向（2）
具体目标
（1）建立可用性标准
对当前版本进行可用性评估，为下一版本的产品提供可用性标准。
（2）控制开发成本
在开发周期的早期就能够发现设计上的问题（原型测试） VS Coding的成本非常高
（3）降低开发风险
等待产品发布后再获得用户的反馈，风险太高
（4）降低技术支持和维护成本
用户容易学习和使用产品，自然就很少打技术支持的“热线电话”，也无需太多的时间去维护产品
（5）提高销售额
好用的产品自然就会有良好的口碑，良好的口碑成就更高的销售额
要评估哪些方面？——确定评估指标

选择哪类评估？ ——选择评估方法
1、用户参与
（1）对比实验：用户数：
多组设计的可用性比较；
用户数：每组12人以上。
（2）可用性观察测试：
通过观察找出界面可用性问题，提出设计改进建议；
可以是正式的实验室观察，也可以是非正式的观察。
用户数：2人以上，一般6——12人。
2、用户不参与
（1）启发式评估
可用性专业人员根据已有的可用性原则，对界面进行逐一评估
（2）认知走查法
可用性专业人员将自己“扮演”成为用户，通过一定的任务对界面进行检查评估。
（3）GOMS模型预测
（4）击键层模型预测
选择哪类评估？ ——选择评估方法
评估方法的选择，取决于：
1 我的评估目标——如前面所述
研究导向：验证我的设计Idea是否有利于用户（观察测试等）；比较两个或多个设计Ideas（对比实验）
产品导向：发现问题，改善设计（观察测试、启发式评估、认知走查等） ；证实我的产品达到可用性目标（观察测试、对比实验等）
2 我希望获取的数据的类型
量化数据（对比实验）
质性数据（其他评估方法）
3 我关于评估和与用户打交道的价值观念
用户参与的评估
评估前需要哪些准备？——评估准备
一、人员组成
二、人员培训
三、观察者安排
四、测试计划
五、测试任务设计
六、招募测试用户
评估前需要哪些准备？——评估准备
用户参与的评估
一、人员组成
一个可用性评估组中至少要有两位实施人员.
虽然一个人也可能完成可用性测试，但他/她必须是经过严格训练的可用性专家，必须能够即时处理所有的任务。他/她需要：
1 照看好测试测试用户 (使所有测试用户都感觉良好并完成得比较顺利)
观察测试中发生的事情，安排管理测试场景 (作为测试的促进者)，并提出问题(如果需要)
2 观察时要做好笔记
3 如果你用了录音设备，还要照看好它们。
所有这些，一个人难以办到
两人组成小组，有如下好处：
1 测试结束时，会有两种视角来看待测试结果
2 其中一人可以照看测试用户并坐在测试用户的旁边 ，另外一个人可以做记录，并照看好记录设备
3 两个人必须都可以观察测试用户并听到测试用户说话
如果空间和人员足够，还可以用更多的人加入可用性测试小组（如项目经理、开发人员等）。小组中的成员都应该观察、聆听并作笔记。
二、人员培训
评估小组中至少有一个成员是可用性专业人员。 所有的其他成员必须知道如何:
1 在可用性测试期间如何与用户进行沟通
2 客观观察的方法
3 聆听用户真实意图的方法
4 将观察（所看到的和所听到的）与推论（对观察做出假设和结论）区别开来
5 有效地作笔记的方法
6 询问时，不引导或责备用户
三、观察者安排
观察者：想亲眼目睹整个观察过程的任何相关人员
还有哪些人需要对可用性测试进行观察？
很多人。努力为这些观察者安排位置。
1 负责产品设计的团队应该过来，进行观察和聆听。
2 负责产品内容编辑的人员应该过来，进行观察和聆听。
3 那些对可用性工程表示过怀疑或对你的用户知识技能分析表示过怀疑的经理和管理者们应该过来，进行观察和聆听。
4 可用性测试是许多设计者、开发者、编辑和经理第一次看到真正的用户使用产品。这些人需要看到可用性测试这一真实过程。
在典型的可用性测试中，你不想将超过一个以上的观察者与用户一起待在一个房间。因此，你需要为其他观察者安排另外的空间。
可用性实验室中通常具有一个独立的房间，在这个房间里，观察着可以通过单向玻璃或监视器来观察可用性测试过程。
如果你把测试安排在一个会议室，你可以在隔壁为观察者搭建一个房间。你可以在观察室里放置影音设备，将将录像投到一个大监视器上。
四、测试计划
评估范围：我需要评估什么内容?
评估指标：我关注想评估产品的哪些方面？
测试用户：我应该请什么用户来参加测试？
评估环境：在什么地方实施评估？在固定的实验室？会议室？或其他拥有可移动实验室的地方？在会议室或其他没有任何录音设备的地方？远程？
评估预算：这次评估我大概要花多少钱？
五、测试任务设计
选择用户将要尝试的相关任务
准备、试验并精炼为这些任务所设计的任务场景。
注意：确保这些任务场景写得很清晰，在测试时间分配上比较合理。
如果是对比实验，还需要考虑你的实验设计
测试内设计、测试间设计、混合设计
无关变量的消除与平衡
顺序效应的平衡
练习效应的消除
满意度问卷
六、招募测试用户
招募那些当前的或潜在的用户来参加测试
考虑请一个专门招募可用性测试的测试用户的公司来帮助招测试用户
如果自己招募，可以建立一个用户库以便将来的测试之用。
如何实施评估？——评估实施
预测试
找找亲近的人、与测试用户背景相似的人或其他部门的人（如人力资源部、会计部等）过来，请他们帮忙过来做预测试
预测试用户一般2个人左右
预测试能够帮助我们对评估的过程进行预演，从而找出我们在评估设计可能存在的问题或没有考虑到的情况，尽量减少在正式的评估中出现不愉快的或影响评估的客观性的或不可预知的问题。
检查软硬件是否有冲突
任务描述是否有问题
实验者的口头说明是否清晰
实验者先自己测试，将任务完整过一遍。
测试实施
一、评估人员介绍测试的目的
自我介绍（姓名，称呼：**公司的研究人员）
所在机构和他的主要目标（公司主要是做手机可用性测试方面的）
介绍这次研究的目的（该系统是否符合用户的使用方面的要求）
声明这个测试的对象是手机/手机软件，而不是用户本人
声明他们的参与是完全自愿的，他们可以在任何时候要求停止
提供知情同意书，请他们阅读，并要求他们签名，同时可收集用户的人口学、知识等信息。
让用户参观测试设备，并解释每部分的功能，告诉他们将使用什么设备
让用户了解将要对他们的声音和行为进行记录。保密声明，征求同意。
二、出声思维训练
在做什么？
看到了什么？
怎么想的？
有什么疑问？
三、任务介绍
用户使用系统之前尽可能告诉用户有关系统的信息
告知用户任务。一次告知一个任务。任务描述页，同时口头上向他们表述。
询问用户是否有关于研究目标、过程或任务的问题。回答这些问题，但是不能回答类似于“我该怎样做这项任务？”的问题，如有用户问到，可以跟他们说：“那正是我需要观察的情况，我想看看系统是怎样帮助你完成这个任务的。”
四、开始测试
用户采用出声思维法完成任务。如果用户沉默5-10秒，告诉他“请一直说”。
如果用户开始解释他们的步骤而不是报告工作记忆区的内容，先让其停止，然后说：“请不要向我解释你正在做什么。表现得就好像你一个人在解决问题时一样自言自语。”
适时让用户休息
五、结束测试
询问用户是否还有更多的关于系统或研究的问题。回答那些现在就可以回答的问题，或让用户和可以回答这些问题的人联系。
询问用户关于所测试产品的意见和改进建议。
感谢用户的参与，重申他们的参与将帮助我们确定系统的问题，从而可以改进系统。
用户不参与的评估：启发式评估
评估准备
人员组成
人员培训
评估过程
一、人员组成
要考虑用3——5个可用性专业人员

二、人员培训
评估小组中所有成员均为可用性专业人员。所有的成员必须:
对可用性评估原则有一致的理解
能够在一个显而易见的可用性范例中取得一致的评估（检查到的问题、对问题的解释；设计建议可以不一致）
了解评估实施过程
共同形成评估任务
能够形成可用性专业人员评估的报告规范和呈现方式
Jakob Nielsen的启发式原则
1.0 – 约 1990
简单而自然的对话
采用用户的语言
使用户的记忆负担减至最低
一致性
提供反馈
提供清晰的退出标志
提供快捷方式
提供良好的出错消息
预防错误
帮助和文档
2.0 – 约 1994
美观和最小化设计
系统和现实世界相匹配
运用再认而不是回忆
一致性和标准化
系统状态可视化
用户控制和自由度
使用的灵活性和效率
帮助用户识别、诊断、恢复错误
错误预防
帮助和文档
评估过程
评估小组 (最好3-5人) 评估一个用户界面
每个评估者根据启发式原则独立地、依次地进行检查评估
不同的评估者可能会发现不同的问题
评估者聚在一起，合并他们的发现
共同估计问题的严重性
任务报告/头脑风暴 ? 如何修正该问题 ，指出哪种设计建议/解决方案比较好
如何撰写评估报告？——评估报告
评估报告的风格因不同的目标、不同的阅读对象而不同。
通用工业规范可用性测试报告标准(CIF, ANSI/NCITS 354, 2001)
标题页
实施概要
简介
方法
结果
附录
对比实验报告
介绍
产品描述
实验目标
方法
实验用户
实验任务
实验设备
软件环境
显示设备；声音设备；输入设备
数据收集工具
实验设计
实验过程；实验用户通用指导语；实验任务指导语
可用性测量指标
结果
效率对比；效果对比；满意度对比
讨论
总结
附录
启发式评估报告
启发式评估报告，又叫可用性方面报告UAR），内容主要包括：
1 可用性问题或优点（关键事件的证据）
用户的目标。
用户行动的效果。
2 对问题或优点的解释
3 问题的严重性或优点的好处
5点量表
4 设计建议
5 与其他可用性方面的关系