从来没有公司像现在这样收到如此多的用户反馈。拿手机应用程序来说:我们通过苹果应用商店获取数据,通过分析系统得到应用程序内部的运转状态,而且特别是通过苹果应用商店的真实用户中获取评论和评级,在这个数据海洋里隐藏着许多价值连城的信息。
每天都有成千上万的用户在苹果应用商店评论里分享他们的想法。他们通过评论表达他们对于应用程序愤怒或者令人激动的地方,这样做通常是希望能够促进应用程序的改进。
许多设计和开发团队利用这些信息来查找和修复bug,有些团队甚至会回复用户且和他们的用户紧密联系。然而,他们却很少用一种结构式的方法来分析应用程序评论。
所以,结构式的这种分析方法在用户体验的设计周期中并没有一席之地,而且他们也不被认为是用户研究的一部分。
在这篇文章里,我分享了一个简单并且有效的方法,通过从成千上万的应用程序评论中得到可执行的反馈。
首先,我将通过一个案例研究:我的公司, flexponsive,做过一个航空公司的应用程序的评论的分析,那时候我就进行了深入的挖掘并且为设计师和产品所有者,分析他们自己的应用程序列出了易于遵循的步骤。
KLM航空公司的应用程序的案例研究
flexponsive对航空公司的电子商务非常关注,并且我们可以看到许多航空公司因为他们的移动应用程序和移动网站的质量而饱受批评( mobile website quality)。最近,应用程序的质量开始提高( app quality is starting to improve)。
当我们看到荷兰国旗的承运商荷兰航空公司推出了一个全新的、耗资的,但最终不成功的应用程序升级时,我们决定进行调查研究。
我们发现:该航空公司已经从一个行业的最佳跌到了用户满意度排名表的底部!虽然在这个案例研究中。我们分析的是一个宠物项目的评论,但是我们也对用户使用了这个流程,并且发现它既能有深刻的见解又很有成效。
荷兰航空公司,以前是航空类应用程序质量最佳,以一个糟糕的结果升级了他们的应用程序。
为了找到KLM的应用程序发生了什么,我们详细分析了去年App Store中用英文写的所有的评论。我们确定了八个最重要的应用程序功能,并根据评论分析了用户对每个功能的意见。然后,我们在两个图上总结出了关于旧的和新的应用程序的用户意见和用户评论的频率的对比。
图表显示了旧版本KLM应用程序的主要缺陷,关键优势,其他缺陷和其他优势。
在图标中,右边的位置代表正面评价,例如:“很好使用,而且扫描你的护照是个非常好的选项!!!”频率轴上的特征越高,评论中提到的频率越高。
从图表中可以很清楚的看出:KLM旧版本应用程序有非常强的设计,45%的用户提到了外观或者导航并给与了充分的肯定,还提到了几个关键的特征——预订、记录和航班信息。
这个应用程序最大的问题是性能问题,超过30%的用户抱怨关于app的速度和不稳定。从App的评价来看,看起来性能应该是应用更新的重点。
图表显示了修改过的KLM应用程序的优势和缺陷。
不幸的是,根据应用程序升级后的图表,几乎所有的功能都变糟糕了。升级后,没有一个功能被列为强项,尽管性能不再是最大的问题,但我们无法判断速度和稳定性是否有所提高,或者其他功能是否变糟糕了。
如果设计师们在设计升级之前查看过这些数百位用户给出的反馈,他们可能会保留正面的功能,并且专注于提高性能。
分析数据
这个分析可以应用于其他任何应用程序。
以下是进行类似分析的四个简单步骤:
1. 下载评论
第一步,显而易见的是下载评论,应用程序的所有者,可以通过他们的开发者账户获得该应用程序的评论。这是一个重要的,容易获得的,并且不能被过度使用的信息来源。
评论可以从iTunes商店的博客订阅(RSS feed)和谷歌商店(Google Play)非官方的API下载。示例代码(sample code)和更多的应用程序评论下载的细节,可以在rpubs博客(on the rpubs blog.)里找到。
团队还可以与竞争对手的应用程序的反馈进行比对,但是要牢记,很大一部分评论是由对新的升级失望的用户来编写的。这是非常难做的,而这恰恰是改进我们的应用程序所需要的。
在失败的升级之后,即便是长期的用户评级很差,也不意味着负面反馈比竞争对手的应用更糟糕。
2. 确定主要功能
一旦下载了评论,就要准备一份已经确定好了5~8个特征的应用需求的列表,其中一些将涵盖行业或应用程序具体的功能(“我想要查到我的航班信息”)和另外一些关注应用程序易用性的(“应用程序应该快速运行”,“应用程序不应该崩溃”)。
对于每一个主要的分类,我建议在分析过程中分析具体的功能,这样的好处是清晰可见的。这会使得未来的评估更加容易,而且我们能够从评论中获得更多的信息。
当初步清单列好了,现在就是该阅读前100篇的评论了,要确保用户对于列表中出现的功能进行的是真实的评论。然后根据用户的言论修正清单,添加新的功能以及更新功能的名称。
根据荷兰航空应用的案例我们确定了以下功能:
(1)个性化
- 个人信息
- 保存就餐或座位的偏好
(2)预定管理
- 航班选择
- 付款
- 额外服务/特殊要求
- 航班更改
- 座位选择/座位更换
(3)登机
- QR码(Quick Response Code 快速响应矩阵码)
- 登机牌
(4)航班信息和航班跟踪
最初,我们把这个功能放在“账户管理”中,但是在用户评论中特别强调了航班信息,所以我们将他作为一个独立功能展示出来。
(5)账户管理
常用飞行计划
- 状态里程
- 网站的兼容性
- 预订记录
(6)兼容性
- 日历
- Passbook(Passbook是iOS中的一个应用程序,让用户可以在手机中存储商店优惠券、登机证、活动门票、会员卡或其他类型的移动支付票卡等。
- Apple Watch, etc
(7)性能
- 速度
- 稳定
(8)设计
- 导航
- 图形
一旦清单完成,就要召集一组研究人员开始进行评估。理想情况下,研究人员应该熟悉应用程序,但不涉及开发过程,这样才不会带有偏见。
这是一个很长的流程,需要花费很多工时去完成。这使不禁我们产生这样的疑问:这个流程是否能自动化进行?
因此出现越来越多提供自动化评论分析的服务(包括Appplause和AppAnnie)。这些服务所使用的算法,只对稳定性或导航之类的通用应用程序特性进行评估。能够识别应用程序个性特征的算法还没有达到商业化的程度,目前还无法超过人类专家级评估标准的50%。所以,现在我们只能祈祷未来的计算机科学家们能有所突破,并能人工进行评论分析。
3. 创建电子表格
下一步是获取每一个评论,并把它转化为数值评级。这有许多方法来完成,但我建议创建一个电子表格来记录分值。如果一个评论给产品特性给予肯定评价,研究者就应该给该产品特性一个肯定的分值+1。
如果是否定的评价,则给分-1,如果是中立的评价,则给分0。如果没有提到该产品功能,则空着不填分值。电子表格完成后,随应用程序版本和时间的推移而产生的意见看法的改变情况,将很容易集中展现出来。
举个例子,下面的是在iTunes商店找到的荷兰皇家航空公司 APP的评论。
第一位评论者对最新的改动感到满意,但她的评论不是很具体。她提到:“座位变更后的正确信息”,我们不能确定她是指正确的航班信息还是正确的个人资料。
因此,我们只给包含了座位变更参考的“预定管理”类目部分判定+1分。同样,基于评论标题里的“没有用!!”和“没有航班”,我们给个性化、预约、登记和设计记下-1分。
找到正确的类目来记录用户的看法感受通常并不容易,为了获得高准确的结果,我们至少有两位分析师评定一组评论。取其平均值来获得更高精确度。
4. 可视化&分析
一旦数据在电子表格中,我们就可以总结出结论,并计算和量化出关键的统计数据。为了使信息更容易解析,这样有助于将其呈现在图表中。
该图表一目了然地显示了需要改进的功能,以及app是否符合或超过预期。如果分析扩大到竞争对手的app,该图表也可以识别驱动用户满意度的特性,这可以作为未来升级的灵感来源。
我建议使用一个二维矩阵,X轴为“情绪”分数,Y轴为在访问中提到该项目的“频率”。
为了使分析更具有可操作性,将平面分成四个象限,每个象限以特定的行为对齐。需要注意的是:在rpubs博客上可以找到像我们的团队设计一样创建图表的代码。
- 主要优势:这些是用户喜爱的功能,并且经常被提到,同时给与了充分的肯定。 我们应该为这些功能而自豪,维护它们,并且提升它们- -只要它们还能满足商业目标!
- 其他优势:这些是得到积极情绪的功能,但频率较低。值得调查一下这个app的分析,看看这个功能多久被使用一次。如果它的利用率不足,则这是一个促进极好的功能的机会。
- 其他缺陷:这些项目收到的消极情绪,但只有少数。这些评论会有点不寻常- -当用户得到他们所期望的功能时,他们通常会说出一个随机功能,并建议它可以进一步改进。
- 关键缺陷:这些是问题所在区域,如果一个功能属于“关键缺陷”这个区域,那就意味着几乎所有写评论的人都会抱怨它,应该尽快实施改进。
原文作者:Piotr Spiewanowski
原文链接:http://www.uxbooth.com/articles/visualizing-and-analyzing-customer-feedback/
译文作者:兔子翻译组
本文由@兔子翻译组 翻译发布于人人都是产品经理。未经许可,禁止转载
题图作者提供