用户研究中,选谁来参与调研是件重要的事情,一方面因为调研目的不同,选择的调研对象不同,另一方面时间精力和资源有限,不可能把所有的目标用户研究一遍。怎么做用户抽样?专业书上会有详细说明,本文主要分享工作中常用的、实用的几种方法。
从是否符合统计要求来说,抽样可以分为非概率抽样与概率抽样。
非概率抽样
定性研究注重信息深度而非统计意义,常用非概率抽样,如可用性测试中,我们找符合要求的公司普通同事参与测试,快速发现问题,这就是“就近法”;再如深度访谈时,我们发现每增加一个用户的边际效用递减,新增用户所带来的信息极其有限,访谈获得的信息已经基本饱和,就没必要继续增加访谈对象,这是“目标式或判断式抽样”。
非概率抽样还有滚雪球式抽样和配额抽样,“滚雪球”顾名思义,让目标调研对象再去找符合要求的对象。比如需要找读书会成员,找到一个以后,再让ta推荐其它会员,效率较高。配额抽样,常用于一个大群体中的各个小群体之间差异明显、需要对不同小群体分别进行抽样的情况。比如医疗美容类APP,男女比例为1:9,差异悬殊,有必要进行配额抽样。控制严格的配额抽样可以认为具备统计意义,可做定量参考。
非概率抽样
概率抽样基于概率理论(数学的一个分支),相对复杂。概率抽样的基本原则是,如果总体中的每一个个体被抽取为样本的概率相同,那么从这个总体中抽取的样本,就具有对该总体的代表性。概率抽样必须是随机抽样,换一种说法,概率抽样能避免各种偏见(人为因素)影响。
概率抽样涉及四个概念:
- 抽样误差
- 置信水平
- 置信区间
- 样本量
想要深入了解?这里几句话说不清楚,请学习统计学或者概率论吧。
严格的概率抽样,随机抽到某样本后,该样本必须反馈信息;如因各种原因无法反馈,再用相同条件随机抽取一名。这种做法在市场调研的线下执行中比较常见,因为线下可以“盯人”填问卷/做出反馈。在网络问卷调研里却不常见,因为网络调研很难做到严格的随机。
这里简单介绍用研工作中做定量调研会遇到的情况。第一种情况是产品有完备的用户数据,当需要对用户的行为/状态进行分析时,不用考虑抽样,按分析目的选取全部所需数据即可。另一种情况是近似的概率抽样,因为做网络问卷调研时,渠道特点、用户特点等带来的抽样偏差无法避免,网络调研的抽样偏差主要有这几种情况:
- 渠道自身的过滤作用,如问卷Banner放在LOFTER发现页,只有访问这个页面的用户才会看到该问卷调研。
- 用户活跃程度影响填答概率,如问卷投放5天后回收,隔一周甚至更久才会登录一次的用户,很难有机会发现问卷并进行填答。
- 用户自身特点,有些用户“高冷范儿”不喜欢表达,不管问卷“广告词”写得多生动他都无动于衷,这样的用户需要通过其他方式接触。
产品不同,用户特点也不一样,由此造成抽样偏差不会完全相同,这点需要用研人员在项目实践中自行思考积累。
外包渠道招募时需要注意
关于抽样,有必要再提一下外包渠道招募。招募用户是个费时费力还依赖人际关系网的工作,有时候需要借助第三方。但是要把招募交托给第三方公司,自己还是要花很多心思在三方面:
- 界定招募条件
- 明确时间进度
- 监控招募质量
首先,跟第三方招募渠道打交道,招募条件越死板越好,别指望对方会根据调研目的主动去思考怎样的人符合要求。你告诉他们的是一个个可以用证据证明的要求。比如每个月在淘宝上网购15次以上,那就提供指定月份的该用户淘宝购物记录截屏,截屏显示网购次数15次以上。有时候为了找到真正符合要求的用户,不用告诉对方全部的真实招募要求,适当隐藏一两个,只告诉需要怎样的“证据”即可。比如手机淘宝是“千人千面”完全个性化的,想了解用户近期感兴趣的物品,只需说我们要一个“淘宝首页截屏”即可,不用说要截屏的目的。
其次,招募过程中不断催进度、催进度、催进度。我们觉得难招的人,第三方招募公司也不一定容易招,他们会把招募要求分发给各个线人,线人再继续去搜索,整个链条很长。不催的话,出现“明天要访谈/测试了,今晚用户还没完全敲定”的情况就不奇怪了。
最后,监控质量也非常重要,主要是指识别“假用户”。一般如果招募6个用户,第三方公司会给8个符合要求的用户,这也不保险,我们曾经遇到过“8选6”但最终只选出4个符合要求的真实用户的情况。识别“假用户”没有固定的套路,需要随机应变。
关于质量监控,有个例子分享:
一次调研中,我们要求找时尚领域的用户,平时会主动消费时尚资讯或使用相关应用,罗列了一批杂志、网站、公众号、应用,要求目标用户至少正在消费或使用其中的两项或以上。
第三方帮助招募到了一批用户,暂且称他们为A、B、C……其中见到A的第一眼,我不敢相信自己的眼睛,“这真的是关注时尚的用户?!宅男吧,头发好多天没洗了吗?这裤子五年前买的吧……”本着大胆假设小心求证的态度,我们问他平时看哪些时尚内容,在哪里看?A说在微信里看公众号XX和XX,我们跟进:“XX公众号不懂,还没看过,能不能让我们看一眼?”A打开微信给我们看XX公众号,我们再问:“这个号的内容风格是怎样的?能再看一条具体内容吗?”A点进去,我们看到公众号第一条消息是当天早上9点多发的“欢迎辞”,也就是说用户在到达访谈地点之前刚刚关注该公众号。到这里已经确定A不是我们要找的人。
转向B用户,B手机上有好几个我们要求范围内的APP,B还表示经常在其中一个APP里买东西,最近刚买过鞋。请其打开APP想大致了解一下她会买哪些东西,发现里面没有任何购物记录。B说她是学生,没有网银,无法网购,鞋子是用老妈的手机买的。OK,我们转而问她别的问题,最后话题扯到手机淘宝,找个理由看到她淘宝购物记录,嘿嘿,B有网银,网购很“熟练”。
再综合其它因素,确定B也不是我们要找的人。
工作中做定量调研,不是追求样本量越大越好。以问卷调研为例,在严格符合抽样要求的情况下,假设产品的用户量级为百万级,400个样本就能满足统计需求(置信水平95% (即=0.05),e取5%)。当然这是理想状况,实际很难遇到严格随机抽样的情况,或者说做到严格随机抽样的成本特别高。用研人员的核心价值在于了解上述无法通过计算样本量和置信区间等技术手段解决的抽样问题,并且有办法处理好这些问题。比如参照行为数据按比例推算,比如把结论限定在某个范围内,比如结合其他渠道的信息综合分析问题等。
以上是一些个人的粗浅体会,欢迎讨论。
#专栏作家#
作者:韩晓燕,人人都是产品经理专栏作家,网易杭州研究院,产品发展部,微信公众号“用盐有点咸”,用户研究。
本文由 @韩晓燕 原创发布于人人都是产品经理。未经许可,禁止转载。