分类目录归档:网站定量分析

网站定量分析方法及实例。

基于用户细分的比较分析

Pizza  从网站的用户层面,我们根据用户访问的行为特征将用户细分成各种类型,因为用户行为各异,行为统计指标各异,分析的角度各异,所以如果要对用户做细分,可以从很多角度根据各种规则实现各种不同的分类,看到过有些数据分析报告做了各种用户的细分,各种用户行为的分析,再结合其他各种维度,看上去内容绝对足够丰富,但很难理解这些分析结果到底是为了说明什么问题,也许作为一个咨询报告反映当前整体的趋势和用户特征确实合适,但如果真的要让数据分析的结果能够引导我们去做些什么,还是要在做用户细分前确定分析的目的,明确业务层面的需求。

  既然要做基于用户细分的比较分析,自然是为了明确某些用户分类群体的行为特征与其他用户群体的差异。这里主要从指导内容层面的调整为导向,通过比较各用户细分群体对内容需求的差异,优化内容运营,将优质的内容或者符合用户偏好的内容推荐给相应的用户。

  既然是基于用户细分,首先明确用户的细分规则,这里举例3类细分:流失用户与留存用户、新用户与老用户、单次购买用户和二次购买用户,基于这3类细分,对每个分类的用户购买商品进行比较分析,明确哪些商品更加符合用户的预期。

流失用户和留存用户比较

  当然,要区分流失用户和留存用户,首先必须对用户流失有一个明确的定义,关于流失用户的定义可以参考博客之前的文章——网站的活跃用户与流失用户。有了定义我们就可以做统计和细分了,还是以电子商务网站为例,电商网站的内容就是商品,我们基于每个商品计算购买这些商品的用户中购买后造成流失的用户比例,如下:

away-remain-comparison

  这里的指标定义应该比较明确,每个商品的流失用户比例应该是购买该商品后流失的用户数在所有购买该商品的用户中的占比,但只知道每个商品的流失用户比例无法评价这个商品是否对用户保留有促进作用,或者在一定程度上造成了用户的流失,只有通过与总体水平的比较才能得出相应的结论。所以这里需要重点解释的是“与总体比较”这个数值是怎么计算的到的,这里的百分比不是直接相减的结果,而是一个差异的幅度体现,这里假设总体用户流失率为56%,那么以A商品为例,与总体比较的结果是:( 58.13% – 56% ) / 56% = 3.80% ,使用同样的计算方法也可以得到其他商品与总体比较的差异幅度。最后就是展示,在Excel里面通过“条件格式”里面的数据条功能可以直接展现出图中的效果,非常方便。

  很明显,上面图中的分析结果对运营调整有直接的指导性,目的是促进用户保留,所以我们要做的就是将有利于用户留存的商品(F商品的用户流失率明显要比总体低得多,说明F产品更有利于用户保留)推荐给用户,而将那些可能导致用户流失的商品(C商品)进行优化或者下架。

新用户和老用户比较

  同样,使用上面的方法可以区分不同用户群的购买偏向。新老用户的细分是最常见的用户细分方法,我们可以使用类似的方法来看看新老用户对商品的不同喜好:

new-return-comparison

  从上图中你看出了什么?购买D商品的用户中新用户的比例明显偏低,也许新用户根本就不喜欢这个商品,而B商品和F商品显然更加符合新用户的口味。如果你的网站可以进行新老用户区分的定向推广,那么上面这个分析结果将让你受益良多。

  当然,这个数据呈现的特征可能跟商品的推广渠道有一定的关系,比如上图的D商品比较多的是使用老用户比较集中的推广渠道(比如EDM),那么自然购买用户中老用户的比例会偏高;或者把某些商品放在新用户比较集中的Landing Page中展示,那么购买该商品的新用户比例也显然会偏高。所以,在做诸如此类的分析时需要注意根据推广渠道的差异,具体问题具体分析,不能一概而论。

单次购买用户和二次购买用户比较

  使用同样的方法也可以促成用户的多次购买。对于电子商务网站而言,用户的首次购物体验非常重要,这将会直接影响用户是不是会产生再次或者之后的多次购买,或者是否能够成为网站的忠诚客户。如果你的网站注重用户关系管理,那么你可以尝试下使用下面的分析方法:

once-repeat-comparison

  需要注意的是这里的基础用户群设定在了每个商品的首次购买用户(不是所有),我们要分析的是所有将该商品作为首次购买商品的情况下,用户是否还会发起之后的再次甚至多次购买行为,从而评价商品对于首次购买体验的影响好坏。从上表可以看出,B商品和F商品在促成二次购买的表现不佳,很有可能商品的使用或质量问题影响了用户的满意度,阻碍了用户再次购买的脚步。根据分析结果,我们尤其需要对那些二次购买率比总体水平低非常多的商品进行重点关注,同时也需要根据商品的特征进行分析,有些商品确实比较容易促成二次购买,因为可能存在交叉销售和向上营销的情况。

  其实本来想把这篇文章拆分成多篇整成一个系列专题,因为从实现层面而言,每一块的用户细分的分析都需要独立完成,而且大部分要从底层的数据计算得到,如果你从Google Analytics上面从寻找类似的数据,其实唯一可以找到的就只有新访问比例,而且在内容模块里面细分到每个页面的指标也未包含% New Visits(在流量来源、地域细分里面有该度量),当然你可以自定义报告来查看网站每个页面的新访问比例,比较的基准还是网站总体的新访问比例,GA的展现方式选择里面直接提供了与总体比较的视图“Comparison”,下图是我做的自定义报表:

GA-page-newvisits

  GA上面的展现的效果跟用Excel 2010上面定制条件格式后的效果很像(2010可以展现正负值在坐标轴左右侧区分的红绿数据条,2007貌似还未实现此功能),这种基于基准的比较展现非常直观使用,其实在其它的分析中同样可以用到。那么你从我的博客的各内容新用户比例比较分析中看出了什么?访问数排在前几名的文章中很明显的趋势就是概念性方法论的文章新用户比例高于均值(当然主要靠搜索引擎的帮忙),而观点性和分析性的文章的新用户比例低于均值(老用户更偏向于实践和应用 ;)  ),所以如果我的博客可以动态向新用户和老用户展现不同的内容,那么这个分析将十分具有价值,也许你的网站可以尝试下。

  最后还是回到一开始的问题,需要总结的是:细分是用于比较的,比较是为了反映差异进而做出调整优化的,所以细分的目的最终还是指导运营决策,这个才是数据分析的价值体现。

比较测试的设定和分析

——数据的上下文5

Controlled-Trial  基于前一篇文章——T检验和卡方检验中提出的数据比较方法,其实我们在生物或者化学的实验中经常也会涉及比较,这篇文章就来具体介绍如何在现实的网站分析环境中使用这些方法,使用的前提和环境是怎样的。

  其实我们在做数据分析的时候经常进行比较分析,但往往以观察分析法为主,“T检验和卡方检验”为我们的比较分析提供了很好的科学的定量分析方法,让比较的结果更有置信度和说服力。但在使用定量分析的比较方法前,还有很多因素需要考虑,当我们需要精确地分析比较的效果,我们一般都会做比较测试,而其中涉及测试环境的设定,数据的选择和获取等,以排除一些非相关因素的干扰,让比较的结果更加真实可信,所以下面就介绍下如何合理地进行比较测试。

比较测试的类型

  比较测试或实验的类型有很多,但都跳不出抽样、重复、分组、比较这几个流程,所以从实验设计的角度,我们可以简单地把比较测试分为两类:基于时间序列的组内比较基于对照实验的组间比较

时间序列的组内比较

  基于时间序列的组内比较一般在时间序列上的某个时间点引入实验变量或者施加实验刺激,并在实验刺激的前后进行重复测试,分别叫做“前测”和“后测”,对前测和后测分别进行抽样比较,从比较的结果反映实验刺激是否对结果有显著的影响。详细的流程见下图:

Time-Serial-Comparison

  举个有趣的例子,如果公司的员工前4个月在正常的薪资待遇的水平上工作,体现出正常的工作效益和工作满意度;然后从第5月开始给员工进行加薪(施加实验刺激),再观察之后4个月员工的工作效益和工作满意度,将之前4个月的结果(前测)与后4个月的结果(后测)进行比较,分析员工的工作效益和工作满意度是否存在显著性差异,进而证明加薪这个实验刺激是否对提升员工的工作效益和满意度有显著性影响。这就是简单的时间序列比较测试的基本流程。

  但基于时间序列的比较测试会受很多因素的干扰,比如上面的例子在实验过程中CPI的增长、公司业绩的下滑或者运营环境的恶化都可能导致实验结果的失效,或者验证的结果不可信,所以下面会具体说明需要排除的干扰因素。

对照实验的组间比较

  基于时间序列的组内比较只是基于一组样本,只是样本在时间序列的某个点上受到了实验变量的刺激;而对照实验需要设定两组样本,也就是“实验组”和“控制组”,并对实验组施加实验刺激,控制组维持原状态不变,从而比较实验组和控制组是否存在显著差异来反映实验的刺激是否影响了结果。因为对照实验涉及两组样本,所以这里需要额外注意抽样的规范性,我们需要保证两组样本的特征具有相似性,可以进行比较。具体的实验设计见下图:

Controlled-Trial-Comparison

  还是使用上面的例子,但在对照实验中设置对照组和实验组是必需的,比较不再是基于前测和后测。比如我们让部分员工维持当前的薪资待遇继续工作,而另外一部分的员工提升他们的薪资待遇,从而比较为提升待遇的员工和提升待遇的员工的工作效益和工作满意度的差异,如果差异显著就可以证明提升薪资待遇这个实验刺激对结果是有显著影响的。

  对照实验因为参与比较的两组样本都是基于相同的时间序列轴,所以随着时间变化的影响因素对实验的比较结果的影响不再重要,因为两组样本同时受到了同样的影响,但因为是组间比较,所以两组样本如果存在差异性,那么对结果就会造成较大影响,比如上例中A组选择的是基层员工,B组选择中高层员工的话,比较的结果显然是缺乏科学性的。下面就具体介绍下比较测试中可能存在的影响因素有哪些?

前提与影响因素

  首先看一下从用户体验的角度,如果我们进行可用性实验,需要考虑的影响因素有哪些:

  • 外部噪声和干扰:外部干扰信息、临时的电话和呼唤等;
  • 经验和熟练:因为可用性实验一般需要重复过程,所以随着实验的进程,用户渐渐熟悉对网站和工具的使用;
  • 消耗:随着实验进程,用户可能失去耐心,或者精力无法集中;
  • 主观预测:当进行重复实验时,用户容易用先前的测试结果来推测之后的测试,同样会影响实验结果的可信度。

  以上是可用性实验中需要考虑的影响因素,有些只存在于实验环境中,如果衍生到WEB分析中,同样需要注意一些影响因素,而对于上面介绍的时间序列组内比较和对照实验组间比较,各自的影响因素又各不相同:

时间序列的组内比较

  基于时间序列的组内比较可能存在的干扰因素相对较多,因为外部环境和内部环境都会随着时间发生变化,所以为了让基于时间序列的前测和后测两组数据具有可比性,我们必须规避以下几类因素的影响:

  • 数据本身存在的自然增长或下降趋势;
  • 规避节假日或者外部事件的影响;
  • 规避特殊的营销推广其带来的影响;
  • 规避内部其他可能影响测试结果的因素(实验刺激必须唯一)。

对照实验的组间比较

  对照实验因为两组样本处在相同的环境和时间序列上,所以需要规避的影响因素比上面要少很多,但相较组内比较,组间比较需要额外考虑两组样本是否具有可比性:

  • 两组样本特征相似,可比较(抽样规范性);
  • 实验组跟对照组之间只存在唯一的实验刺激导致的差异。

  无论是基于时间序列的组内比较还是基于对照实验的组间比较,都要规避外部环境的重大变动,或者特殊的外部事件对网站造成的重大影响,或者服务器故障或数据统计异常造成的数据不完整或不准确,因为这些因素造成的影响已经可能导致用于比较的数据本身就存在巨大误差,或者不可信,都是无法规避和弥补的。

网站应用实例

  网站环境下最常见的比较测试显然就是A/B Testing,AB测试为网站的改版和优化提供了对照实验的比较测试环境,具体的流程如下:

A-B-Testing

  访问网站的用户被AB测试的系统自动分成了两组,一般情况下是按比例对半划分,当然很多情况下也会根据需要按其他合适的比例,如1:3,1:5等。这里的A方案和B方案一个是未做改动的原方案,另一个是改版后的新方案,如果一次需要测试多个改进方案的效果,那么就需要设定多个实验组,而控制组只要一个就行。

  A/B Testing属于对照实验的组间比较的测试方法,所以同样需要符合对照实验的前提,规避对照实验可能存在的其他影响因素。因为A/B Testing遵循了简单随机抽样的方法,所以我们可以认为实验组和对照组之间的样本无明显的差异,具有可比性。同时,对照实验基于相同的内外部环境和相同的时间序列,所以诸如节假日、数据自然增长或下降、特殊推广期等的影响可以不用考虑,但某些特别重大的外部事件或者网站服务器故障导致的数据问题还是需要在比较测试之前进行排除。另外对照实验中必须控制每个实验组的实验刺激只能是1个,不然无法区分到底是哪个实验刺激对实验结果造成的影响。

  在规避上述影响因素后,基于A/B Testing的数据比较可以使用我在上篇文章中介绍的“T检验和卡方检验”的方法直接进行显著性的检验,进而验证实验刺激对结果是否存在显著性影响,这里不再重复举例了。

  A/B Testing有自己的优势,它比基于时间序列的比较的限制因素要少很多,但A/B Testing毕竟需要预先构建相应的自动分流系统,可能在某些特定的环境下或者对某些特殊的网站而言没有相应的环境可以进行AB测试,这个时候我们就不得不选择时间序列的比较测试。

  基于时间序列的组内比较需要规避推广、节假日和外部营销事件的影响,这个可以通过选择合理的测试起止时间,选择合适的前测和后测样本进行规避,但如果网站本身数据存在明显的上涨或下降趋势,那么我们必须对数据进行必要的处理:

改版前 改版后
用户数 订单数 用户数 订单数
12395 576 13920 704
13237 641 14391 715
13450 732 15692 781
13872 693 16533 839
14673 770 15916 813

  上表是某电子商务网站基于时间序列改版前后的比较测试,前测和后测各选取5天的数据进行比较,以“订单数”作为比较指标,为了说明改版能不能显著地提升每天订单的数据。如果我们不考虑数据本身的自然增长,直接比较改版前后日均订单数的差异:

  改版前日均订单数682.4 < 改版后日均订单数770.4

  显然改版后日均订单有显著提升,说明改版有效?那么我们将数据的自然增长考虑进去,我们可以将日均用户数的增长率作为整个网站数据的自然增长率:

  (改版后日均用户数 – 改版前日均用户数) / 改版前日均用户数 = 13.05%

  改版前日均订单数682.4 * 1.13 = 771.1 > 改版后日均订单数770.4

  比较的结果发生了改变,改版前的日均订单数在乘上自然增长率后要比改版后的日均订单数高,但相差不多,从结果看应该是改版对订单数的提升无显著影响。显然后面考虑网站自然增长率后的比较结果更加科学,更加可信和具有说服力。这就是我们在基于时间序列的比较测试中需要考虑的一些问题。当然上面是基于简单的观察分析比较,如果需要更具统计学意义的定量比较,同样可以对数据进行自然增长处理后使用T检验或者卡方检验。

  这篇文章可能写得有点长,本来想分两篇发布,但因为内容不太好分段,也怕影响内容的连贯性,所以最终都整合到了一篇,希望大家有耐心能够看完。当然期间的一些看法如果有问题,或者大家有自己的其他见解,都可以在下面评论留言,非常欢迎大家提出其他的看法。一边在看羽毛球世锦赛男单决赛一边更新了这篇博客,希望文中不要存在过多地错误或者错别字 ;)

指标的移动平均

——数据的上下文3

Moving-average  接着之前数据上下文(Context)的话题继续探讨网站分析中可以设立的数据意境。数据上下文2中的网站质量控制图为网站的KPI指标给出了有效的监控体系,但质量控制图毕竟比较严谨,其实对于大部分互联网环境的指标而言,可能并不符合这么苛刻的条件,于是我们需要寻找另外的方法来监控和观察这些指标的变化趋势。

  同样是基于时间序列的分析,前面的文章——时间序列的趋势分析中主要介绍了“同比”和“环比”的概念,这里在介绍一种方法——移动平均法。其实移动平均线应用最多的是在股市,5日、10日、30日均线都是用移动平均法计算得到的;而移动平均线也是Excel中的趋势线的一种类型。所以移动平均法最常见的用法就是对于趋势变化的观察分析,但同时也具备了预测和比较监控的功能。下面介绍两个最简单常用的移动平均法:简单移动平均法(Simple Moving Average)和加权移动平均法(Weighted Moving Average)。

移动平均的适用条件

  移动平均(Moving Average)是一种简单平滑预测技术,通过在时间序列上逐项推移取一定项数的均值的方法来表现指标的长期变化和发展趋势。因为取的是一定项数的均值,所以使用移动平均的指标需要满足以下几个条件:

  • 指标没有明显的快速增长或下降的趋向
  • 指标不具备周期性波动的特征

  移动平均的最重要目的是消除指标的随机波动,如果指标不满足以上的两个条件,可能移动均值的平滑能力无法对指标做出准确的预测,那么移动平均也就失去了它的效用。移动均值主要基于对历史数据的平滑来预测实际数据,所以一方面对于历史数据过度依赖,另一方面对于现实的变动不够敏感,尤其是在使用多期均值时,这也是移动均值的两个缺点。

简单移动平均法

  简单移动平均(Simple moving average, SMA),将时间序列上前n个数值做简单的算术平均。假设用X1到Xn来表示指标在时间序列上前n期中每一期的实际值,那么第n+1期的预测值可以用以下公式来计算得到:

Xn+1 = ( X1 + X2 + …… + Xn ) / n

  在Oracle数据库可以使用开窗函数直接计算得到简单移动平均值,比如要从每天的销售表(sales)计算近10天销售额(amount)的移动平均数与每天的销售额进行比较,可以用如下的PL/SQL实现:

SELECT date_id “日期”,SUM(amout) “每天销售额”,AVG(SUM(amount)) OVER(ORDER BY date_id ROWS BETWEEN 10 PROCEDING AND CURRENT ROW) “销售额移动均值” FROM sales GROUP BY date_id ORDER BY date_id;

  Oracle内置了一堆的分析函数可以调用,直接用于各类的聚合和分析指标的计算,非常方便。

加权移动平均法

  加权移动平均(Weighted moving average, WMA),在基于简单移动平均的基础上,对时间序列上前n期的每一期数值赋予相应的权重,即加权平均的结果。基本思想是:提升近期的数据、减弱远期数据对当前预测值的影响,使预测值更贴近最近的变化趋势。我们用Wn来表示每一期的权重,加权移动平均的计算公式如下:

Xn+1 = W1×X1 + W2×X2 + …… + Wn×Xn

  这里需要满足W1+W2+……+Wn=1,对于各权重的确定,可以使用经验法根据需要进行赋权:如果希望预期值受前几期数据的影响逐步加深,则可以赋予递增的权重,如0.1,0.2,0.3……;如果希望加深最近期的几个数值的影响,以反映最近的变化,则可以适当加大近1-2期的权重,根据适应实际情况结合测试来完成赋权。我们来比较下简单移动平均(下图SMA线,取近5期均值)和加权移动平均(下图WMA线,取近5期加权均值,权重依次为0.1, 0.1, 0.2, 0.3, 0.3):

SMA_WMA

  可以看到无论是简单均值线还是加权均值线都要比实际值的波动小了很多,也就是平滑的效果,更多的是展现一个大体的趋势,而加权平均相较于简单平均的差异就在于加权平均更加注重近期的影响,所以这里的WMA绿线比SMA的红线更贴近前两期的数值趋势。

移动平均实例

  还是结合实际的例子来做下说明。在电子商务数据分析里面,我们最关注的就是每天的销售额,我们用Excel里面的移动平均的趋势图可以反映出指标的变化趋势:

3per_Mov_Avg

——3周期移动平均(虚拟数据)

  上面展现的是移动平均法的用途之一——分析趋势,其实我们也可以用移动平均来进行数据监控和预警

  用移动平均法可以计算得到一个本期的预测值,我们可以将这个预测值作为本期预期可以实现的量,并用这个预期量与实际量进行比较,要分析实际量与预期量之间的差距。还是基于销售额,不过销售额可能存在明显的递增或递减趋势,于是我们除以消费用户数,于是就得到了所谓的ARPU值(Average Revenue Per User),这个是电子商务乃至任何消费型网站的关键指标之一,还是使用简单移动平均来比较实际值和预期值的差异:

ARPU_SMA_diff

——ARPU监控表格效果(虚拟数据)

  表格的数据展现已经可以一目了然的看到实际ARPU值与预期的差异、差异的大小等,下面再结合图表来看一下:

ARPU_SMA_diff_chart

——ARPU监控图表效果(虚拟数据)

  两条比较的折线结合绿涨红跌的蜡烛图,能够对指标的变化情况了如指掌。结合上面的表和图的数据和效果,似乎对于数据的监控变得简单很多,即使是直接的观察也能快速地发现数据的异常,这些方法对于网站的一些关键指标,诸如转化率、人均消费、活跃度等指标的日常监控分析非常实用和有效。

  如果你认为这些表和图对于指标监控还不够,那么就建一套自动的Alert系统吧,就像Google Analytics上面的Intelligence一样,如果指标的降幅或者涨幅超过正常范围(可以设定一个合理的阈值)就向你的邮箱发送报警邮件,这个对于敏感数据的监控异常有效。

  我要介绍的就是这些了,切忌所有的方法和数据的处理都要根据实际的环境、具体的业务和运营状况来进行设定和分析,这里只是我的想法和对移动平均法的简单应用,在不同的环境下也许还可以扩展出许多不同的应用。你是不是也在用类似的方法?欢迎与我分享 :)

网站内容评分模型

scoring   我们可以看到目前很多的网站都会有内容评分,无论是电子商务、信息分享还是内容下载。内容的评分主要分为两类,一类是用户对内容的评分,主要针对用户的使用感受,如电子商务网站的商品评分,内容分享网站的内容评分等,这个也是目前最普遍的评分模式,而内容的综合评分的计算也相对比较简单,大多是取所有用户评分的均值;另一种评分方式就是网站自身对内容的评分,主要针对用户的历史行为数据,如通过用户对内容的访问情况评价内容的热门程度等。

  这里要介绍的网站内容评分模型主要针对第二类的评分方式,因为评分的分值是相对固定的,100分制、10分制还是5分制,而用户相对于每个内容所产生的行为数据的数值却千差万别,可能是千数量级,也可能是万数量级,甚至是百万数量级,如何将这些数据转化成标准的评分体制,并让最终的分值分布更加合理化、有效化,从而让真正优质的内容获得较高的评分,并推荐给用户,是这里重点要解决的问题。

内容评分实例

  介绍应用的案例前,先要说明下应用的环境和具体的需求:假设有一个内容分享网站,需要将网站中的内容进行评分,以5分制的形式展现,即每个内容的评分只可能出现1-5这5个分值,目的是展现出网站中每个内容的热门程度,为用户的选择和阅读提供参考。

  这是一个最简单的内容评分的应用,上面已经非常明确的说明了评分的目的——区分内容的热门度,以及最终的数据展现——以5分制的形式展现。对于这样一个明确了的数据需求,我们就可以选择指标、搭建模型、并最终输出结果。

1、选择指标

  评价内容的热门度,貌似挺简单的,直接用内容浏览量(PV)作为评定指标不就行了?确实,PV是个不错的选择,也是最简单的一种选择,但其实还有更好的选择,访问数(Visits),访问用户数(UV),这两个指标能剔除同一个用户短时间内连续刷新同一内容的情况,所以我们不妨选择访问用户数UV来作为评价指标。

2、构建评分模型

  现在开始才是文章的关键内容,显然,需要对内容的热门程度进行评价首先要消除指标的度量单位,并把分值的分布区间控制在要求的范围内——1-5分。

  消除度量单位?也许你已经想到了,是的,还是数据的标准化,这篇文章中的方法已经在多处使用,可以说是很多数据分析和数据挖掘的基础步骤。

Min-Max归一化评分

  Min-Max是最常用的数据归一化方法(详见数据标准化这篇文章的描述),处理后的数据分布在[0,1]的区间内,接下来只要把0-1的数值转化1-5这5个分值就行。很简单,先乘以4使数据落在[0,4]的分布区间,四舍五入,是不是只剩下0-4这5分分值了,再加1就可以得到我们想要的结果了。我们来看看处理后的各分值内容分布情况的示例:

min-max-scoring

  根据上面各分值内容分布图可以看出Min-Max的评分结果的每个分值的内容数量分布是不可控的,一般会跟网站中热门内容和冷门内容的比例直接相关,所以当某些网站的热门内容只占网站所有内容的20%,并且这些内容的访问量异常高,占据了所有网站访问量的80%,也就是我们平常说的符合二八法则。那么可能出现的情况就是大部分的内容评分集中在1分,小部分集中在5分,而中间的2、3、4分的内容分布非常少,其实上图就有点偏向这个趋势,但其实很多时候我们期望的内容分布可以偏向正态,也就是大部分内容能分布在中间分值,两端分值的内容数据相对较少,于是就有了下面的另一种评分模型:

Z标准化评分

  如果你的网站的内容数量很多,那么就可以使用Z标准化(详细描述还是参见数据标准化那篇文章,这里不重复了)。Z标准化的好处是可以让数据呈现正态分布的趋势(不是正是我们想要的吗 :P ),标准化后的数据趋于N(0,1)的正态分布,也就是整体的均值为0,标准差为1。再想想办法让他们变成只是1-5这5个分值,当标准化后的数值:

小于等于-1.5(即-1.5σ)时:1分

大于-1.5(即-1.5σ)小于等于-0.5(即-0.5σ)时:2分

大于-0.5(即-0.5σ)小于0.5(即0.5σ)时:3分

小于等于0.5(即0.5σ)小于1.5(即1.5σ)时:4分

大于等于1.5(即1.5σ)时:5分

  如果数据符合标准正态分布,那每个分值的比例大概是,1分和5分的内容分别占7%,2分和4分的内容分别占23%,3分的内容占40%。我们再来看看用这个方法得到的评分结果的分布情况:

Z-normalization-scoring

  是不是看到你想要的结果了?

3、输出结果

  当然内容评分的展现方式有很多,下面是几个网站的评分截图,其实都不错。 :)

douban-scoring

verycd-scoring

  上面介绍的主要是针对单一指标的内容评分体系,其实在很多情况下内容的评分是诸多指标共同影响的结果,那么内容的评分应该考虑所有这些影响因子,应该构建相应的模型计算内容的综合评分,这里不展开,之后有机会再介绍。

关键指标背后的秘密

secret-of-kpi  前面的一篇文章介绍了可以用来评估KPI的数据上下文——质量控制图,通常我们会用KPI来衡量一些内容的质量、流量的质量,以及访问的质量等,我们经常根据KPI指标直接排序,并认为排在前几名的就是优质的内容,但其实这种方式并不是对所有的KPI都有效。举个最简单的例子:转化率Conversion Rate是很多网站的KPI指标,一般我们会让为Conversion Rate越高则渠道质量越好,或者内容质量越高,但有一种情况,如果网站内容普遍的转化率为10%,但有一个内容的访问次数一共2次,其中有一次实现了成功的转化,那该内容的转化率就是50%,是不是很“高”?是不是真的有这么高?

  所以我们在分析关键指标的变化趋势,控制KPI的质量的时候,还需要注意一个问题,那就是如何运用KPI进行有效的评价

  其实Google Analytics已经给了我们答案,在前段时间推出了Weighted Sort(赋权排序)的功能,Avinash Kaushik先生在先前的博文——End of Dumb Tables in Web Analytics Tools! Hello: Weighted Sort对这个功能做过介绍,因为近段时间需要用到这个功能,但我的数据并不在GA上,所以我必须自己设计一套给关键指标赋权的体系,以发现到底这些KPI值可以达到多少预期,这里来分享下我的应用实例。

KPI期望值公式

  还是以转化率Conversion Rate为例,电子商务中每个商品的转化率应该是:购买该商品成功的数量/该商品被浏览的次数,所以从统计学的角度来看,当商品的浏览次数(不妨叫做基数,数学上的集合元素个数或者统计学上的样本总数)这个基数越大时,转化率CR的置信度也就越高,同样是10%的转化率,浏览次数为1000的商品显然要比浏览次数只有100的商品在转化率这个数值上的可信度要高,统计学上称为“大数定理”。

  根据上面的结论,我们需要根据每个商品转化率的真实值(Actual Value),权衡它的可信度,进而计算得到该商品转化率的期望值(Excepted Value),而这里的可信度就是真实值可以获得的权重,比如60%,那么还有个问题,既然是加权和,另外的40%的权重应该由什么来中和呢?参考GA中Weighted Sort的计算公式,用的是均值,也就是所有转化率的平均,非常不错的idea,于是我们可以得到以下公式了:

期望值(Excepted Value)=权重(Weight)×真实值(Actual Value)+(1-权重)×均值(Average Value)

  我们看看哪些数据我们现在就可以拿到,权重显然还不行,真实值应该已经统计得到了,均值?既然有了所有的真实值,那么均值就是一个取平均的简单计算了。好的,那下面就说说我是如何来确定这个权重的。

权重的确定

  先看看权重需要符合哪些原则,应该表现为怎样的一个特征。显然,权重的取值范围应该在[0,1],也就是0到100%之间;另外,权重跟基数应该是正相关的,也就是基数越大,权重应该越大。如果你看过我之前的文章——数据的标准化,是不是已经想到了什么?是的,里面有几个公式可以直接用,简单地说,就是将基数进行归一化处理。

  KPI的基数一般都是自然数,比如转化率的浏览次数、Bounce Rate的访问数,人均消费的用户数等,所以反正切函数atan不适用,min-max和log函数都适用,可以用散点图简单看一下分别用这两种方法归一化之后权重和基数的变化关系:

Min-max

min-max-plot

  Min-max是直线的正相关,也就是权重和基数同比例地变化,变化速度一直。

Log函数

log-plot

  Log函数是对数曲线的正相关,也就是权重的变化速度要比基数来得快。

  根据这两个方法的特征,我选择了log函数作为权重的计算函数,因为它更符合基数和可信度之间的关系。

应用实例

  既然KPI期望值的计算公式,及公式所有需要的数据都已经可以得到了,那么我们就来看看,KPI的基数是如何影响KPI的期望值的:

log-weight-fit

  即基数越大,期望值越接近真实值,反之,则越接近平均值。算法和公式确定之后,我们就可以将其应用到实际的案例当中去了,这里以网站的转化率CR为例,看看这个KPI期望值的算法是不是有效的。

渠道 进入访问数 转化访问数 真实转化率 权重 期望转化率
渠道1 1534 118 7.69% 79.81% 7.51%
渠道2 9817 641 6.53% 100.00% 6.53%
渠道3 682 43 6.30% 70.99% 6.45%
渠道4 136 11 8.09% 53.45% 7.49%
渠道5 795 69 8.68% 72.65% 8.17%
总计 12964 882 6.80%    

  表格中的例子是用转化率评价每个渠道流量的质量,比对加权前后的转化率情况,可以看到渠道4由于进入的访问数(基数)较小,所以预期的转化并没有真实值反映的那么好,甚至要差于渠道1;而渠道1因为基数较大,其真实转化率基本能够反映现实情况,渠道2因为基数最大,所以期望值就是实际值。

  你也不妨试着用上述的方法转化下你的KPI,发掘一下KPI背后到底隐藏着哪些真相,也许你会发现转化后的结果更加可信,更加能让数据需求方所接受了,那么这个转变就成功了。不要忘了在评论中发表下尝试后的感想,分享下你的使用经历。 

网站KPI的质量控制

——数据的上下文2

KPI-Quality-Control  前面的一篇文章——时间序列的趋势分析主要介绍的是通过同比和环比的方法为指标设置数据上下文(Context),从而观察和分析各指标在时间序列上的变化趋势,我的建议是在网站的目标指标(Goal)中使用这类方法。所以这篇文章就紧接着上一篇的专题,还是针对内部基准线(Internal Benchmark)的设定,主要解决的是网站关键绩效指标(KPI)的数据上下文的设置,推荐使用的分析工具是——质量控制图

为什么将质量控制图用于KPI

  需要明确一个工具可以用于何处,首先必须了解这个工具,所以概念和用处必不可少,这个可以直接参考质量控制图文章中的介绍,这里简单整理出几条适合于使用质量控制图的指标的前提条件:

  • 指标能够体现产品或功能的质量情况;
  • 指标能够持续地被观察测量,并且可以被量化,即从统计角度有足够的样本容量;
  • 在正常情况下,指标的变化趋势保持恒定,不是持续上涨或下降,也不会经常出现大幅波动,即符合正态分布。

  根据上述的适用条件,应该能够大概明白为什么要用控制图来作为网站KPI的参照设置标准,KPI是衡量网站的质量和表现的指标,在正常情况下,KPI可以保持稳定的趋势,不会出现大幅的波动。这跟网站的目标指标存在差异,一个运营良好的网站,它的目标(如收益)应该是保持稳定增长状态,而不是保持恒定,而它的KPI(如转化率)则应该保持恒定的趋势,除非受到了特定因素的影响或者网站做出了更改和变动。所以KPI指标的特点都符合使用质量控制图的条件。

KPI质量控制图的应用

  这里选择最常见的两个网站的KPI指标举例下应用的过程,一个是基于网站转化率(Conversion Rate)的P控制图,另一个是基于平均订单价值(Average Order Value, AOV)的X-MR控制图,这里的数据都以天为单位,选择15天的数据进行举例,数据也都是虚拟的。

转化率的P控制图

  这里以电子商务的交易转化率为例,我们需要获取每天的总访问数和完成交易的访问数,进而相除得到转化率,再根据P控制图的公式计算得到CL、UCL和LCL,为了图表的美观,我选择使用了样本容量取均值,也就是保证UCL和LCL的一致,而不是每天取各自的值,具体的数据见图表,包括15天的数据:

日期 总访问数 成功交易访问数 转化率 CL UCL LCL
2010-12-01 10231 201 1.96% 1.81% 2.16% 1.45%
2010-12-02 12874 229 1.78% 1.81% 2.16% 1.45%
2010-12-03 11229 231 2.06% 1.81% 2.16% 1.45%
2010-12-04 9870 201 2.04% 1.81% 2.16% 1.45%
2010-12-05 11804 237 2.01% 1.81% 2.16% 1.45%
2010-12-06 11652 224 1.92% 1.81% 2.16% 1.45%
2010-12-07 13259 236 1.78% 1.81% 2.16% 1.45%
2010-12-08 11891 167 1.40% 1.81% 2.16% 1.45%
2010-12-09 12876 213 1.65% 1.81% 2.16% 1.45%
2010-12-10 14562 240 1.65% 1.81% 2.16% 1.45%
2010-12-11 12933 259 2.00% 1.81% 2.16% 1.45%
2010-12-12 13548 241 1.78% 1.81% 2.16% 1.45%
2010-12-13 15230 256 1.68% 1.81% 2.16% 1.45%
2010-12-14 13815 276 2.00% 1.81% 2.16% 1.45%
2010-12-15 15766 248 1.57% 1.81% 2.16% 1.45%

  根据表中的数据很容易就可以画出相应的P控制图,见下图(添加了μ±2σ的线):

p-chart-sample

  最后就是根据控制图寻找数据可能存在的异常并找到发生异常的原因,根据上图比对控制图的控制规则,可以发现这15天的数据存在2个地方的异常:

  1. 12月8日的数据低于LCL,表现异常;
  2. 12月3日到12月8日的数据连续6天呈下降趋势,存在异常。

  到这里,数据层面的工作已经结束了,但接下去这一步却至关重要,就是分析发生异常的原因,这里抓住两个点:从12月3日开始数据呈下降趋势,12月8日到达低谷,之后开始反弹。那么我们可以知道很可能在12月3号的时候网站内部的调整或外部事件导致了数据异常的发生,并且持续到了12月8日,同时通过分析12月8日低谷的细分数据进一步明确到底是哪一块出现了问题,并做出及时的响应和调整,避免类似事件的再次发生。

订单均价的X-MR控制图

  还是电子商务的KPI——平均订单价值,即所有成交订单的总价值除以订单数,当网站运营的产品没有做出大幅调整时,一般这个指标是保持恒定的,并且因为是均值所以每天之差的波动幅度不会很大,所以可以使用均值-移动极差X-MR控制图。

  首先要先计算得到每天的平均订单价值,再通过当天与前一天的值相减计算得到移动极差MR,再根据X-MR控制图的公式计算得到CL、UCL、LCL,见下表(也是15天的数据):

日期 订单均价 MR X_CL X_UCL X_LCL MR_CL MR_UCL MR_LCL
2010-12-01 103.76 12.65 103.48 133.84 73.12 11.41 37.29 0
2010-12-02 129.12 25.36 103.48 133.84 73.12 11.41 37.29 0
2010-12-03 107.30 21.82 103.48 133.84 73.12 11.41 37.29 0
2010-12-04 97.45 9.85 103.48 133.84 73.12 11.41 37.29 0
2010-12-05 105.10 7.65 103.48 133.84 73.12 11.41 37.29 0
2010-12-06 115.78 10.68 103.48 133.84 73.12 11.41 37.29 0
2010-12-07 105.21 10.57 103.48 133.84 73.12 11.41 37.29 0
2010-12-08 98.78 6.43 103.48 133.84 73.12 11.41 37.29 0
2010-12-09 101.74 2.96 103.48 133.84 73.12 11.41 37.29 0
2010-12-10 96.53 5.21 103.48 133.84 73.12 11.41 37.29 0
2010-12-11 97.99 1.46 103.48 133.84 73.12 11.41 37.29 0
2010-12-12 114.20 16.21 103.48 133.84 73.12 11.41 37.29 0
2010-12-13 116.18 1.98 103.48 133.84 73.12 11.41 37.29 0
2010-12-14 80.29 35.89 103.48 133.84 73.12 11.41 37.29 0
2010-12-15 82.76 2.47 103.48 133.84 73.12 11.41 37.29 0

  X-MR控制图产生两张图,一张是均值X的控制图,另一张是移动极差MR的控制图,先是均值的(也包含了μ±2σ的线):

X-MR-chart-sample1

  再来一张移动极差的控制图:

X-MR-chart-sample2

  同样,还有最重要的一步,就是发现数据的异常和寻找异常发生的原因。首先来看均值控制图,比对控制规则可以发现最近3天中两天的数据都在μ-2σ线以下,这给了我们一个很好的预警信号——数据有变坏的趋势,我们需要去寻找原因并做出快速的响应和调整了;再看移动极差控制图,也有一个异常的规律——连续8个点在中心线以下,为什么?这段时间数据的波动极其平滑,或者相对的说明时间段的两端波动较大,是什么导致了这种异常的波动趋势?这些都需要从业务角度或者外部因素中去寻找原因。所以数据分析师不仅仅是计算和展现数据,更重要的是基于数据的分析,寻找数据背后的影响因素和数据变化的原因。

  上面就是我的两个应用,对于质量控制图,你是不是还能想到更加有创意的应用方案,欢迎跟我交流评论。这篇文章就作为2010年的收尾,祝大家新年快乐,希望2011能给大家带来更多的新意和惊喜,我的博客也会在新的一年里不断地向大家奉上更加精彩的内容,希望能跟大家一起不断地学习进步。

网站的活跃用户与流失用户

wastage  网站用户管理的目标是发掘新用户,保留老用户。但仅仅吸引新用户还不错,还需要保持新用户的活跃度,使其能持久地为网站创造价值;而一旦用户的活跃度下降,很可能用户就会渐渐地远离网站,进而流失。所以基于此,我们可以对用户进行又一个细分——活跃用户和流失用户。

活跃用户与流失用户

  活跃用户,这里是相对于“流失用户”的一个概念,是指那些“存活”着的用户,用户会时不时地光顾下网站,同时为网站带来一些价值。同时,我们还需要知道到底有多少用户可能已经抛弃了我们的网站,不可能再为网站创造任何的价值,也就是所谓的流失用户。

  流失用户,是指那些曾经访问过网站或注册过的用户,但由于对网站渐渐失去兴趣后逐渐远离网站,进而彻底脱离网站的那批用户。当然,一个网站一定会存在流失用户,这是网站用户新老交替中不可避免的,但流失用户的比例和变化趋势能够说明网站保留用户的能力及发展趋势。

  举个简单的例子,我们经常可以看到某些数据分析报告中说:某某网站的注册用户数已经超过几百万,但其实这些数据并没有太大的意义,因为可能这几百万里面很多用户都已经不再登录该网站(流失用户),真正最近登录过或有过操作行为的用户(活跃用户)其实不到一万。所以对于一个网站而言,真正有意义的是活跃用户数而非总用户数,因为只有这些用户在为网站创造着价值。

  活跃用户用于衡量网站的运营现状,而流失用户则用于分析网站是否存在被淘汰的风险,以及网站是否有能力留住新用户。

活跃用户分析

  我的博客中之前的文章——用Engagement衡量用户活跃度中已经介绍了用户活跃度的衡量方法,并基于Engagement的定义计算网站的活跃访问量(Visits),同样可以用这类方法计算网站的活跃用户数(Unique Visitors)。同时可以计算不同时间区间的活跃用户数,比如每天、每周、每月……这里就不再详细介绍了,需要注意以下几个问题:

  1. 用户Engagement的定义,并以唯一用户为单位进行统计;
  2. 只要用户有任一一个Engagement的行为,就可以定义为活跃用户;
  3. 不要仅关注活跃用户数,试着分析活跃用户的变化趋势和所占比例。

流失用户分析

  流失用户的定义比较简单,就是一段时间内未访问或登录过网站的用户,一般流失用户都是对于那些需要注册、提供应用服务的网站而言的,比如微博、邮箱、电子商务类网站等。不同网站对于流失的定义可能各不相同,对于微博和邮箱这类用户几乎每天登录查看的网站而言,可能用户未登录超过1个月,我们就可以认为用户可能已经流失了;而对于电子商务而言,可能3个月未登录或者半年内没有任何购买行为的用户可以被认定是流失用户。下面的分析主要是基于网站的注册用户的,因为这类用户更容易识别,而且分析这类用户的流失情况对网站而言更有意义。

数据的获取

  流失用户是通过用户的最近一次登录距离当前的时间来鉴定的,所以要分析流失用户,需要知道每个用户的最后一次登录时间,而对于不同网站而言,这个时间间隔会各不相同,最长可能会有1年或者更久,所以在数据获取方面会有一定的难度。如果分析的是注册用户,那么一般网站都会在数据库中建相应的表来存放用户信息,所以建议在储存用户基础信息的同时记录用户的最近一次登录时间,这样就能够准确地计算用户最近一次登录距离当前的间隔时间,进而区分该用户是否流失。

流失用户变化趋势

  首先需要明确的是用户的流失可能并不是永久的,也许用户在一段时间内对网站确实没有任何需求,那么他会远离网站一段比较长的时间;或者流失用户也会因为网站的某次营销或者网站质量的改善而重新回来。网站总的流失用户数的计算比较简单,以超过1个月内登录即为流失为例,那么总流失用户数就是所有“当前时间点-用户最近一次时间点>1个月”的用户数量。但是单纯的总流失用户数量对于分析是没有意义的,因为大部分情况下这个数值是一直递增的,我们需要计算总流失用户数占总用户数的比例及新增流失用户数,观察它们的变化趋势,如下表:

日期 总用户数 流失用户数 新增流失用户数 用户流失率
2010年8月1日 325694 228451   70.14%
2010年8月2日 326127 228925 474 70.20%
2010年8月3日 326789 229507 582 70.23%
2010年8月4日 326297 230023 516 70.49%
2010年8月5日 326913 230618 595 70.54%
2010年8月6日 327514 231209 591 70.60%
2010年8月7日 328163 231672 463 70.60%
2010年8月8日 328517 232216 544 70.69%
…… …… …… …… ……

新用户流失率

  也许你的网站已经吸引了一批新的访客,并且他们成功注册成为了网站的用户,你有了一个好的开始,已经成功了一半,那么另一半呢?就是如何保留住这些新的用户,让他们持续地为网站带来价值,这就是分析新用户流失率的意义。

  我们可认为新用户注册后就完成首次登陆,那么简单地定义新用户流失,就是用户在注册后一段时间内都没有登录过网站,即

当前时间点 – 用户注册时间点 > 流失临界时间间隔

  比如我们定义用户的流失临界时间间隔为1个月,也就是在注册后的一个月内未登录的用户意味着已经流失,那么就可以计算每天的新用户流失数,即注册时间为1个月前的那一天,而从注册到当前没有登录过的用户数。这个用户数与1个月前的那一天的总注册用户数的比例就是新用户的流失率

当天的新用户流失数 / 当天的总注册用户数 = 新用户流失率

  计算出每天的新用户流失率,并观察它的变化趋势:

new-user-wastage-rate

  网站能否保留住新用户就在于是否能够不断地降低新用户的流失率。

  总结,这里主要介绍的是如何分析网站真正拥有的有价值的活跃用户的数量以及网站保留这些用户的能力,可以用流失用户的变化趋势来衡量网站用户的总体流失情况,用新用户流失率衡量网站保留住新用户的能力,而分析活跃用户数的比例和变化趋势分析能够衡量网站现有用户的质量和价值。

网站新老用户分析

New-Returning-Visitors  网站中新老用户的分析已经成为了网站分析中常见的一类用户细分的方法,也是网站分析中用户分析的一个重要组成。Google Analytics中对新老用户的命名分别为New Visitors和Returning Visitors,同时也为许多的分析指标提供了基于新老用户的细分。

  简单地说,新用户就是首次访问网站或者首次使用网站服务的用户;而老用户则是之前访问过网站或者使用过网站服务的用户。无论是新老用户都能为网站带来价值,这也是分析的意义所在。

分析新老用户的意义

  网站的老用户一般都是网站的忠诚用户,有相对较高的粘度,也是为网站带来价值的主要用户群体;而新用户则意味着网站业务的发展,是网站价值不断提升的前提。可以说,老用户是网站生存的基础,新用户是网站发展的动力,所以网站的发展战略往往是在基于保留老用户的基础上不断地提升新用户数。

  所以分析新老用户的意义就在于:通过分析老用户,来确定网站的基础是否稳固,是否存在被淘汰的危机;通过分析新用户,来衡量网站的发展是否顺利,是否有更大的扩展空间。一个着眼现在,一个放眼未来。

新老用户的辨别

  对于网站用户的识别,之前写过一篇相关的文章——网站用户的识别,里面主要是在基于点击流日志的基础上提供的4类识别用户的方法,可以作为参考。但对于新老用户的辨别可能根据网站自身的特定而有不同的定义方法。

  最常见的一种辨别新老用户的方式就是看该用户之前是否访问过网站,也就是以用户是否首次访问来区分,GA就是使用Cookie来定义新老用户的,即该Cookie之前出现过则该访客为老用户,否则为新用户。这个定义适用于所有网站,但有它不准确的地方,Cookie的删除、用户更换PC等都会造成数据上的偏差。

  另一种辨别方式相对准确,但一般只适用于注册登录型网站,即定义首次注册登录的用户为新用户,再次登录的用户为老用户,而不是使用首次访问来辨别。这种区分方式一般以用户ID或用户名来辨别,相对准确,但应用的范围有限。

新老用户分析

  网站的目标在于保持老用户,拓展新用户,那么对于网站数据分析上的表现,则是在保持老用户数量的稳定增长的前提下,提升新用户的所占比例

  对于大部分发展正常的网站而言,网站的老用户数应该是保持相对稳定的,并且会有持续的小幅上涨,可以看一下GA上我的博客每周老用户数的趋势变化:

returning-visitors-trend

  可以通过GA的Dashboard上的Advanced Segments选择Returning Visitors,并选择合适的时间区间和汇总粒度(日、周、月)显示趋势变化曲线。这条平滑的上升曲线说明网站的发展是趋于正常的。

  但并不是所有网站的老用户趋势都会如此的平滑,比如旅游网站,旅游业会明显地受到季节的影响呈现比较大的波动,所以这里要引入同比环比的概念进行分析。

同比指的是为了消除季节变动的影响,将本期的数据与去年同期的数据进行比较,比如今年2月的数据与去年2月数据的比较;

环比指的是将本期的数据与前期的数据进行比较,可以是日环比、月环比、周环比等,例如今年2月与今年1月的数据比较。

  同比和环比被大量地应用于基于时间序列的趋势分析中,对于网站而言,访问量、销售额、利润等网站关键指标同样可以引用同比和环比进行分析,对于分析这些指标的变化趋势,消除季节的影响等都是有积极的效果。下面是一张基于同比和环比的旅游类网站老用户数据模拟趋势分析图:

returning-visitors-tb-hb

  从图上可以看出由于季节的影响,老用户数的波动比较大,所以相应的环比增长的波动也很大,但同比增长的趋势却相对平滑,一直保持在10%左右的增长率上面,这就可以看出网站对保持老用户是有效的,网站的运营状况较为稳定。

  可能有人会问,为什么要用绝对数量,而不是用相对数量,比如老用户占总访问用户的比例来进行趋势分析?这里主要考虑到网站会不定期的进行主动地推广营销,或者由于某些事件或媒体传播的影响而产生的被动推广的效果,这个时候可能会吸引大量的新用户进入网站而导致老用户比例的急剧下滑,而老用户的绝对数据对于网站而言相对稳定,更具参考价值。

  新用户的绝对数量并没有老用户这么稳定,也不一定会保持增长的态势,而对于新用户的分析主要是为了衡量网站推广的效果,评估上述主动营销或被动事件带来的影响,所以不建议使用绝对数值,既然老用户相对稳定,那么就可以基于新用户比例的变化趋势来分析网站某段时间的推广效果。GA的Benchmarking中提供的也是New Visits所占比例与其他网站基准线的趋势比较:

new-visits-trend

  往往曲线中某个时间点的大幅上升或下降都意味着某个营销事件的影响,而当曲线持续下降时就意味着网站推广效果的不利,需要增大推广的力度。

  如果你有关于网站新老用户分析更好的见解,欢迎评论。

提升用户满意度

——让用户更容易地找到需要的信息5

customer-satisfaction  在前一篇文章——用户任务完成度分析中我似乎遗漏了一个重要的问题:为什么要分析用户的任务完成度?其实每个网站分析的方案和模型都应该具备它的目的和意义,否者就失去了分析的价值。所以这篇文章就是为了回答这个问题,同时也作为“让用户更容易地找到需要的信息”专题的完结篇。

  所以这里先提出一个假设:让用户更容易地找到需要的信息进而帮助用户完成预期的任务,能够有效地提升用户满意度。

用户满意度的影响因素

  我们不妨先来看一下用户满意度是怎么定义的,根据美国顾客满意度指数模型(ACSI, American Customer Satisfaction Index)的描述,用户满意度是用户对产品或服务的预期与实际接受的产品或服务的感受间的差距,差距越小,满意度越高。对于以信息服务为主的网站而言,用户访问网站的预期就是找到自己需要的信息,完成既定的任务(寻找信息、购物、娱乐等),那么如何衡量用户实际接受到的网站服务的质量水平,进而推测它们之间存在的差距?对于用户对网站实际的感受,可以从以下3方面体现:

  1. 用户是否完成预期任务(网站是否及格)
  2. 完成任务过程中良好的体验(也许网站能打八九十分了)
  3. 感受创意或意外的收获(获得附加分的机会)

  所以,保证用户完成预期的任务是网站质量的及格线,也可以看作是网站的生命线。那么任务完成度对于用户满意度是否有这么重要的影响呢?我们需要对以上的假设进行验证。

任务完成度与用户满意度

  为了验证任务完成度是否对用户的满意度有显著的影响,我们在统计用户任务完成情况的同时,需要收集用户对网站的满意度,所以上篇文章问卷调查中对用户满意度的打分题中采集到的数据就有了用武之地。我们可以通过比较完成任务的用户与未完成任务的用户对满意度的打分是否存在显著性差异的方法来验证任务完成度对用户满意度的影响是否显著。

  这里可以使用两组独立样本T检验的方法,把问卷调查中采集到的样本数据分为两组,一组是未完成任务的用户的满意度打分,另一组是完成任务用户的满意度打分,我们可以认为这两组数据都是近似的符合正态分布,进而比较这两组样本的总体均值是否存在显著差异。(或许你认为这个结果是显而易见的,这个验证完全是多此一举,那就当我是画蛇添足,无聊打发时间吧。 ;)

  首先提出零假设:

H0 : μ1 = μ2

  再将收集到的样本数据通过SPSS或Excel的数据分析功能进行双样本均值T检验,过程就不详细论述了,不然估计很多用户立马会离开网站甚至直接关闭浏览器了。

cs-T-test

  从SPSS的分析结果中可以看出,完成任务与未完成任务用户的满意度打分均值(上面一张表Mean值)可以看出,完成用户的满意度均值明显大于未完成用户。从下面那张表的95%置信区间的检验结果可以看到,F检验的显著性概率为0.847>0.05,所以我们可以认为完成任务用户与未完成任务用户的满意度打分的样本方差没有明显差异;而T检验的显著性(双尾)概率近似于0,小于0.05,因此拒绝零假设,即两个样本的总体均值存在显著差异,进而我们可以得出完成任务的用户满意度显著地高于未完成任务的用户满意度。

  通过上面的分析,我们验证了文章一开始提出的假设,即用户的任务完成度对提升用户的整体满意度有显著的影响。那么如何通过提高用户的任务完成度来提升用户满意度呢?

如何提升用户满意度

  提升用户满意度,我们可能需要做很多事情,从全局到细节,需要处处为用户的体验和感受着想。既然我们已经验证用户的任务完成度对用户满意度会产生显著影响,那么我们可以先从提升用户的任务完成度开始。这里可以参考我之前写的关于如何让用户更容易地找到需要的信息的4篇文章——优化网站信息架构优化网站内部搜索优化网站导航设计优化相关内容推荐

  这些优化可以从普遍的层面上提高用户的任务完成度,但显然以上这些还是不够的,因为用户的知识构成存在着差异,用户遇到的问题也会各不相同,所以上篇文章的问卷中当用户未完成任务时填写的为什么没有完成任务的开放性问题就能发挥作用了,我们需要针对各类用户(甚至个别用户)遇到的不同问题分别提供有效的解决方案,这也是为什么很多网站都会设置FAQ甚至在线客服的原因。

  所以我们首先要满足用户访问网站的最基本的期望——完成他们预期的任务,从该层面上提升用户满意度,下面是我画的一个简单的示意图,就作为文章的结尾吧:

task-completion-customer-satisfaction

用户任务完成度分析

wow_tasks  欢迎来到艾泽拉斯大陆……如果你玩过魔兽世界,也许你在里面完成过无数个任务;当用户在访问网站时,其实他们也在试图完成某些特定的任务。

  也许大家都比较熟悉网站目标(Goal),因为很多网站分析工具都提供了基于目标的分析,网站目标更多地是从网站的角度去定义的,比如电子商务网站的目标就是促成有效的交易;而用户任务(Task)则是从用户的角度去定义的,用户会有自己的目标,比如用户上电子商务网站可能只是为了查询某些商品的信息,询价,或者只是单纯的逛逛。所以每个用户带着自己的任务访问网站,这些任务可能各不相同,这无疑给分析带来了一定的难度。

关于任务完成度的定义

  其实跟前面一篇文章——用Engagement衡量用户活跃度中的Engagement度量类似,用户任务也是一个非标准度量,而且根据网站的不同和用户访问目的的不同而显得千差万别。但用户任务完成度(Task Completion)与Engagement也存在着差异,Engagement定义的是用户的行为或动作,只要发生我们就认为用户参与了;而任务完成度定义的是结果,只有当用户的某个需求被实现时(如购买成功、获取到了相关信息、通过网站解决了某个问题……)才能认为用户完成了任务。

  用户的Engagement不会直接影响网站目标,那么用户的任务完成度是否会对网站目标有直接影响呢?如果说网站目标(Goals)是从网站的角度衡量网站的商业目的(Business Objectives)是否实现的话,那么任务完成度(Task Completion)则是从用户的角度衡量用户的期望(User Expectation)是否达到。所以只有当网站目标与用户的任务一致时,我们才能认为用户任务完成度会对网站目标产生直接影响,因为两者衡量的都是结果,所以这种直接的影响有些时候甚至是可以划等号的。

  既然用户访问网站的目的各不相同,每个人都带着各自的任务,那么我们如何获悉用户访问网站到底是来做什么的呢?

如何获取用户的任务信息

  用户任务是一个非标准度量,并且是由用户自己决定的,我们似乎无法从点击流日志的用户行为分析中辨认用户到底是以什么样目的访问网站,我们需要直接向用户寻求答案。

  前几天在Justin Cutroni的博客Analytics Talk看到了一个有意思的在线问卷调查,其实就是简单的2-3个问题,关于你为何来到这个网站,你完成了预期的任务吗,以及你对这次网站浏览的满意度如何,最后再加上一个可以自由填写的反馈,Justin Cutroni使用的是http://www.4qsurvey.com/这个网站提供的在线问卷服务,好像蓝鲸的博客也提供了在线问卷,他使用的是http://polldaddy.com/,还有一个提供反馈的功能http://www.kampyle.com/。其实这些都是收集用户信息的好办法,通过调查问卷(Survey)的方式让用户来告诉你答案。

  如果我们需要分析用户的任务完成度,可以设计一个简单的在线问卷,提供在线问卷调查的网站很多,国内的国外的、免费的收费的,其实操作都比较简单,但首先我们需要注意一下几个问题:

  1. 什么时候向用户提供调查问卷?如果是分析任务完成情况,那么很明显要在用户离开网站的时候;
  2. 以何种方式提供问卷?比较常见的是弹出窗口或跳转链接,但无论用什么方式建议都先礼貌地问下用户是否愿意填写问卷;
  3. 在用户完成问卷时不要忘记感谢用户的支持,或者让用户留下邮箱以告知他们调查分析的结果,这些都是他们应得的,当然也可以借机推广你的网站;
  4. 问卷的设计,这是个复杂的问题,完全可以写本书了,这里只是提供用户任务完成分析的问卷设计,我的建议是如果不是一次全面系统的网站分析问卷调查,那么尽量减少问卷中的问题数量,而且尽量要一开始就告诉用户问卷的长度及可能占用他们多少时间。其实如果只是分析用户任务完成度,3个问题就足够了:

task-completion-survey

分析用户的任务完成度

  基于从问卷调查中获得的数据,我们可以借用一些图表来分析用户的任务完成情况。

  首先,必须明确用户任务也是基于用户在网站上的一次访问(Visit)。一般用户一次访问只是为了完成一个任务,所以对于大部分网站而言,更偏向于衡量一次访问的任务是否完成而不是完成的百分比。所以这里的任务完成度(Task Completion) 的定义并不是每次访问用户完成任务的程度,而是所有的用户访问中完成任务的访问占所有访问的比重,即

任务完成度 = 完成任务的访问数 / 总访问数

  可以基于任务类型进行细分,以电子商务网站为例,假如问卷中的任务选项包括:

  • 购买商品
  • 查询商品信息
  • 售前售后咨询
  • 其它

  根据问卷采集的数据可以得到下图:

task-completion-segment

  基于任务类型的细分,可以分析每类任务的用户访问量所占比例(左侧饼图),以及每类任务的完成情况(右侧柱状图,总高度为每类任务的总访问量,,蓝色区块的高度为完成任务的访问数,可以看出每个任务类型中完成的访问数所占比重)。如果网站中进行的是长期的问卷调查,同样可以对每类任务的完成度进行趋势分析,如下图:

task-completion-trend

  趋势分析可以有效地掌握用户在网站中完成任务的变化情况,进而衡量网站在运营优化上面取得的成果。

  接下来该由你来做些什么了,你可以尝试用你的方法寻找更恰当的图表来展示和分析数据。