在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。
为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1, x2, x3, … xn），Y=（y1, y2, y3, … ......» 阅读更多: 距离和相似度度量 存档在 ‘参考资料整理’ 分类
距离和相似度度量
2011年10月7日 在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。
为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1, x2, x3, … xn），Y=（y1, y2, y3, … ......» 阅读更多: 距离和相似度度量 合并和比较度量
2011年6月28日
——数据的上下文4
往往我们在做分析的时候需要结合各类基本的指标进行二次计算合并得到一个可以用于进行综合评价或比较的度量，这个过程中就需要涉及到一些指标的合并技巧，和比较基准的设定。其实之前“数据上下文”的系列文章中也一再强调了我们需要为指标设定合理的参考系来评价指标的趋势或表现的好坏，之前提供了一系列的方法，但这篇文章里面要介绍的方法应该是最简单方便的，同时不失实用性，得益于《用户体验度量......» 阅读更多: 合并和比较度量 网站分析的基本度量
2010年3月14日
我们在使用各种网站分析工具的时候，会看到很多不同的度量指标，可能不同的工具会有不同的命名和定义，这里列举一些常见的度量，简单说明一下它们是如何计算得到的。
下面的度量都是来源于网站点击流数据，但根据点击流数据获取方式的不同（来源于网站原始日志文件或通过beacons和JavaScript的方式获取的网站日志，如同样免费的AWStats和Google Analytics）得到的度量也会有差异，某些度量只有通过特定的方式才能获......» 阅读更多: 网站分析的基本度量 session和cookie的辨析
2010年3月2日
session和cookie是网站浏览中较为常见的两个概念，也是比较难以辨析的两个概念，但它们在点击流及基于用户浏览行为的网站分析中却相当关键。基于网上一些文章和资料的参阅，及作者个人的应用体会，对这两个概念做一个简单的阐述和辨析，希望能与大家共同探讨下。
session和cookie的最大区别在于session是保存在服务端的内存里面，而cookie保存于浏览器或客户端文件里面；session是基于访问的进程，记录了一个访问的开始......» 阅读更多: session和cookie的辨析 关于网络机器人
2010年2月24日
网络机器人也叫网络蜘蛛(Web Spider)，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络机器人通过网页的链接地址来寻找网页，通常由网站首页开始，根据链接依次抓取网页。
并非所有的网络机器人都是搜索引擎，同样会有翻译服务、订阅服务、阅读器等，甚至还有许多恶意机器人也会市场来访问你的网站。所以对网站中网络机器人相关的数据统计和分析也是部分必要的。
统计机器人信息的作......» 阅读更多: 关于网络机器人 WEB日志格式
2010年2月23日
WEB日志是网站分析和网站数据仓库的数据最基础来源，了解其格式和组成将有利于更好地进行数据的收集、处理和分析。
１、日志格式类型
目前常见的WEB日志格式主要由两类，一类是Apache的NCSA日志格式，另一类是IIS的W3C日志格式。NCSA格式又分为NCSA普通日志格式（CLF）和NCSA扩展日志格式（ECLF）两类，目前最常用的是NCSA扩展日志格式（ECLF）及基于自定义类型的Apache日志格式；而W3C扩展日志格式（ExLF）具备了更为丰富的输出信息，......» 阅读更多: WEB日志格式 
