可信度和有效度

在心理学度量中，可信度（Reliability）和有效度（Validity）是衡量准确性的两个标准。

In the psychometrics, reliability is the overall consistency of a measure. A measure is said to have a high reliability if it produces similar results under consistent conditions. For example, measurements of people’s height and weight are often extremely reliable.

Validity of an assessment is the degree to which it measures what it is supposed to measure.

可信度指的测量结果的一致性。信度高意味着在同样或类似的条件下重复操作，仍然可以得到该测量结果。举个例子，我们找到一个电子体重计在不同时间、不同地点测同一个人的体重，得到的数据始终是相同的，那么这种情况下可认为该结果信度高。

而有效度指的是测量结果反映预测的程度。还是体重的例子，克相比千克就明显效度更高。（虽然可能没这个必要=。=

p.s. 效度的概念比较复杂，可自行查阅wiki进一步了解。

Reliability and Validity (Source from Wikipedia)

再来看一个图例。此处的可信指的是黑点是否具有相仿座标，所以左下和右下的结果是可信的；而有效指的是黑点是否在一个预测范围（即靶子）内：左上的黑点分布在预测范围的一二象限，所以无效效；右上的黑点均匀分布在最外环这一靶子内，所以有效；左下的黑点分布在第一象限，无效；右下均匀分布在靶心，有效。但请注意，同样都是有效的情况下，右下数据的效度就明显比右上的好。

由图例可以发现，效度高低取决与实验度量单位，口径越小，效度越高。怎么应用这个概念？比如判断一个app是否好，用：1、简单易学，2、流程清晰，3、界面漂亮肯定就比只用一个维度（比如界面好不好看）要来的效度高。

这就产生了一个问题，虽然维度越多效度越高，但当我们试图应用实验结果时，无法分辨到底是哪一个维度对结果产生了直接影响（即p值）。这也是为什么，视觉类实验的结论要比HCI类结论的可用性更高，因为维度相对更少，容易拆开。

Though, just because a measure is reliable, it is not necessarily valid (and vice versa).

最后还要注意一点，数据可信不能推导出数据有效，同样的，数据有效不意味这数据可信。图例很好说明了这一点。在有条件的情况下，实验数据尽量要既可信也有效。

Source:
[Reliability](http://en.wikipedia.org/wiki/Reliability_(psychometrics)
[Validity (statistics)](http://en.wikipedia.org/wiki/Validity_(statistics)