【无标题】

序数回归模型(Ordinal regression)

一、定义与相关介绍

在统计学中，序数回归，也称为序数分类，是一种用于预测序数变量的回归分析类型，即其值存在于任意尺度上的变量，其中只有不同值之间的相对排序是显著的。它可以被认为是介于回归和分类之间的一个中间问题。有序回归的例子有有序logit和有序probit。顺序回归经常出现在社会科学中，例如在人类偏好水平的建模中（例如，1-5表示“非常差”到“优秀”），以及在信息检索中。在机器学习中，有序回归也可以称为排名学习。

Ordered logit model：我们也可以将此模型称为有序$logistic$模型，适用于顺序因变量和纯回归模型。例如，我们在调查中对任何关于任何产品的问卷进行了差、好、好和优秀的评价，我们想分析这些回答对下一个产品的预测效果。如果问题是定量的，那么我们可以使用这个模型。我们可以将其视为逻辑回归的扩展，它允许以有序的方式出现两个以上的响应类别。
Ordered probit model我们可以将该模型视为probit模型的一个变体，它具有一个序数因变量，我们可以有两个以上的结果。序数因变量可以定义为其中的值具有自然顺序的变量，例如坏、好、好、优。

二、序数回归的线性模型

有序回归可以使用**广义线性模型（GLM）**来执行，该模型将系数向量和一组阈值都拟合到数据集。
X = ( x 1 ( 1 ) x 1 ( 2 ) . . . x 1 ( p ) x 2 ( 1 ) x 2 ( 2 ) . . . x 2 ( p ) . . . . . . . . . . . . x n ( 1 ) x n ( 2 ) . . . x n ( p ) ) n × p → ( y 1 y 2 . . . . . . y n ) X= \left ( \begin{matrix} x_1^{(1)} & x_1^{(2)} & ... &x_1^{(p)} \\ x_2^{(1)} & x_2^{(2)} & ... &x_2^{(p)} \\ ... & ... & ... &... \\ x_n^{(1)} & x_n^{(2)} & ... &x_n^{(p)} \\ \end{matrix} \right )_{n\times p} \rightarrow \left ( \begin{matrix} y_1 \\ y_2\\ ...\\ ...\\ y_n\\ \end{matrix} \right ) X= ​x1(1)​x2(1)​...xn(1)​​x1(2)​x2(2)​...xn(2)​​............​x1(p)​x2(p)​...xn(p)​​ ​n×p​→ ​y1​y2​......yn​​ ​
$y_1,y_2,...,y_n$是一个尺度为{1，2，…，K}之间的顺序变量。我们假设认为$y$是一个非递减的向量，$y_i\le y_{i+1}$.

To this data, one fits a length-p coefficient vector w and a set of thresholds ${\theta }_1,...,{\theta }_{K-1}$with the property that ${\theta }_1<{\theta }_2<...<{\theta }_{K-1}$. 这组阈值将实数线划分为$K$个不相交的段，对应于$K$个响应级别。
现在可以将模型公式化为:
$$\mathrm{Pr}(y\le i\mid \mathbf{x})=\sigma ({\theta }_i-\mathbf{w}\cdot \mathbf{x})$$
或者，响应$y$最多为$i$的累积概率由应用于x的线性函数的函数$\sigma$（Inverse link function）给出。$\sigma$有几种选择。
$$\sigma ({\theta }_i-\mathbf{w}\cdot \mathbf{x})=\frac{1}{1+e^{-({\theta }_i-\mathbf{w}\cdot \mathbf{x})}}$$
给出了有序$logit$模型。

潜在变量模型

上述模型的probit版本可以通过假设存在实值潜在变量（未观测量）$y\ast$来证明:
$$y^{\ast }=\mathbf{w}\cdot \mathbf{x}+\epsilon$$
其中$\epsilon$服从条件为x的正态分布，平均值和单位方差为1。响应变量$y$由$y\ast$的“不完全测量”产生，其中只确定$y\ast$落下的区间：
$$y=\{\begin{array}{ll}1& \text{if}{y}^{\ast }\le {\theta }_1,\\ 2& \text{if}{\theta }_1<y^{\ast }\le {\theta }_2,\\ 3& \text{if}{\theta }_2<y^{\ast }\le {\theta }_3\\ ⋮& \\ K& \text{if}{\theta }_{K-1}<y^{\ast }.\end{array}$$
定义${\theta }_0=-\infty ，{\theta }_{k-1}=+\infty$,因此当且仅当${\theta }_{k-1}<y\ast \le {\theta }_k$ $y=k$。
根据这些假设，可以得出$y$的条件分布为:
$$\begin{array}{rl}P(y=k\mid \mathbf{x})& =P({\theta }_{k-1}<y^{\ast }\le {\theta }_k\mid \mathbf{x})\\ & =P({\theta }_{k-1}<\mathbf{w}\cdot \mathbf{x}+\epsilon \le {\theta }_k)\\ & =\Phi ({\theta }_k-\mathbf{w}\cdot \mathbf{x})-\Phi ({\theta }_{k-1}-\mathbf{w}\cdot \mathbf{x})\end{array}$$
其中$\Phi$是标准正态分布的累积分布函数，并承担Inverse link function$\sigma$的作用。单个训练示例的模型对数似然性$x_i,y_i$可以被写成：
$$\log \mathcal{L}(\mathbf{w},\theta \mid {\mathbf{x}}_i,y_i)=\sum _{k=1}^K[y_i=k]\log [\Phi ({\theta }_k-\mathbf{w}\cdot {\mathbf{x}}_i)-\Phi ({\theta }_{k-1}-\mathbf{w}\cdot {\mathbf{x}}_i)]$$
有序$logit$模型的对数似然是类似的，使用logistc函数而不是$\varphi$。