模糊粗糙集及数据降维

经典集合

定义

当前有n个元素，元素可以属于某个集合，也可以不属于某个集合，这样的属于关系为布尔型，要么完全属于，要么完全不属于。

比如当前有四个人:小明，李丽，大红，李雷

同时存在老年人集合：{李丽，大红，李雷}，则由该老年人集合的信息可知，小明完全不属于老年人，而李丽等人完全属于老年人。

我们接下来将设$\mathbb{U}$为论域，而$x$为$\mathbb{U}$中的元素。而$A$为经典集合，且$A\subseteq \mathbb{U}$。每个元素$x\in A$或$x\notin A$。若用有序对来表示元素与集合的从属关系，则$(x,0),(x,1)$分别表示$x$不属于和属于$A$。

若两个集合包含完全相同的元素，则称它们相等。集合A的基数代表集合元素的数量，通常表示为$|A|$，例如之前的老年人集合，$|A|=3$，同时，空集的基数为0，表示为$\varnothing$.

子集

若集合$A$中所有元素均属于集合$B$，则称$A$为$B$的子集，$A\subseteq B$。若满足上述条件的同时，A不等于B，则称$A$为$B$的真子集,$A\subset B$。

运算

有几种运算可以运算于集合，这里仅考虑基本运算。

并集

两个集合$A$和$B$的并集$A\cup B$，包含A和B的所有元素。我们可以定义为$A\cup B=\{x|(x\in A)or(x\in B)\}$，且有以下性质:

$A\cup B=B\cup A$
$A\subseteq A\cup B$
$A\cup A=A$
$A\cup \varnothing =A$

交集

两个集合$A$和$B$的并集$A\cap B$，包含$A$和$B$的共同元素。我们可以定义为$A\cap B=\{x|(x\in A)and(x\in B)\}$。$A$和$B$没有共同元素的情况下，它们的并集为空集。交集有以下性质：

$A\cap B=B\cap A$
$A\cup B\subseteq A$
$A\cap A=A$
$A\cap \varnothing =\varnothing$

补集

$A$在$B$中的相对补集（或称为集合论差分）为$B$集合中有的元素，同时$A$集合中没有的元素。我们将其表述为$B-A$或$B\backslash A$，我们定义为$B-A=\{x|(x\in B)andnot(x\in A)\}$.
我们将$\mathbb{U}-A$称为$A$的绝对补集或简单补集，表示为$A^{{}^{\prime }}$或$A^c$。

我们有以下性质：

$A\cup A^c=\mathbb{U}$
$A\cap A^c=\varnothing$
$(A^c{)}^c=A$
$A-A=\varnothing$
$A-B=A\cap B^c$

模糊集理论

在不确定情况下处理集合的一种独特方法是使用模糊集理论。该理论的主要目标是用一种方法来表达和解决那些过于复杂或定义不清而不适用于传统布尔型集合理论分析的问题。在该理论下，论域中的元素对于一个集合的隶属关系是处于是和非之间的，即渐进的。而经典集合论中，元素对于一个集合的隶属关系是明确的，要么属于，要么不属于。
在现实中的模糊性需要用数学语言进行描述的时候，就可以使用模糊集，并用主观知识来定义元素对于集合的隶属度。有助于减轻对不确定领域知识的编码要求。

定义

模糊集可以定义为一组有序对$A=\{x,{\mu }_A(x)|x\in \mathbb{U}\}$。函数${\mu }_A(x)$被称为$x$对于$A$的隶属度，论域可以是离散的，也可以是连续的。任何包含至少一个隶属度为1的元素的模糊集称为正规(normal)模糊集。

这里我们定义了一个属于Old集合的隶属函数。可知38岁的人与该集合的隶属度约为0.26，74岁的人与该集合的隶属度约为0.95，他们都属于Old这个模糊集合。
由于隶属函数的分布通常是主观的。一种构造隶属度函数的方法是使用投票模式，这种方法生成的模糊集基于现实。另一种方法是变量概率分布的积分。

运算

模糊集上最基本的运算是并集，交集和补集。这些是经典集合论中对应运算的模糊拓展。

模糊交集

两个模糊集$A$和$B$的并集(t-norm)，一般是由零到一的范围的二元运算。就如以下形式:

$t:[0,1]\times [0,1]\to [0,1]$

并集运算对于论域中的所有元素$x$，以$x$在模糊集$A$和$B$中的隶属度作为参数，得出构成$A$和$B$交集的集合中元素的隶属度等级。

${\mu }_{A\cap B}(x)=t[{\mu }_A(x),{\mu }_B(x)]$

不同的算子$t$会使运算方法不同，但所有算子的运算都必须遵从以下公理:

$\bullet t(x,1)=x$ (边界条件)

$\bullet y\le z\to t(x,y)\le t(x,z)$ (单调性)

$\bullet t(x,y)=t(y,x)$ (交换性)

$\bullet t(x,t(y,z))=t(t(x,y),z)$ (结合性)

以下是模糊交集常用的t-norm：

$t(x,y)=min(x,y)$ (标准交集)

$t(x,y)=x\ast y$ (代数乘积)

$t(x,y)=max(0,x+y-1)$ (界限差)

模糊并集

与模糊交集大致相同，两个模糊集A和B的模糊并集$(t-conormors-norm)$由一个函数来指定：

$s:[0,1]\times [0,1]\to [0,1]$

${\mu }_{A\cup B}(x)=s[{\mu }_A(x),{\mu }_B(x)]$

模糊并集运算需满足以下公理：

$\bullet s(x,0)=x$ (边界条件)

$\bullet y\le z\to s(x,y)\le s(x,z)$ (单调性)

$\bullet s(x,y)=s(y,x)$ (交换性)

$\bullet s(x,s(y,z))=s(s(x,y),z)$ (结合性)

下面常被用作模糊并集运算的t-conorm:

$s(x,y)=max(x,y)$ (标准并集)

$s(x,y)=x+y-x\ast y$ (代数和)

$s(x,y)=min(1,x+y)$ (界限和)

考虑到其易于计算，最常用的并集和交集运算是标准并集和标准交集。此后若没有特别提到，均使用这样的计算方法。

模糊补集

模糊集$A$的补集由一个函数指定：

$c:[0,1]\to [0,1]$

${\mu }_{cA}(x)={\mu }_{\neg A}(x)=c[{\mu }_A(x)]$

符合下述公理：

$\bullet c(0)=1，c(1)=0$ (边界情况)
$\bullet \forall a,b\in [0,1]$ 若 $a\le b$ 且 $c(a)\ge c(b)$ (单调性)
$\bullet c$是一个连续函数 (连续性)
$\bullet c$是 对合的 $(c(c(a)=a))$（对合性）

模糊集的补可以用多种方法来表示：通常会用$\neg A$和$\overline{A}$来表述。也可以用$A^c$来表述，如同经典集合论那样。模糊补集的一个标准定义为：

${\mu }_{cA}(x)=1-{\mu }_A(x)$

模糊关系及合成

除了上述定义的三个算子外，许多传统的数学函数都可以推广至模糊值，使用可拓原理(extension principle)它提供了经典数学概念到模糊环境的一般拓展。这一原则如下所述：
若一个n元函数$f$映射了笛卡尔积$X_1\times X_2\times ...\times X_n$至论域$Y$上，使$y=f(x_1,x_2,...,x_n)$且$A_1,A_2,...,A_n$分别为$n$个在子空间$X_1,X_2,...,X_n$上的模糊集，由隶属度分布${\mu }_{A_i}(X_i),i=1,2,...,n$来表征。可归纳出论域$Y$上的模糊集，求笛卡尔积空间中最高的隶属度，$y$为该隶属度下各个空间中，如下所述：

${\mu }_B(y)=\{\begin{array}{ll}ma{x}_{\{x_1,...,x_n,y=f(x_1,...,x_n)\}}min({\mu }_{A_1}(x_1),...,{\mu }_{A_n}(x_n))& if{f}^{-1}(Y)\ne \varnothing \\ 0& if{f}^{-1}(Y)=\varnothing \end{array}$

举例：现有三个子空间，擅长的计算机语言$X_1${C++,Python,Java}，精通方向$X_2${图论,数论,动态规划},学习能力$X_3${强，中，弱}，当前有三个样例{小明，小强，小红}。

	C++	Python	Java
小明	0.9	0.7	0.8
小强	0.4	0.7	0.9
小红	0.9	0.7	0.1

	图论	数论	动规
小明	0.2	0.5	0.3
小强	0.6	0.2	0.4
小红	0.3	0.5	0.3

	学强	学中	学弱
小明	0.5	0.5	0.0
小强	0.1	0.8	0.1
小红	0.8	0.4	0.0

在论域Y中，有$3\ast 3\ast 3$种粗糙集，倘若要求小明对【擅长C++，精通图论，学习能力强】粗糙集的隶属度，根据当前标准算子的运算法则，可知小明对于该粗糙集的隶属度为$min(0,9,0.2,0.5)=0.2$
而求最大隶属度中，小明【擅长C++，精通数论，学习能力强】粗糙集的隶属度最高，因而以上${\mu }_B(y)=0.5$。

如果$U$是$X_1$到$X_2$的关系，并且$V$为$X_2$到$X_3$的关系，那么$U$和$V$的组合就是$x1$到$x3$的模糊关系，其由$U\circ V$来表示，并由下式定义：

${\mu }_{U\circ V}(x_1,x_3)=\underset{x_2\in X_2}{\max }min({\mu }_U(x_1,x_2),{\mu }_v(x_2,x_3)),x_1\in X_1,x_3\in X_3$

我们将用矩阵的方法来表示二元模糊关系，例如，下面的矩阵$P$可以用来表示一个电脑游戏爱好者，比起传统游戏更喜欢多媒体游戏，无论是工作站还是个人电脑。

假设该爱好者更喜欢基于键盘的游戏，而不是基于鼠标的，那么另一个关系Q，可以用来描述这种偏好。

给定这两个关系，可以得到一个组合关系，如下所示：

这一关系表明，该爱好者尤其喜好基于键盘的多媒体游戏。

近似推理.

模糊关系和模糊关系组合构成了近似推理的基础，有时我们也称其为模糊推理。非正式地说，近似推理指从一系列不精准的前提中推断出可能不精准的结论的过程。执行这种推理的系统建立在一组模糊产生（如果-那么）规则的基础上，这些规则提供了一种从经验关联或者经验中获得知识的正规方式。这样的系统运行在一组给定的集合上，并允许某些规则的前提属性（通常是部分）实例化。
例如，一个规则为：

如果 $x$ 属于 $A_i$，并且 $y$ 属于 $B_i$，则 $z$ 属于 $C_i$

这一规则支配了前提属性$x$和$y$与结论属性$z$之间的特定关系，可以被翻译为模糊关系$R_i$

${\mu }_{R_i}(x,y,z)=min({\mu }_{A_i}(x),{\mu }_{B_i}(y),{\mu }_{C_i}(z))$

在这里，$A_i,B_i,C_i$分别是定义属性为$x,y,z$的论域$X,Y,Z$的模糊集。有了这个关系，如果前提属性$x$和$y$实际取对模糊集$A^{{}^{\prime }}$和$B^{{}^{\prime }}$的关系，则结论属性的新模糊值可以通过应用推理的合成规则来获得：

$C^{{}^{\prime }}=(A^{{}^{\prime }}\times B^{{}^{\prime }})\circ R_i$

或表述为，

${\mu }_{c^{{}^{\prime }}}(z)=\underset{x\in X,y\in Y}{\max }\min ({\mu }_{A^{{}^{\prime }}}(x),{\mu }_{B^{{}^{\prime }}}(y),{\mu }_{R_i}(x,y,z))$

我们用简单的例子来解释。

设存在论域T(温度)={0，20，40，60，80，100}和P(压力)={1，2，3，4，5，6，7}上定义模糊子集的（枚举型描述）隶属函数：

${\mu }_A(温度高)=\frac{0}{0}+\frac{0.1}{20}+\frac{0.3}{40}+\frac{0.6}{60}+\frac{0.85}{80}+\frac{1}{100}$

${\mu }_B(压力大)=\frac{0}{1}+\frac{0.1}{2}+\frac{0.3}{3}+\frac{0.5}{4}+\frac{0.7}{5}+\frac{0.85}{6}+\frac{1}{7}$

（即温度为0度时，隶属度为0，温度为20度时，隶属度为0.1，以此类推）

现在的条件是温度高，则压力大，带入之前的关系式：

${\mu }_{R_i}(x,y)=min({\mu }_{T_i}(x),{\mu }_{P_i}(y))$

则可知论域内任意一点的关系隶属度。

若我们根据经验得知而温度较高的情况，且有温度较高，压力也较高的推论，我们希望根据先前的已知关系推理出压力较高时的隶属情况。则先定义温度较高的隶属函数：

${\mu }_A(温度高)=\frac{0.1}{0}+\frac{0.15}{20}+\frac{0.4}{40}+\frac{0.75}{60}+\frac{1}{80}+\frac{0.8}{100}$

代入推理式则有：

${\mu }_{P^{{}^{\prime }}}(y)=\underset{x\in X,y\in Y}{\max }\min ({\mu }_{T^{{}^{\prime }}}(x),{\mu }_{R_i}(x,y))$

根据该推理式即可构建出压力较高的隶属函数。

上述定义的关系隶属度的意义是当前样本状态(x,y)对当前关系条件的相近度，与原状态越相近就说明当前状态下关系的可信度越大，关系隶属度也越高。

一个近似推理系统通常不会只使用一个特定的规则，而是使用一个集合。给定一组规则，在该系统中，可以采用两种不同的方法来实现推理·，两者都依赖于上面给出推理组合规则的使用。第一种方法是再找到与整个规则集相关联的整体关系之后应用组合规则。第二种规则是先将组合规则局部应用，最后再将应用的结果聚合起来，形成整体结果。

给定K个(if-then)规则，给定N个前提属性$x_1,x_2,...,x_n$，和一个推理属性$y$。同时逻辑连接词严格从左至右。下面将给出两种组合推理的方法。

方法一：整体解释关系的推理

步骤①: 对于每一个规则，计算它的模糊关系隶属度。例如当前我们给定两条规则$（K=2,N=3）$:

[1] 若$x_1$属于$A_1$,$x_2$不属于$B_1$或者$x_3$属于$C_1$,则$y$属于$D_1$
[2] 若$x_1$不属于$A_2$或$x_2$属于$B_2$，且$x_3$不属于$C_2$,则$y$属于$D_2$

分别计算它们的模糊关系隶属度，可以由下面表述：

$R_1(x_1,x_2,x_3,y)=\min \{\max \{\min \{{\mu }_{A_1}(x_1),1-{\mu }_{B_1}(x_2)\},{\mu }_{C_1}(x_3)\},{\mu }_{D_1}(y)\}$
$R_2(x_1,x_2,x_3,y)=\min \{\min \{max\{1-{\mu }_{A_2}(x_1),{\mu }_{B_2}(x_2)\},1-{\mu }_{C_2}(x_3)\},1-{\mu }_{D_2}(y)\}$

步骤②: 结合个体模糊关系，形成整体的综合关系，表述如下：

$R_{(}{x}_1,x_2,...,x_N,y)=\underset{k\in \{1,2,...,K\}}{\max }{R}_k(x_1,x_2,...,x_N,y)$

步骤③: 应用整体规则，定义每个前提属性的隶属度值\函数后，即可得到结论属性的推理模糊隶属度值\函数$D$。表述如下：

${\mu }_D(y)=\underset{x_1,x_2,...,x_n}{\max }\min \{{\mu }_A(x_1),{\mu }_B(x_2),...,{\mu }_C(x_N),{\mu }_R\{x_1,x_2,...,x_N,y\}\}$

方法二：通过局部关系进行推理

步骤①: 与方法一中的相同。

步骤②: 给定每个前提属性的隶属度值\函数，对于每一个子规则$R_k$，计算它们之下的目标模糊隶属度\函数${\mu }_{D_k}(y)$。表述如下：

${\mu }_{D_k}(y)=\underset{x_1,x_2,...,x_N}{\max }\min \{{\mu }_A(x_1),{\mu }_B(x_2),...,{\mu }_C(x_N),{\mu }_{R_k}(x_1,x_2,...,x_N,y)\}$

步骤③: 通过汇聚每个规则推导出的模糊隶属度\函数，计算结论属性的总体模糊隶属度\函数。表述为：

${\mu }_D(y)=\underset{k,k\in \{1,2,...,K\}}{\max }{\mu }_{D_k}(y)$

去模糊化

有很多去模糊化的方法，它们各有优缺。下面简要总结两种广泛使用的方法：

重心法：从推断出的结论属性$y$的模糊值$D$中找到几何中心$\hat{y}$作为去模糊化值，即：

$\hat{y}=\frac{\sum y{\mu }_D(y)}{\sum {\mu }_D(y)}$

极大值均值法: 取D中隶属度最大的值作为去模糊化的解，若有多个最大隶属度，则取它们的平均值作为去模糊化值。

模糊-粗糙集理论

本节涵盖了粗糙集理论的模糊拓展背后的基本概念。

粗糙集理论的成功运行依赖于离散数据，是该方法的一个显著缺陷。处理这一问题的较好方法是使用模糊粗糙集。由于还需要定义模糊集隶属度函数，主观判断并不能完全消除。不过，该方法在处理实值数据时具有高度的灵活性，能基于当前存在的模糊性和不精确性有效建模。

模糊等价类

如同粗糙集中的明确等价类，模糊等价类是模糊粗糙集的中心。明确等价类的概念可以拓展为论域中的模糊相似关系$S$，它决定了两个元素的相似程度。比如，如果${\mu }_S(x,y)=0.9$，那么对象$x$和$y$可以说是非常相似的。

利用模糊相似关系，可以为与$x$相似的对象定义模糊等价类$[x{]}_s$：

${\mu }_{[x{]}_s}(y)={\mu }_s(x,y)$

以下公理在任意一个模糊等价类$F$中应当成立：
$\bullet \exists x,{\mu }_F(x)=1$ (${\mu }_F$经过归一化)
$\bullet {\mu }_F(x)\wedge {\mu }_S(x,y)\le {\mu }_F(y)$
$\bullet {\mu }_F(x)\wedge {\mu }_F(y)\le {\mu }_S(x,y)$

第一个公理对应的是等价类非空。
第二个公理说明:$y$的邻域中的元素在$y$的等价类中。
第三个公理说明$F$中的任意两个元素通过$S$是相关的，当关系不模糊时，这个定义退化为等价类的原定义。

由论域的模糊划分，产生的规范模糊集的集合可以起到模糊等价类的作用。对于一个论域$\mathbb{U}$，我们可以通过$Q$中的属性进行划分：$\mathbb{U}/Q=\{\{1,3,6\},\{2,4,5\}\}$。在粗糙集合论中，每个元素各自属于一个等价类。但是在模糊-粗糙集理论中，一个元素对于一个等价类存在隶属度。

模糊粗糙集

在文献中，每个模糊等价类对目标集合的模糊下近似隶属度和模糊上近似隶属度被定义为：

${\mu }_{\underline{P}X}(F_i)=in{f}_x\max \{1-{\mu }_{F_i}(x),{\mu }_X(x)\},\forall i$
${\mu }_{\overline{P}X}(F_i)=su{p}_x\min \{{\mu }_{F_i}(x),{\mu }_X(x)\},\forall i$

需要注意的是，尽管特征选择中的论域是有限的，但一般情况下并非如此，因此使用$sup$和$inf$。

$inf$在这里的运算相当于取最小值，$sup$在这里的运算相当于取最大值，$X\in \mathbb{U}$，$X$的意义是目标集合的特征。我们依次对式子进行分析以帮助理解这里的概念：

①：粗糙集理论对下近似集的定义为所有元素的目标属性符合$X$的等价类的全部元素构成的类：

$\underline{P}X=\{x|[x{]}_p\subseteq X\}$

回顾之后，看回当前公式，公式中的$max$算子是衡量隶属度的主体，$1-{\mu }_{F_i}(x)$衡量了样本$x$对等价类$F_i$的隶属度取反，而${\mu }_X(x)$衡量了$x$样本对于目标样本$X$的隶属度。这里说明，如果$x$对于$F_i$的隶属度很低，那么它对于目标样本的隶属度不成为影响因素。而我们需要注意，每个等价类存在隶属度为1的元素，$inf$巧妙控制了最后的取值。

②：粗糙集理论对上近似集的定义为存在元素的目标属性符合$X$的等价类的全部元素构成的类：

$\overline{P}X=\{x|[x{]}_p\cap X\ne \varnothing \}$

看回当前公式，$\min$算子为衡量隶属度的主体，综合评价了样本$x$对于等价类$F_i$和目标样本$X$的隶属度，由于是$sup$控制最后的取值，$F_i$对于上近似集的隶属度会取决于对于等价类隶属度和目标元素隶属度“双高”的样本。

然而，即使我们获取了模糊等价类的模糊近似隶属度，由于隶属度不具有传递性，我们不能清晰地定义一个目标集合上近似模糊集和下近似模糊集。在这里，我们定义对于每个样本$x$的模糊下近似隶属度和模糊上近似隶属度：

${\mu }_{\underline{P}X}(x)=\underset{F\in \mathbb{U}/P}{\sup }min({\mu }_F(x),\underset{y\in \mathbb{U}}{\inf }\max \{1-{\mu }_F(y),{\mu }_X(y)\})$

${\mu }_{\overline{P}X}(x)=\underset{F\in \mathbb{U}/P}{\sup }min({\mu }_F(x),\underset{y\in \mathbb{U}}{\sup }\min \{{\mu }_F(y),{\mu }_X(y)\})$

在上述公式中，变量$x,y$均代表样本，相当于枚举。可以很容易观察出，公式的后半段与之前的公式大同小异，其意义是相通的。将公式后半段相似的算子看作等价类对于近似集的隶属度，同时$min$算子加入了${\mu }_F(x)$对$F$的隶属度，来衡量$x$在$F$中对于近似集的隶属度。最后$sup$保证是最优的情况。

模糊粗糙集数据降维

模糊粗糙集理论建立在模糊下近似概念的基础上，能够对包含实值特征的数据集进行属性约简。当我们定义了明确的决策属性时，约简的方法就和粗糙集理论的方法一致了。
传统粗糙集的正域被定义为下近似集的并集。根据扩展原理，属于模糊正域的对象$x\in \mathbb{U}$的隶属度可以被定义为：

${\mu }_{PO{S}_P(Q)}(x)=\underset{X\in \mathbb{U}/Q}{\sup }{\mu }_{\underline{P}X}(x)$

其中$Q$为决策属性，$X$为在论域$\mathbb{U}$中被$Q$划分的等价类。

使用模糊正区域的定义，新的Dependency Function可以定义如下：

${\gamma }_P^{{}^{\prime }}(Q)=\frac{|{\mu }_{PO{S}_P(Q)}(x)|}{|\mathbb{U}|}=\frac{{\sum }_{x\in \mathbb{U}}{\mu }_{PO{S}_P(Q)}(x)}{|\mathbb{U}|}$

这里的函数值代表了整个数据集可识别出下近似集元素的比例。

当我们处理的决策属性为不可分割的属性集合时，需要将该集合当作一个属性进行处理：

假如$P=a,b，\mathbb{U}/IND(\{a\})=\{N_a,Z_a\},\mathbb{U}/IND(\{b\})=\{N_b,Z_b\}$，那么：

$\mathbb{U}/P=\{N_a\cap N_b,N_a\cap Z_b,Z_a\cap N_b,Z_a\cap Z_b\}$

模糊粗糙集快速约简

我们知道Dependency Function这个评价函数后，提出下面算法。

算法思路：每次一次加入最好的特征，直到再加入时函数的值不再增长，算法复杂度是$n^2$

例子太长可能不补充，给原文：