循环冗余校验(英语:Cyclic redundancy check,简称CRC),由 W. Wesley Peterson 于 1961 年首次提出的一种纠错码理论。
CRC是一种数据纠错方法,主要应用于数据通信或者数据存储的场合,用来检测或校验数据传输或者数据存储后可能出现的错误,特别是擅长检测由传输通道中的噪声引起的常见错误。
CRC是数据通信领域中最流行的一种错误检测方法,传输过程中的数据信息字段长度,以及校验码的字段长度可以任意自定义的指定,但是通信双方必须使用同一标准的CRC校验。
很多大佬们在研究CRC算法的时候,设计了各种CRC的算法模型,这些模型可以适用不同的校验场合,比如 CRC-16 ,CRC-32 等不同的算法模型。
一般我们在具体的项目中,要使用CRC校验的时候,首先就要选择合适的算法模型,根据选定的CRC算法模型,才能计算得到对应的CRC校验码。然后,通信双方约定好使用的CRC校验模型,才能保证校验的一致性。
下图截图自一个CRC校验码在线计算工具网站的常用的CRC算法模型:
注:上面的多项式表示中,是16进制数,而且是省略了最高位的。
这些CRC算法模型中,有几个重要的组成部分,或者说计算CRC校验码时,需要知道的一些概念,如多项式公式、16进制多项式、宽度、初始值、结果异或值等等。
多项式公式,是CRC校验中最重要的一个概念。
对任意的二进制数都可以构造一个与其对应的二进制系数多项式公式。
比如,二进制:10011b,它对应的二进制系数多项式就是:
P ( x ) = x 4 + x + 1 P(x) = x^4 + x + 1 P(x)=x4+x+1
这个公式怎么来的呢?
# 二进制数 1 0 0 1 1
# 下标 4 3 2 1 0
# 二进制多项式 1 * X4 + 0 * X3 + 0 * X2 + 1 * X1 + 1 * X0
# 所以最后得出的多项式公式就是:X4 + X + 1
成为多项式要满足的条件
一般在计算CRC校验码的时候,我们习惯使用16进制的多项式,这个16进制的多项式,是被省略了最高位 1 的。
因为前面说了,多项式的最高位和最低位,都必须是1,所以一般都会把这个多项式的最高位给省略掉(这里我也没搞懂,反正当它是一个不可描述的规定吧)。
比如前面介绍的,P(x) = X4 + X + 1 ,这个多项式公式,他对应的CRC模型就是 CRC-4/ITU ,然后它的多项式使用16进制表示就是 0x03 ,本来这个多项式应该是0x13的,但是省略了最高位,所以变成了 0x03.
位宽,指的就是CRC校验码的二进制位数。这个是和你选择的CRC模型有关的,你选择不同的CRC模型,那么CRC的多项式公式就不一样,所以对应的CRC校验码数据位宽也不一样。
比如前面介绍的多项式公式 :P(x) = X4 + X + 1 ,那么CRC的校验码位宽就是 4 个二进制位数。因为多项式的最高位为4.
前面介绍的3个参数概念,是CRC模型中必须要有的概念。其他一些概念,比如初始值、输入数据反转,输出数据反转,结果值是否异或处理等,这些都属于CRC变体的处理。
如果没有特意规定的话,那么这些参数默认都是没有的,比如初始值没有规定,则默认为0。没有说明是否反转,那么一般不会对数据进行反转的操作等。
CRC模型中,有些模型规定CRC的初始值不是0。这个初始值,其实就是CRC校验码的计算过程中,在第一次进行异或计算时,是否有一个初始值。这个如果看C言语实现CRC计算过程就比较直观。
初始值的数据位宽和CRC校验码的位宽是一样的。
计算得到了CRC校验码后,如果规定了输出的结果值要进行异或的数不为0,那么最后得到CRC校验码时,还得进行结果值异或这步操作。这样才能最终得到CRC校验码
在一些CRC模型中,还会规定输入值与输出值是否反转。
输入值反转,就是在计算CRC校验码之前,是否对原始数据(待测数据)进行按位反转。比如:1010001,反转之后就是:1000101
输出值反转,就是最终得到的CRC结果值,是否进行反转操作。
CRC校验的计算理论源自多项式除法,它是一种二进制除法,被叫做模2除法。待检测的数据除以多项式,最终得到的余数就是CRC检验码。
模2运算,是一种二进制运算,是二进制编码理论中的运算基础。这种运算和我们以前学的四则运算的规则不同,模2运算不考虑进位、借位这些规则,它有着新的运算规则。
模2运算也有加减乘除,下面是它们的运算示例。
加法规则:1+1=0 0+0=0 1+0=1 0+1=1
1 0 1 0
+ 1 1 0 0
-----------
0 1 1 0
减法规则:0-0=0 1-1=0 0-1=1 1-0=1
1 0 1 0
- 1 1 0 0
-----------
0 1 1 0
乘法规则:0×0=0 0×1=0 1×0=0 1×1=1
模2乘法与普通的乘法一样的演算规则,只不过在按位相加时,是按照模2加法规则进行的。
1 0 1 1
x 1 0 1
----------------
1 0 1 1
0 0 0 0
1 0 1 1
----------------
1 0 0 1 1 1
除法规则:0÷1=0 1÷1=1
模2除法与普通的除法也是一样的演算规则,但是就是在按位相减时,是按照模2减法规则进行的。
1 1 1 0 (商)
|-----------------
1 0 1 1 | 1 1 0 0 1 0 0 (被除数)
1 0 1 1
-----------------
0 1 1 1 1
1 0 1 1
-----------------
0 1 0 0 0
1 0 1 1
-----------------
0 0 1 1 0 (最后余数)
从上面的模2运算示例可以看出一些规律:
CRC校验码的计算,其实就是模2除法的运算过程。
在计算过程中,我们首先要知道二进制多项式,这个多项式其实就是除数,而待校验的数据就是被除数,最终进行模2除法运算得到的余数,就是CRC校验码。
下面以多项式: P(x) = x^4 + x + 1 为例,该多项式对应的二进制数就是:10011 ,进行计算演示。
第一步:原始数据补充 n 个 0
假设要进行编码的原始数据为:1100110,而前面约定好了的多项式的最高位是4,所以CRC校验码的位宽就是4。所以我们先假设余数是 0000 四个0,补充在原始数据的后面,那么最终参与计算的数就是:11001100000
第二步:进行模2除法运算
1 1 0 0 1 1 0 0 0 0 0 (原始数据,后面加了4个0)
1 0 0 1 1 (多项式)
----------------------------------
0 1 0 1 0 1
1 0 0 1 1
----------------------------------
0 0 1 1 0 0 0
1 0 0 1 1
----------------------------------
0 1 0 1 1 0
1 0 0 1 1
----------------------------------
0 0 1 0 1 0 0
1 0 0 1 1
----------------------------------
0 0 1 1 1
当最终计算得到的余数的位数,小于多项式的位数的时候,运算停止,然后得到的余数就是CRC的校验码。
在数据传输过程中,就会把这个校验码放到原始数据的后面,组成一个新的数:11001100111 ,发送给接收方。当接收方在接收到这个数据后,就会进行CRC校验,也就是除以约定好的多项式,如果最终的余数为0,那么说明接收方接收的数据正确。
上面介绍计算CRC校验码说了,我们首先要约定好收发双方的除数,这个除数其实就是多项式。进行校验检测的大概过程就是:
(1) 先约定好收发双方选择的CRC多项式 多项式,这个多项式其实就是计算过程中的除数。
(2) 在待校验的数据(可看作是发送方的数据)后面加上 n 个0,这个 n 是多少取决于你所选择的多 项式。比如你选择的多项式是:P(x) = x^4 + x + 1 。那么CRC检验码的位宽就是4,也就是说你要补4个0
(3) 对待校验数据进行模2除法运算,得出的余数就是CRC校验值。
(4) 然后把CRC检验码添加到待检验数据的末尾。这样就组成了一个新的数了,这个是是添加了CRC校验码的。然后把这个新的数发送给接收方。
(5) 接收方,把接收到的数据,也进行模2除法的计算过程,如果余数为0,那么接收正确,如果不为0,那么数据在传输过程中出错。
我们前面一直说了,CRC校验码的计算,其实就是模2除法。然后模2除法,对应到C言语中来,那就可以通过异或和移位操作来实现。
所以,CRC算法的软件实现,主要就是异或和移位操作实现的。实现方法主要有两种: 按位校验和查表。按位校验法消耗更多的CPU算力,查表法则消耗更多的RAM空间。
不同的CRC模型,按位校验法有不同的算法实现,主要是CRC变体的处理,初始值的不同等。不过也是有相似的规律,大致的代码实现过程是相同的。
网上也有大佬们已经实现了的各种CRC模型的算法库,我这里给出一个网上比较全的CRC算法库,如果有我们需要软件实现CRC校验的话,可以去移植过来。
LibCRC官网:https://www.libcrc.org/
LibCRC github仓库:https://github.com/lammertb/libcrc
还有下面这个,主要是按位校验法实现的CRC代码库:
https://github.com/whik/crc-lib-c
下面是摘抄自 wiki 的其中一种按位校验方式实现的CRC算法,大致的代码思路如下:
function crc(byte array string[1..len], int len)
{
remainderPolynomial := 0 // 多项式的初始值
// 这里有一个流行的变体对剩余多项式进行补充,比如输入数据是否进行反转
for i from 1 to len
{
// 这个步骤要看不同的CRC模型,有不同的处理。n是CRC的位宽,如果小于8的位宽,不用移位
remainderPolynomial := remainderPolynomial xor (string[i] * (n << 8))
for j from 1 to 8
{ // 每个字节是 8 bit
if (remainderPolynomial最高位为1)
{
remainderPolynomial := (remainderPolynomial << 1) xor generatorPolynomial(多项式)
}
else
{
remainderPolynomial := (remainderPolynomial << 1)
}
}
}
// 这里有一个流行的变体对剩余多项式进行补充,比如是否对CRC校验码进行输出反转,进行异或处理
return remainderPolynomial
}
基本上,按位校验法的CRC代码实现,就是上面的这个套路。
这里给出一个 CRC32-MPEG-2 这个模型的CRC代码实现。
uint32_t crc32_mpeg2(uint8_t data[], uint32_t length)
{
uint32_t crc = 0xffffffff;
for (int i = 0; i < length; i++)
{
crc = crc ^ (data[i] << 24);
for (int j = 0; j < 8; j++)
{
if ( crc & 0x80000000 )
{
crc = (crc << 1) ^ 0x04C11DB7;
}
else
{
crc = crc << 1;
}
}
}
return crc;
}
上面这个模型,其实也是一些MCU硬件的CRC实现的模型,比如STM32、APM32的MCU。
STM32 的 CRC 外设,使用的算法模型是 CRC32-MPEG-2 。
STM32 CRC 的数据位宽为 32 位,十六进制多项式为 0x4C11DB7, INIT=0xFFFFFFFF, REFIN=false,REFOUT=false, XOROUT=0x00000000
对于 STM32 CRC外设的使用也很简单,在使能了CRC外设时钟之后,就可以调用SDK(我使用的是STM32的标准固件库函数)提供的CRC计算函数,然后就可以得到对应数据的CRC校验码了。
下面以 STM32F407 为例,使用CRC外设计算校验码的代码:
static uint32_t CRC_Test_Buff[2] = {0x01, 0x02};
int main(void)
{
uint32_t uCRCValue = 0;
/* Enable CRC Periph clock */
RCC_AHB1PeriphClockCmd(RCC_AHB1Periph_CRC, ENABLE);
/* Resets the CRC Data register */
CRC_ResetDR();
/* Calculate the 32-bit CRC value */
uCRCValue = CRC_CalcBlockCRC(CRC_Test_Buff, sizeof(CRC_Test_Buff) / 4);
printf("CalculateBlockCRC = 0x%08X \r\n", uCRCValue);
while (1)
{
}
}
其中要注意的是,CRC_CalcBlockCRC 这个函数提供的输入数据类型是 32 位 的。
运行上面的代码输出结果如下:
然后我们到CRC校验码的在线计算工具,验证下我们使用STM32 CRC外设计算得到的校验码是否一致。计算结果如下图:
我们要选择的参数模型是, CRC32-MPEG-2 这个,输入的数据类型要注意一下是16进制,而且是1个字节。这个和我们STM32的代码是4个字节的数据不同,要自己拆分为1个字节输入到那个框框里面。
然后最终的计算结果是:0x298BE7BA ,这个值和我们使用 STM32 外设计算出来的结果是一致的。