丢失的精度-浮点数(float num)和定点数(fixed-point number)

前些天,做js调试bug时,发现,emmm,一个奇怪的现象。我的零点三。。。。

于是,有时间就仔细琢磨的一下,它与数据的转换方式有关。IEEE754有规定,IEEE(前端时间蛮出名的哪个)。

 对于一个规格化的32位浮点数V的真值可以表示为 :

(-1)s(数码)表示符号位,当s=0,V为正数;当s=1,V为负数。

(2)M(阶码);1.M表示有效数字,大于等于1,小于2。

(3)E(尾数)E表示指数位。

举例来说,十进制的5.0,写成二进制是101.0,相当于1.01×2^2。那么,按照上面V的格式,可以得出s=0,M=1.01,E=2。

对于s    M(exp)   E(frac)来说都有一定的范围

1
1.1


1≤M<2,也就是说,M可以写成1.xxxxxx的形式,其中xxxxxx表示小数部分。IEEE 754规定,在计算机内部保存M时,默认这个数的第一位总是1,因此可以被舍去,只保存后面的xxxxxx部分。

E为一个无符号整数(unsigned int)。这意味着,如果E为8位,它的取值范围为0~255;如果E为11位,它的取值范围为0~2047。但是,我们知道,科学计数法中的E是可以出现负数的,所以IEEE 754规定,E的真实值必须再减去一个中间数,对于8位的E,这个中间数是127;对于11位的E,这个中间数是1023。

指数E还可以再分成三种情况:

(1)E不全为0或不全为1。这时,浮点数就采用上面的规则表示,即指数E的计算值减去127(或1023),得到真实值,再将有效数字M前加上第一位的1。

(2)E全为0。这时,浮点数的指数E等于1-127(或者1-1023),有效数字M不再加上第一位的1,而是还原为0.xxxxxx的小数。这样做是为了表示±0,以及接近于0的很小的数字。

(3)E全为1。这时,如果有效数字M全为0,表示±无穷大(正负取决于符号位s);如果有效数字M不全为0,表示这个数不是一个数(NaN)。

最后回到问题:

这里的---表示的是个范围,编辑器打不出来..........(限于时间,这里留个坑,下回有时间说)


如0.1如果用二进制表示即在上面这个范围内,即~

当然可以把这个范围继续缩小,直至32位或者64位数。)那么计算机是怎样算的呢,请看下图。


只要最后能把精度控制在一定的范围内,就选择那个二进制的数....



           

小数转换成二进制

emmm,有时间再更

‘Reference:

[1] http://steve.hollasch.net/cgindex/coding/ieeefloat.html

[2] https://en.wikipedia.org/wiki/IEEE_754-1985

[3] http://www.ruanyifeng.com/blog/2010/06/ieee_floating-point_representation.html

[4] https://www.wendangwang.com/doc/0f56270ec6043c023c243cd1/5

[5] https://blog.csdn.net/crjmail/article/details/79723051

你可能感兴趣的:(丢失的精度-浮点数(float num)和定点数(fixed-point number))