纹理压缩

       前言: 目前在做纹理压缩，对项目调研的资料进行整理

---

       目前的渲染管线中，对于3D物体表面的细节，主要还是靠纹理贴图来表现，分辨率越高，精度越高的纹理，在细节表现上自然越强，但是同时会导致内存开销增大，以及带宽等问题。因此，我们必须对纹理进行压缩。

传统压缩图片格式

主要介绍两种重要的格式：jpg和png

压缩方式	质量	元素	颜色	透明度
JPEG	有损	点阵图	直接色	不支持
PNG-8/24	无损	点阵图	索引色/直接色	支持

Android和iOS平台都支持jpg和png的图片格式

为什么不用JPEG

       既然如此，那么游戏中为什么不直接使用这两种图片格式呢?
       原因很简单：jpeg、png这些压缩格式是为CPU解码设计的，不适合GPU的并行特性。

GPU解码图像的要求

       GPU在解码图像的时候，必须满足以下三个要求：

随机访问 Random Access

即对于任意一个像素都能随机地快速算出它在图像数据中的地址（偏移值）。

       对于JPEG来说显然是做不到的，它采用VLC（variable bit length coding）不定长编码方式，为不同区域分配不同的压缩位数，从而达到为不同区域分配不同压缩质量。说的通俗点，就是：颜色变化少频率低的部分，编码后占的内存字节数就少。

JPEG压缩示意图

       同理，PNG的压缩算法也是根据图片整体进行压缩(比如霍夫曼编码)，像素和像素之间存在依赖关系，无法直接实现单个像素级别的解析。
       所以，除非你把整张图片都解压完毕，否则我们无法准确的计算出原图一个坐标处的颜色对应的压缩到了哪里，如图所示。

坐标对应

       因此，这就导致GPU的Texture Sample不可用，因此必须采用fixed rate coder

解压速度 Decoding Speed

       GPU会有很多解压单元并行处理，这要求解压算法复杂度必须足够低、足够简单，基本不影响渲染性能。

直接寻址 Indirect Addressing

       类似颜色表或者其他全局数据，会导致GPU间接寻址来获得颜色数据。这样，GPU需要四次才能最终得到颜色值，是非常消耗时的。

间接寻址

       jpeg内部有这种数据，png采用索引值也不符合直接寻址的要求。

显存大小

       无论是JPEG或者PNG的图片最终在显卡解码(其实是cpu解码)之后，都是RGB(A)纹理，无法减小显存的占用(256×256像素的图片，虽然文件格式、磁盘占用、内存占用大小不一样，但都是占用256Kb的显存空间，性能消耗大)

jpeg和png图片，从文件加载的时候都必须先在cpu先解码成原始的RGB(A)格式的数据

       正是因为传统的图片并没有考虑显卡的这种特性，而3D物体表面的细节需靠高分辨率纹理贴图来表现更强的细节，但同时又要避免内存以及带宽开销过大，所以显卡厂商才推出专为GPU设计的压缩纹理格式。

纹理压缩技术

       纹理压缩不同于其他图片压缩方式(jpg,png)，在使用中，不会在CPU中进行解压缩，而是直接把压缩内容传给GPU，而且在GPU中也不会一次把整张图片进行解压缩，只会在需要采样特定区域的纹理时对这一区域的纹理进行解压缩。

优点

• 解决了内存和显存中纹理占用空间大的问题

不需要在CPU中就解压缩，在GPU中也不需要对整个图片解压缩

• 解决了带宽问题

从CPU传到GPU的图片是压缩格式，因此传输的数据量会小很多，大大减轻了带宽压力

• 解决了包体大小的问题

打包到游戏内的纹理是已经处理好的压缩格式

缺点

       因为使用的是有损压缩，以效果换性能，所以3D表面细节会产生一定程度的损失。

两种常见的纹理压缩

ETC/ETC2

待续

ASTC

待续

参考资料

• 移动平台纹理压缩知识总结
• Texture Compression
• 细谈纹理压缩格式