android opengl es学习总结一：基础知识

android opengl es学习总结一：基础知识

作者：shangdahao | 出处：博客园 | 2011/11/5 15:39:39 | 阅读 136次

什么是OpenGL ES?

• OpenGL ES (为OpenGL for Embedded System的缩写） 为适用于嵌入式系统的一个免费二维和三维图形库。
• 为桌面版本OpenGL 的一个子集。
• OpenGL ES 定义了一个在移动平台上能够支持OpenGL最基本功能的精简标准，以适应如手机，PDA或其它消费者移动终端的显示系统。
• Khronos Group 定义和管理了OpenGL ES标准。

OpenGL 与 OpenGL ES的关系

OpenGL ES 是基于桌面版本OpenGL 的：

• OpenGL ES 1.0  基于OpenGL 1.3 ， 在2003年发布
• OpenGL ES 1.1   基于OpenGL 1.5 ,  在2004年发布
• OpenGL ES 2.0  基于OpenGL2.0,   在2007年发布
• OpenGL 2.0 向下兼容OpenGL 1.5   而 OpenGL ES 2.0 和OpenGL ES 1.x 不兼容，是两种完全不同的实现。

OpenGL ES管道(Pipeline)

大部分图形系统都可以比作工厂中的装配线(Assemble line)或者称为管道(Pipeline)。前一道的输出作为下道工序的输入。主CPU发出一个绘图指令，然后可能由硬件部件完成坐标变换，裁剪，添加颜色或是材质，最后在屏幕上显示出来。

OpenGL ES 1.x 的工序是固定的，称为Fix-Function Pipeline,可以想象一个带有很多控制开关的机器，尽管加工的工序是固定的，但是可以通过打开或关闭开关来设置参数或者打开关闭某些功能。OpenGL ES 2.0 允许提供编程来控制一些重要的工序，一些“繁琐”的工序比如栅格化等仍然是固定的。

• 管道“工序”大致可以分为 Transformation Stage 和 Rasterization Stage两大步。
• OpenGL ES 支持的基本图形为 点Point, 线Line, 和三角形Triangle ，其它所有复制图形都是通过这几种基本几何图形组合而成。
• 在发出绘图指令后，会对顶点(Vertices)数组进行指定的坐标变换或光照处理。
• 顶点处理完成后，通过Rasterizer 来生成像素信息，称为”Fragments“ 。
• 对于Fragment 在经过Texture Processing, Color Sum ,Fog 等处理并将最终处理结果存放在内存中（称为FrameBuffer)。
• OpenGL 2.0可以通过编程来修改上述红色的部分的步骤，称为Programmable Shader.

OpenGL ES API 命名习惯

 

• 定义的常量都以GL_为前缀。比如GL10.GL_COLOR_BUFFER_BIT
• OpenGL ES 指令以gl开头 ，比如gl.glClearColor
• 某些OpenGL指令以3f 或4f结尾，3和4代表参数的个数,f代表参数类型为浮点数,如gl.glColor4f ，i,x 代表 int如 gl.glColor4x
• 对应以v结尾的OpenGL ES 指令，代表参数类型为一个矢量(Vector) ，如 glTexEnvfv
• 所有8-bit整数对应到byte 类型，16-bit 对应到short类型,32-bit整数(包括GLFixed)对应到int类型，而所有32-bit 浮点数对应到float 类型。
• GL_TRUE,GL_FALSE 对应到boolean类型
• C字符串((char*)) 对应到Java 的 UTF-8 字符串。

• Android OpenGL ES 开发中的Buffer使用

   
  为了提高性能，通常将顶点，颜色等值存放在java.nio 包中定义的Buffer类中。

  java.nio 包包含了Buffer,Channel, charset 等，但OpenGL ES 只用到Buffer，Buffer具有以下特点：

  • 允许以内存缓冲区(buffer)的方式来管理一个Buffer 数组，可以整块整块的读写内存区域，并可以指定Byte order.（大头或是小头）。
  • 提供了在指定位置读写各种基本数据类型的简便方法如 putInt ,putLong等。
  • 可以充分利用JVM提供的各种优化方法以达到和使用Native Code类型的读写性能。
  • 可以直接从OS的内存分配空间，这部分空间可以不受Java 的Garbage collector控制。称为Direct buffer.

  java.nio 包中定义了基类Buffer ，还定义了和各种基本数据类型特定的Buffer类型ByteBuffer, CharBuffer, DoubleBuffer, FloatBuffer, IntBuffer, LongBuffer和ShortBuffer.其中ByteBuffer是其它类型的基础，因为分配内存是通过ByteBuffer的allocate来进行的，然后通过 ByteBuffer 的asXXXBuffer()转为其它类型：

  可以使用下面三个方法来创建一个新的ByteBuffer：

  public static ByteBuffer allocate(int capacity)
  public static ByteBuffer allocateDirect(int capacity)
  public static ByteBuffer wrap(byte[] array)

   

  其中ByteBuffer.allocateDirect直接从OS分配内存，不受GC的限制，wrap使用已分配的数组作为buffer管理。
  
  

  关于EGL

  
  

  OpenGL ES的javax.microedition.khronos.opengles 包定义了平台无关的GL绘图指令，EGL(javax.microedition.khronos.egl )
  则定义了控制displays ,contexts 以及surfaces 的统一的平台接口。

  • Display(EGLDisplay) 是对实际显示设备的抽象。
  • Surface（EGLSurface）是对用来存储图像的内存区域FrameBuffer的抽象，包括Color Buffer, Stencil Buffer ,Depth Buffer.
  • Context (EGLContext) 存储OpenGL ES绘图的一些状态信息。

  使用EGL的绘图的一般步骤：

  1. 获取EGLDisplay对象
  2. 初始化与EGLDisplay 之间的连接。
  3. 获取EGLConfig对象
  4. 创建EGLContext 实例
  5. 创建EGLSurface实例
  6. 连接EGLContext和EGLSurface.
  7. 使用GL指令绘制图形
  8. 断开并释放与EGLSurface关联的EGLContext对象
  9. 删除EGLSurface对象
  10. 删除EGLContext对象
  11. 终止与EGLDisplay之间的连接。

   

  一般来说在Android平台上开发OpenGL ES 应用，无需直接使用javax.microedition.khronos.egl 包中的类按照上述步骤来使用OpenGL ES绘制图形，在Android平台中提供了一个android.opengl 包，类GLSurfaceView提供了对Display,Surface,Context 的管理，大大简化了OpenGL ES的程序 框架,对应大部分OpenGL ES开发，只需调用一个方法来设置OpenGLView用到的GLSurfaceView.Renderer

   

  创建简单的opengl es实例

  http://developer.android.com/resources/tutorials/opengl/opengl-es10.html

  关于projection和 Camera View：

   

   

   

  基本几何图形定义

  OpenGL ES 支持绘制的基本几何图形分为三类：点，线段，三角形。也就是说OpenGL ES 只能绘制这三种基本几何图形。任何复杂的2D或是3D图形都是通过这三种几何图形构造而成的。

  OpenGL ES提供了两类方法来绘制一个空间几何图形：

  • public abstract void glDrawArrays(int mode, int first, int count) 使用VetexBuffer 来绘制，顶点的顺序由vertexBuffer中的顺序指定。
  • public abstract void glDrawElements(int mode, int count, int type, Buffer indices) ，可以重新定义顶点的顺序，顶点的顺序由indices Buffer 指定。

  mode列表： GL_POINTS 绘制独立的点、 GL_LINE_STRIP绘制一条线段、 GL_LINE_LOOP绘制一条封闭线段（首位相连）、 GL_LINES绘制多条线段、 GL_TRIANGLES绘制多个三角形（两两不相邻）、 GL_TRIANGLE_STRIP绘制多个三角形（两两相邻）、 GL_TRIANGLE_FAN以一个点为顶点绘制多个相邻的三角形

  
  

  对应顶点除了可以为其定义坐标外，还可以指定颜色，材质，法线（用于光照处理）等。

  glEnableClientState 和 glDisableClientState 可以控制的pipeline开关可以有：GL_COLOR_ARRAY (颜色） ,GL_NORMAL_ARRAY (法线), GL_TEXTURE_COORD_ARRAY (材质), GL_VERTEX_ARRAY(顶点), GL_POINT_SIZE_ARRAY_OES等。

  对应的传入颜色，顶点，材质，法线的方法如下：

  glColorPointer(int size,int type,int stride,Buffer pointer)
  glVertexPointer(int size, int type, int stride, Buffer pointer)
  glTexCoordPointer(int size, int type, int stride, Buffer pointer)
  glNormalPointer(int type, int stride, Buffer pointer)

  
  

  OpenGL ES 内部存放图形数据的Buffer有COLOR ,DEPTH (深度信息）等，在绘制图形只前一般需要清空COLOR 和 DEPTH Buffer。

  
  

  
  

  三维坐标系及坐标变换初步

  OpenGL ES图形库最终的结果是在二维平面上显示3D物体，这个过程可以分成三个部分：

  • 坐标变换，坐标变换通过使用变换矩阵来描述，因此学习3D绘图需要了解一些空间几何，矩阵运算的知识。三维坐标通常使用齐次坐标来定义。变换矩阵操作可以分为视角（Viewing），模型（Modeling）和投影（Projection）操作，这些操作可以有选择，平移，缩放，正侧投影，透视投影等。
  • 由于最终的3D模型需要在一个矩形窗口中显示，因此在这个窗口之外的部分需要裁剪掉以提高绘图效率，对应3D图形，裁剪是将处在剪切面之外的部分扔掉。
  • 在最终绘制到显示器（2D屏幕），需要建立起变换后的坐标和屏幕像素之间的对应关系，这通常称为“视窗”坐标变换(Viewport) transformation.

  如果我们使用照相机拍照的过程做类比，可以更好的理解3D 坐标变换的过程。

  1. 拍照时第一步是架起三角架并把相机的镜头指向需要拍摄的场景，对应到3D 变换为viewing transformation （平移或是选择Camera ）
  2. 然后摄影师可能需要调整被拍场景中某个物体的角度，位置，比如摄影师给架好三角架后给你拍照时，可以要让你调整站立姿势或是位置。对应到3D绘制就是Modeling transformation （调整所绘模型的位置，角度或是缩放比例）。
  3. 之后摄影师可以需要调整镜头取景（拉近或是拍摄远景），相机取景框所能拍摄的场景会随镜头的伸缩而变换，对应到3D绘图则为Projection transformation(裁剪投影场景）。
  4. 按下快门后，对于数码相机可以直接在屏幕上显示当前拍摄的照片，一般可以充满整个屏幕（相当于将坐标做规范化处理NDC），此时你可以使用缩放放大功能显示照片的部分。对应到3D绘图相当于viewport transformation （可以对最终的图像缩放显示等）

  对于Viewing transformation (平移，选择相机）和Modeling transformation（平移，选择模型）可以合并起来看，只是应为向左移动相机，和相机不同将模型右移的效果是等效的。

  在OpenGL ES 中，

  • 使用GL10.GL_MODELVIEW 来同时指定viewing matrix 和modeling matrix.
  • 使用GL10.GL_PROJECTION 指定投影变换，OpenGL 支持透视投影和正侧投影（一般用于工程制图）。
  • 使用glViewport 指定 Viewport 变换。

   

   

  通用的矩阵变换指令

   

  Android OpenGL ES 对于不同坐标系下坐标变换，大都使用矩阵运算的方法来定义和实现的。这里介绍对应指定的坐标系（比如viewmodel, projection或是viewport) Android OpenGL ES支持的一些矩阵运算及操作。

  矩阵本身可以支持加减乘除，对角线全为1的4X4 矩阵成为单位矩阵Identity Matrix 。

  • 将当前矩阵设为单位矩阵的指令 为glLoadIdentity().
  • 矩阵相乘的指令glMultMatrix*() 允许指定任意矩阵和当前矩阵相乘。
  • 选择当前矩阵种类glMatrixMode().  OpenGL ES 可以运行指定GL_PROJECTION，GL_MODELVIEW等坐标系，后续的矩阵操作将针对选定的坐标。
  • 将当前矩阵设置成任意指定矩阵glLoadMatrix*()
  • 在栈中保存当前矩阵和从栈中恢复所存矩阵，可以使用glPushMatrix()和glPopMatrix()
  • 特定的矩阵变换平移glTranslatef(),旋转glRotatef() 和缩放glScalef()

  方法public abstract void glTranslatef (float x, float y, float z) 用于坐标平移变换。

  方法public abstract void glRotatef(float angle, float x, float y, float z)用来实现选择坐标变换，单位为角度。 (x,y,z)定义旋转的参照矢量方向。多次旋转的顺序非常重要。

  方法public abstract void glScalef (float x, float y, float z)用于缩放变换。

  
  

  在进行平移，旋转，缩放变换时，所有的变换都是针对当前的矩阵（与当前矩阵相乘），如果需要将当前矩阵回复最初的无变换的矩阵，可以使用单位矩阵（无平移，缩放，旋转）。

  public abstract void glLoadIdentity()。

  在栈中保存当前矩阵和从栈中恢复所存矩阵，可以使用

  public abstract void glPushMatrix()

  和

  public abstract void glPopMatrix()。

  在进行坐标变换的一个好习惯是在变换前使用glPushMatrix保存当前矩阵，完成坐标变换操作后，再调用glPopMatrix恢复原先的矩阵设置。

   

   

  Viewing和Modeling(MODELVIEW) 变换

   

  ndroid OpenGL ES 的GLU包有一个辅助函数gluLookAt提供一个更直观的方法来设置modelview 变换矩阵：

  void gluLookAt(GL10 gl, float eyeX, float eyeY, float eyeZ, float centerX, float centerY, float centerZ, float upX, float upY, float upZ)

  • eyex,eyey,eyez 指定观测点的空间坐标。
  • tarx,tary,tarz ，指定被观测物体的参考点的坐标。
  • upx,upy,upz 指定观测点方向为“上”的向量。

   

   

   

  投影变换Projection

  投影变换则对应于调整相机镜头远近来取景。

  下面代码设置当前Matrix模式为Projection投影矩阵：

  gl.glMatrixMode(GL_PROJECTION);

  gl.glLoadIdentity();

  后续的坐标变换则针对投影矩阵。投影变换的目的是定义视锥(viewing volume)，视锥一方面定义了物体如何投影到屏幕（如透视投影或是正侧投影），另一方面视锥也定义了裁剪场景的区域大小。

  OpenGL ES可以使用两种不同的投影变换：透视投影（Perspective Projection）和正侧投影（Orthographic Projection）。

  Android OpenGL ES提供了一个辅助方法gluPerspective()可以更简单的来定义一个透视投影变换:

  Android OpenGL ES提供了一个辅助方法gluPerspective()可以更简单的来定义一个透视投影变换:

  GLU.gluPerspective(GL10 gl, float fovy, float aspect, float zNear, float zFar)

  • fovy: 定义视锥的view angle.
  • aspect:  定义视锥的宽高比。
  • zNear: 定义裁剪面的近距离。
  • zFar: 定义创建面的远距离。

  正侧投影(Orthographic Projection)

  正侧投影，它的视锥为一长方体，特点是物体的大小不随到观测点的距离而变化，投影后可以保持物体之间的距离和夹角。它主要用在工程制图上。

  
  

  Viewport变换

  OpenGL ES 中使用 glViewport()  来定义显示视窗的大小和位置, Android 缺省将viewport 设置成和显示屏幕大小一致。

   

   

   

  定义3D模型的前面和后面

  下面代码设置逆时针方法为面的“前面”： gl.glFrontFace(GL10.GL_CCW);

  
  

  打开 忽略“后面”设置： gl.glEnable(GL10.GL_CULL_FACE);然后 明确指明“忽略“哪个面的代码如下：

  gl.glCullFace(GL10.GL_BACK);

  
  

  FrameBuffer、Depth Buffer

  OpenGL ES 中的FrameBuffer 指的是存储像素的内存空间 。对应一个二维图像，如果屏幕分辨率为1280X1024 ，如果屏幕支持24位真彩色 (RGB)，则存储这个屏幕区域的内存至少需要1024X1280X3个字节。此外如果需要支持透明度（Alpha），则一个像素需要4个字节。

  在最终OpenGL ES写入这些Buffer时，OpenGL ES提供一些Mask 函数可以控制Color Buffer 中RGBA通道，是否允许写入Depth Buffer 等，这些Mask 函数可以打开或是关闭某个通道，只有通道打开后，对应的分量才会写入指定Buffer,比如你可以关闭红色通道，这样最后写道Color Buffer中就不含有红色。

  
  

  OpenGL ES 中Depth Buffer 保存了像素与观测点之间的距离信息，在绘制3D图形时，将只绘制可见的面而不去绘制隐藏的面，这个过程叫”Hidden surface removal” ，采用的算法为”The depth buffer algorithm”。

  The depth buffer algorithm 在OpenGL ES 3D绘制的过程中这个算法是自动被采用的，但是了解这个算法有助于理解OpenGL ES 部分API的使用。

  下面给出了OpenGL ES中与Depth Buffer相关的几个方法：

  • gl.Clear(GL10.GL_DEPTH_BUFFER_BIT) 清空Depth Buffer (赋值为1.0)通常清空Depth Buffer和Color Buffer同时进行。
  • gl.glClearDepthf(float depth) 指定清空Depth Buffer是使用的值，缺省为1.0，通常无需改变这个值，
  • gl.glEnable(GL10.GL_DEPTH_TEST) 打开depth Test
  • gl.glDisable(GL10.GL_DEPTH_TEST) 关闭depth Test

   

  OpenGL光照模型

  为了能看出3D效果，给场景中添加光源。如果没有光照，绘出的球看上去和一个二维平面上圆没什么差别

  OpenGL 光照模型中最终的光照效果可以分为四个组成部分：Emitted(光源）, ambient(环境光）,diffuse(漫射光）和specular（镜面反射光），最终结果由这四种光叠加而成。

  Emitted ： 一般只发光物体或者光源，这种光不受其它光源的影响。

  ambient: 指光线经过多次反射后已经无法得知其方向（可以看作来自所有方向），可以成为环境光，该光源如果射到某个平面，其反射方向为所有方向。Ambient 不依赖于光源的方向。

  diffuse:当一束平行的入射光线射到粗糙的表面时，因面上凹凸不平，所以入射线虽然互相平行，由于各点的法线方向不一致，造成反射光线向不同的方向无规则地反射，这种反射称之为“漫反射”或“漫射”。这个反射的光则称为漫射光。漫射光射到某个平面时，其反射方向也为所有方向。diffuse 只依赖于光源的方向和法线的方向。

  specular ： 一般指物体被光源直射的高亮区域，也可以成为镜面反射区，如金属。 specular依赖于光源的方向，法线的方向和视角的方向。

  
  

  
  

  
  

  设置光照效果Set Lighting

  OpenGL ES API如何使用光照效果：

  • 设置光源
  • 定义法线
  • 设置物体材料光学属性

  光源

  OpenGL ES中可以最多同时使用八个光源，分别使用0到7表示。

  OpenGL ES光源可以分为

  • 平行光源(Parallel light source), 代表由位于无限远处均匀发光体，太阳可以近似控制平行光源。
  • 点光源(Spot light source)  如灯泡就是一个点光源，发出的光可以指向360度，可以为点光源设置光衰减属性（attenuation)或者让点光源只能射向某个方向（如射灯）。
  • 可以为图形的不同部分设置不同的光源。

  下面方法可以打开某个光源，使用光源首先要开光源的总开关：gl.glEnable(GL10.GL_LIGHTING);

  然后可以再打开某个光源如0号光源：gl.glEnable(GL10.GL_LIGHT0);

  设置光源方法如下：

  • public void glLightfv(int light,int pname, FloatBuffer params)
  • public void glLightfv(int light,int pname,float[] params,int offset)
  • public void glLightf(int light,int pname,float param)

  • light 指光源的序号，OpenGL ES可以设置从0到7共八个光源。
  • pname: 光源参数名称，可以有如下：GL_SPOT_EXPONENT, GL_SPOT_CUTOFF, GL_CONSTANT_ATTENUATION,  GL_LINEAR_ATTENUATION, GL_QUADRATIC_ATTENUATION, GL_AMBIENT, GL_DIFFUSE,GL_SPECULAR, GL_SPOT_DIRECTION, GL_POSITION
  • params 参数的值（数组或是Buffer类型）。

  其中为光源设置颜色的参数类型为上述蓝色值，可以分别指定R,G,B,A 的值。

  指定光源的位置的参数为GL_POSITION,值为(x,y,z,w)： 平行光将w 设为0.0，(x,y,z)为平行光的方向。

  
  

  法线

  在场景中设置好光源后，下一步要为所绘制的图形设置法线(Normal)，只有设置了法线，光源才能在所会物体上出现光照效果。三维平面的法线是垂直于该平面的三维向量。曲面在某点P处的法线为垂直于该点切平面的向量

  
  

  和设置颜色类似，有两个方法可以为平面设置法线，一是 public void glNormal3f(float nx,float ny,float nz)

  这个方法为后续所有平面设置同样的方向，直到重新设置新的法线为止。

  为某个顶点设置法线：public void glNormalPointer(int type,int stride, Buffer pointer)

  • type  为Buffer 的类型，可以为GL_BYTE, GL_SHORT, GL_FIXED,或 GL_FLOAT
  • stride: 每个参数之间的间隔，通常为0.
  • pointer: 法线值。

  打开法线数组gl.glEnableClientState(GL10.GL_NORMAL_ARRAY);

  规范化法向量，比如使用坐标变换（缩放），如果三个方向缩放比例不同的话，顶点或是平面的法线可能就有变化，此时需要打开规范化法线设置： gl.glEnable(GL10.GL_NORMALIZE);

  经过规范化后法向量为单位向量（长度为1）。同时可以打开缩放法线设置 gl.glEnable(GL10.GL_RESCALE_NORMAL);

  
  

  设置物体材料光学属性

  设置物体表面材料(Material)的反光属性（颜色和材质）的方法如下：

  public void glMaterialf(int face,int pname,float param)
  public void glMaterialfv(int face,int pname,float[] params,int offset)
  public void glMaterialfv(int face,int pname,FloatBuffer params)

  
  

  • face : 在OpenGL ES中只能使用GL_FRONT_AND_BACK，表示修改物体的前面和后面的材质光线属性。
  • pname: 参数类型，可以有GL_AMBIENT, GL_DIFFUSE, GL_SPECULAR, GL_EMISSION, GL_SHININESS。这些参数用在光照方程。
  • param：  参数的值。

  其中GL_AMBIENT,GL_DIFFUSE,GL_SPECULAR ，GL_EMISSION为颜色RGBA值，GL_SHININESS 值可以从0到128，值越大，光的散射越小：

  
  

  此外，方法glLightModleXX给出了光照模型的参数

  public void glLightModelf(int pname,float param)
  public void glLightModelfv(int pname,float[] params,int offset)
  public void glLightModelfv(int pname,FloatBuffer params)

  • pname: 参数类型，可以为GL_LIGHT_MODEL_AMBIENT和GL_LIGHT_MODEL_TWO_SIDE
  • params: 参数的值。

  最终顶点的颜色由这些参数（光源，材质光学属性，光照模型）综合决定（光照方程计算出）。

-