基于结构光扫描的生物芯片快速彩色质量监管

基于结构光扫描的生物芯片快速彩色质量监管

摘 要 

三维数字化技术是智能制造领域的重要研究内容，由于三维光学扫描快速性、非接触性使其在三维测量、逆向工程以及文物保护等方面得以广泛应用。因此如何快速且高精度的重建真实物体模型是研究的关键。本文研究基于线结构光扫描的真彩色三维检测技术，充分利用视觉传感器的非接触测量优势以及基于光强的颜色三通道标定原理，快速获取物体表面坐标数据以及颜色信息，最终实现物体真彩色模型的重建以及三维形貌的测量。

由于疫情的袭扰，病毒检测手段愈发受人们重视。目前主流的检测方法是荧光聚合酶链反应技术，该法是基于荧光标记的核酸学检测方法，需要使用荧光显微镜进行结果检测。本文希望能够利用结构光三维扫描完成对生物芯片的质量检测。首先本文通过对常规的三维测量技术进行分析，建立了摄像机平面与线结构光平面之间的转换关系。同时针对普通线结构光检测无法获取表面真实检测信息的缺点，提出基于光强变化的颜色三通道标记原理，实现了物体表面颜色信息转换。最后建立了以结构光颜色扫描为测量原理的检测系统。

关键词 三维成像；结构光扫描；颜色识别；生物芯片

A study on fast color quality control of biochip based on structured light scanning

Abstract  

Three-dimensional digital technology is an important research content in the field of intelligent manufacturing.  Because of the fast and non-contact characteristic of three-dimensional optical scanning, it is widely used in 3D measurement, reverse engineering and heritage preservation.  Therefore, how to reconstruct the real object model quickly and accurately is the key to the research. In this paper, based on structure light scanning true color 3D detection technology,  making full use of the advantages of vision sensor non-contact measurement and color three-channel calibration principle based on light intensity, the coordinate data and color  information  of object surface are obtained quickly, and the reconstruction of object true color model and the measurement of 3D topography are finally realized.

Because of the epidemic situation, people pay more and more attention to virus detection. At present, the main detection method is fluorescence polymerase chain reaction, which is based on fluorescence labeling nucleic acid detection method, needs to use fluorescence microscope to detect the results. In this paper, we hope to use structured light 3D scanning to complete the quality detection of biochip. First of all, through the analysis of the conventional three-dimensional measurement technology, the conversion relationship between the camera plane and the line structured light plane is established. At the same time, in view of the shortcomings of the common line structured light detection which can not obtain the real surface detection information, a color three channel marking principle based on the change of light intensity is proposed to realize the color information conversion of the object surface. Finally, a detection system based on the county level color scanning is established.

Key words Three -dimensional imaging; structured light scanning; color recognition; biochip

1 引  言

结构光法是一种将已知图案投影到物体表面，通过视觉系统获取图像，并计算物体的深度信息和表面信息的测量方法。基本原理为利用摄像机从另外某一角度拍摄带有结构光信息的被测物图像，根据摄像机平面与结构光之间的几何关系，求解出被测物表面三维坐标。按光源类型以及扫描方式的不同，可将结构光分为下面几类：点结构光、线结构光、多线结构光及编码结构光等。随着科学技术的发展，结构光应用十分广泛：在工业生产领域例如微电子原件表面特征测量[1-2]，自由表面形变测量[3-4]，表面粗糙度分析[5-6]等；在生物医学领域例如3D口内牙科测量[7]，非侵入式的3D成像[8]，用于形状引导放射治疗的人体形状测量[9-10]等；生物识别应用例如人脸成像[11-12]；以及其他各种领域例如遗迹恢复[13-14]等等。生物芯片具有高度并行性，多样性，微型化和自动化的优点，近年来,以基因芯片为代表的生物芯片技术得到了迅猛发展。鉴于生物芯片的阵列式微结构，其适合使用线结构光进行三维扫描，可兼顾快捷性和可靠性，本文使用结构光照明进行生物芯片快速三维彩色质量监控。

2 研究现状

生物芯片近年来得到巨大的发展，由于其在药物筛选，基因的检测鉴定，基因分型肿瘤的早期诊断与监测，食品安全，生物检测等方面的巨大应用前景及市场需求，芯片相关产业发展已经成为研究重点。目前生物芯片在生物检测方面具有巨大的应用市场，其制造工艺多依赖于微系统技术。在生物芯片进一步走入大众生活之际，作为一种疾病检测手段，生物芯片的质量管控已是重中之重。

文中所涉及的生物芯片为蛋白质芯片，目前市场上最主要的蛋白质芯片产品是用机械点样方法制备的。点样是在生物芯片上如玻片、硅片及纤维膜等固定载体上用点样针点上微量样品。生物芯片批量生产后, 需要对生物芯片点样质量进行检测, 以确定其符合生产要求标准，质量合格的产品才能准确地检测出生物信息。生物芯片点样质量检测包括点样点的半径检测和点样点是否合格2部分，目前国内针对生物芯片点样质量的检测通常是对生物芯片点样质量进行人工识别，虽然适用性强，但人为因素很容易造成漏检和误检，效率相对较低，劳动强度大，甚至某些指标的检测不能依靠人工目检来完成。通过结构光扫描与计算机的处理和识别结合得到的检测与分类结果比人工操作更精确、客观、高效，因此进行基于结构光扫描的生物芯片点样质量检测方法的研究，对实现产品质量检测自动化，推动工业加工和包装流程自动化，提高企业生产效率和产品合格率具有现实意义。

3 线结构光扫描获取颜色信息

3.1  线结构光扫描数学模型

假设线结构光平面位于世界坐标系的Ow-ywzw平面上，借助一维线性位移平台，实现物体与结构光之间的相对运动。可以得到简化扫描系统模型如图1所示。

图1 线结构光扫描模型

Fig. 1 Line structured light scanning model

结构光所在平面垂直于底座，建立测量坐标系Ow-xwywzw。其中，Ow-xwyw平面与线位移平平行，Ow-xwzw平面与结构光平面重合，Owyw轴则与结构光平面垂直，指向位移平台的正向移动方向。由于被测点P(xw,yw,zw)位于光平面上，所以yw=0，可以得到p'(u,v)与P(xw,0,zw )的关系如下。

在扫描过程中，通过提取图像中条纹的二维坐标即可由上式求解出对应的三维点坐标(xw,zw)，而yw坐标则由位移平台每次移动的步长决定。

3.2 颜色信息获取

现有结构光扫描检测提供的是物体表面的三维点云数据，仅能够表达物体表面形貌信息，但是缺乏真实颜色信息，难以对特征信息为颜色的生物芯片进行辨别。为在扫描过程中同时获取表面坐标信息和对应点颜色信息，需要对相机进行颜色标定，实时地将低照度下颜色信息转换为环境光照下物体表面反射的颜色信息。

由同一CCD相机在不同照度下拍摄两张图片，两次拍摄时相机的参数设置相同：相机的RGB三通道参数响应比例调节为1:1:1，模拟增益倍数设置为3。由于环境光照的不均匀性以及物体表面光照度数值无法准确获取，因此将被测物放置于相同照度环境中，调节CCD相机的模拟增益倍数，对CCD输出信号进行不同程度的放大，代替不同光照度下拍摄的图像亮度变化。在不同增益倍数下，从图像中获取的物体表面颜色信息对应于RGB空间中不同的RGB值。若在低增益倍数下相机获取某一点P1颜色信息RGB值为(R1,G1,B1)，高增益倍数下该点的对应点P2颜色信息 RGB值为(R2,G2,B2)，由于不同增益倍数CCD输出信号的放大作用，两组对应的RGB值存在线性关系：

因此需要对两种增益倍数对应RGB数值之间的关系进行标定。色彩标定步骤如下：

1、在不同模拟增益倍数情况下，使用同一相机分别采集24色彩标定板的图像，得到图像A与图像B。

2、分别在色彩标定板图像A与B每个色块上均匀选取10个点组成点集PA和PB，在点集中寻找对应点，计算每个色块中对应点之间各个颜色分量之间的关系，通过拟合得到两个增益倍数下图像各点之间的转换关系。通过计算k1，k2，k3的平均值，偏差平均值和方差，可以选择出一个最具代表性的参数k，来进行颜色标定。

图2 三通道分量系数折线图

Fig. 2 Three channel component coefficient line chart

扫描过程中，被测物处于光照度恒定的环境中，仅通过摄像机增益倍数对获取的图像进行亮度增强，若将摄像机在某一增益倍数下获取的图片包含的颜色信息作为环境光照下的真实颜色信息，通过标定确定将该情况下拍摄的颜色信息与扫描过程中颜色信息的转换关系。相机读取被测物表面颜色后，即可通过色彩转换关系转换为真实颜色信息。

4 扫描系统

4.1 系统总体设计

系统总体结构如图3所示，系统由硬件系统和软件系统组成。硬件系统主要由线结构光系统、步进电机位移平台以及计算机和显示器组成。软件系统由摄像机标定模块、视频采集模块、步进电机控制模块、彩色图像处理模块以及点云数据处理模块组成。

图3 系统结构图

Fig. 3 System structure diagram

利用精密电控平移台3带动被测蛋白质芯片沿z轴方向移动，在扫描过程中，线结构光发射器1固定，被测物体在移动台的带动下，在传感器前方移动使激光平面扫过被测表面，摄像机4获取激光光条信息，完成对被测物表面的测量。通过图像采集装置将信息传输到控制中心。这种扫描方式量程大，精度高，适用性强，被测物体姿态控制灵活，根据被测物体表面轮廓，可以采用物体旋转运动，或将平移和旋转运动相结合的扫描方式，克服测量死角问题。

在使用前，需要对摄像机内外部参数进行标定。在内外部参数确定的基础上，对结构光平面加以标定得到光平面的坐标系表达方式。选取测量标准块检验系统精度，线结构光投射在标准块表面测量相关参数。在完成标定后，将滴加样本后的生物芯片放置在电控平移台上，控制系统开始扫描，结构光检测装置获取光条图像，提取光条中心及对应点颜色信息，通过计算机模型可将二维图像转化为三维点彩色图像，并进一步对生物芯片图像进行分析，得到待测生物芯片的质量结果。

4.2 基于交比不变的结构光平面标定

根据透视投影原理，长度与长度之间的比率是可以变化的，但两个关于长度的比率之间的比值具有不变性。直线上三个点A,B为基础点，C为分点，由分点与基础点所确定的两个有向线段之间的比称为简比，记作：

一条直线上的四个点中两个简单比的比值称为交比。直线L上四个点A,B,C,D的交比为：

点A,B为基础点对，点C,D为分隔点对。可以证明存在如下关系：

即为透视投影的交比不变性质。

图4 较比不变原理

Fig. 4 Comparison invariance principle

结构光平面标定时，靶标平面上特征点A,B,C(棋盘格角点)对应的图像点为a,b,c。结构光平面与靶标平面相交形成一条直线F1即结构光条纹，且直线F1与直线E1相交，即特征点D，其对应的图像点为d。如图5所示。

图5 相机标定中的交比不变原理

Fig. 5 The principle of constant cross ratio in camera calibration

设A(Xa,Ya,Za),B(Xb,Yb,Zb),C(Xc,Yc,Zc),D(Xd,Yd,Zd)为特征点世界坐标，则有特征点图像坐标 a(xa,yb),b(xb,yb),c(xc,yc),d(xd,yd)。特征点图像坐标a,b,c可以通过棋盘格角点检测获得，d 点的图像坐标可以通过拟合直线E1和F1直线并求其交点获得。由于棋盘格上每个小方格的刻度已知，所以可以自定义A，B,C三点的世界坐标，具体交比不变求解公式如下：

通过以上计算可以求得标定点D的世界坐标,直线F1与靶标平面上平行直线E2,E3等相交，可以获取多组标定点。由于在同一靶标平面上获取的多组标定点在同一平面内，且至少三个不共线的标定点才能确定光平面，所以通过沿着光平面的方向(前后)移动靶标的位置，摄像机和激光器的位置不变。如图5所示，靶标平面从π1移动到π2，可以获得不共线的特征点。

4.3 误差分析

由于测量过程中存在的误差有多种，如机械误差、标定误差、图像处理误差以及拼接误差等，以及颜色重建、色彩标定误差、环境光照误差等。就上述误差对系统测量结果的影响作简要分析。

（1）机械误差：在扫描位移系统持续前进的过程中，因机械制造存在误差，随着移动次数逐渐增加，误差会累积被放大。另外，线结构光平面不能保证与位移平台处于绝对垂直的位置，在扫描过程中由于平台振动也会使线结构光发生偏移，影响测量精度。

（2）图像处理误差：采用的梯度重心法能够快速提取亚像素条纹中心，处理带有噪声、畸变或光强分布误差的图像，会受干扰点影响偏离线结构光条纹中心，产生较大的误差。

（3）色彩标定误差：在扫描过程中物体处于光强较暗的环境下，直接读取物体表面颜色会产生严重失真，不能反映出物体表面真实颜色信息，而在色彩标定过程中，色块的颜色选取会受周围光强影响，使得被测物表面光强分布不均，导致同一色块中颜色信息相差较大，提取的颜色与真实颜色有一定的偏差。

4.4 可实现分析

对于蛋白质芯片的抗体点样，需将相关蛋白点样液分别制成合适浓度的抗体固定液；用蛋白芯片点样仪的点样针在蛋白质芯片上进行点样。点样结束后置于芯片固定盒中，恒温固定一段时间。固定结束后，PBST溶液清洗、氮气吹干封闭一段时间,最后用PBST溶液清洗、氮气吹干,即可获得探针包被的蛋白质芯片。

图6 点样效果图

Fig. 6 Point sample rendering

在芯片制作过程中，虽对基片表面进行了封闭处理，但基片非样点处仍常与检测靶标产生非特异性结合，造成较高的背景值，降低检测灵敏度；基片样点处在产生光学信号时，常会出现“咖啡环”现象，使得无法对信号强度进行精确测量，限制了蛋白芯片定量检测的发展，所以对生产的蛋白质芯片需要进行质量检测。选择如下设备进行检测。

4 结  论

本文基于结构光扫描对生物芯片进行扫描，建立了线结构光扫描模型，并对扫描结果进行颜色信息提取，搭建了识别系统。利用精密平移台使生物芯片进行一维运动，对生物芯片产品进行扫描，得到其相应的三维形貌信息及颜色信息，在此基础上进行数据的集合与处理，并最终获得生物芯片的质量情况，进行质量管控。