第二周实训：Qt和CV部分使用小记

Python 面向对象特性

        本周周一的课简单的介绍了Python的面向对象特性及其编程。在此过程中感触最深的是面向对象的组织形式，它不同于面向过程编程的简单的全局+局部的数据组织方式，在此基础上它增加了对象域，能够更好的实现数据与过程的分离，从而保证过程的稳定性。

        面向对象编程本质上组织形式还是：数据 + 过程，其段的定义为class即类，并且以构造器__init__来保证数据的封装。为了区别全局变量和全局函数，在该段内定义的变量需要是 self.变量 的形式，定义函数要在函数的形参里面额外加入 self 这一参数。

Qt初步使用

        在初步使用PyQt的过程中，体会到了继承的使用方法。关键步骤也就那几个套路，创建一个新的class，随后括号内跟着要继承的模块的类；在其构造器中第一句首先执行 super(类名， self).__init__() 用父类的构造器来初始化当前类，从而继承到父类的所有成员和函数。继承之后除了可以调用父类中的一些函数外，当然也可以在当前类override父类中已存在的函数，或者添加新的数据成员或者函数。

        在使用中，我们可以构造以下的框架：main - napp - ndialog （位于同级目录）。在ndialog中实现重写和新函数的添加来设计窗体，在napp中调用ndialog的类构造dialog，再show，最后再main函数中构造napp的对象完成基本的窗体实现。

        接下来就是大嘴鱼的绘制和控制实现。在此引入了线程的使用。大嘴鱼的实现就是一个线程，要引入 PyQt5.Core.QThread ，并在定义的Fish类中进行继承。同时进行定义fish的数据，如初始位置，大小，嘴巴角度，当前方向等等。也可以定义新的函数，如swim，change_dir，open_mouth等。在这里面最重要的就是对run函数的重写。对于每一个线程对象run函数只进行一次，进行完跳出后可类比人的自然死亡，说明该对象寿命已尽。在run函数中我们要实现的就是让其一直循环下去（因为没有别的需求），让大嘴鱼一直游下去直到退出窗体。在此期间我们为了实现窗体内的动态显示，我们引入了信号与槽，在该类中定义一个类为pyqtSignal的信号signal_mouth，用以每进行一次run函数就强制刷新窗体一次，以此来实现动态显示的效果。当运行到run函数中的 self.signal_mouth.emit() 时，该对象就会跳转到当前对象定义域中的槽函数进行执行，实现强制刷新窗体。需要注意的也就是这一点。

        当然使用键盘控制需要override dialog的keyPressEvent()函数，当键盘方向键输入被窗体读取到时会进行改变方向。

Qt结合CV的初步使用：调用摄像头进行图像采集

        首先要清楚了解在计算机中图像时如何表示出来的，在计算机中使用矩阵来表示图像，而python中矩阵的表示我们可以引入numpy包来表示。当我们读入本地的一张图片后，我们将它输出，就会发现是一个（height, width, 颜色通道（颜色通道中0表示b蓝色，1表示g绿色，2表示r红色）有别于Qt中的RGB颜色表示方法）的三维矩阵（黑白图像没有颜色通道就是二维矩阵）。读图片的时候我们采用cv2.imread()函数进行读取，而数组（即矩阵）在python中是通过一种ndarray类型表示的。我们甚至可以通过初始化好的矩阵来生成一张图片，通过设置矩阵的不同行和列的值以改变颜色（可以先通过fill()函数进行全部初始化）。设置矩阵某一连续行列的颜色的值我觉得用切片还是比较舒服的，对于需要渐变的使用解析表达式来进行赋值。

        接下来就是关于cv和qt的联合使用。在此过程中体会到了基本工程的文件管理树形图。首先是在文件夹中创建启动总app的脚本，接着根据app的不同功能可以将一个大app划分为不同的小app进行相互调用。在其中一个app中，我们有main.py入口函数，交互界面ui的文件夹，数据库文件（如ai相关的数据）等。在ui文件夹中再可以分为不同的模块进行相互调用，如napp.py，ndialog.py，nthread.py等等。本节课对于Qt的使用又开启了一扇新大门，使用Qtdesigner来进行设计，再通过命令行命令pyuic5 -o new.py .....ui（要转换的ui文件）就可以将刚刚使用designer设计的窗体转化为py文件，我们就可以在ndialog中进行继承了。

        接着我们就可以在继承的单线程中结合cv调用电脑的摄像头啦。在此过程中我们的信号是由摄像头进行采集，经过处理后放入槽函数进行展示在我们的屏幕上，信号的格式为（int, int, int, bytes）分别代表高度，宽度，颜色通道，表示图像的矩阵。我们在VThread（创建的继承于QThread函数的一个类）中定义成员变量来定义一个设备self.dev = cv2.VideoCapture(0, cv2.CAP_DSHOW)两个参数一个是摄像头的编号，一个是抓取视频的处理方式，此处使用的是windows操作系统的一个3D引擎。接着就开始override线程的run函数，套路一个while True循环，接着就是处理我们摄像头给我们发过来的数据了，创建state变量和frame变量来接受self.dev.read()的返回值，status代表的是当前状态是否是视频抓取的状态，正常为1，异常为0，正常后我们需要将读取到的图像数据的height, width, c整出来，就用三个变量来接受frame.shape，由于Qt和cv读取到的颜色通路的排序不同（也是python中的BGR表示法），因此我们需要调用cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)来将颜色通路的顺序转换，再接下来就出发信号了，将h, w, c, frame.tobytes()传入槽函数（由于信号中定义的为bytes，这里要将frame转化为二进制数据）

        接下来最后的主要任务就是在窗体定义的文件中写槽函数，在槽函数中我们需要把接受到的数据转化为图像，采用QImage来建立图像，其参数为(二进制矩阵，width，height，每行的位数w * c，QImage的格式)，再将qimage转化为qpixmap，接着将改pixmap呈现在窗体中即可。

总结

        本周主要学习的是ui的设计和部分cv的使用。关于ui的设计还是要自己积极探索文档来完善自己的知识，以充分提高窗体设计的可观赏性，cv的使用也是已文档为主。目前自己的问题主要就是看文档有些困难，不知道如何找，如何好好利用里面的一些参数，希望自己能在这方面有所提升，已在最后项目的ui设计中设计出很好的成果。