硕士选题历程：集群+电子样机+机载视觉+生物信息+智慧控制

此次整理笔记，将硕士课题的调研历程整理如下（导师的思路天马行空，我本人又是科研小白，因此整个思路比较混乱）：

调研主题：倾转旋翼、风洞、嵌入式、神经网络、电子样机、机载视觉（降落）、智能控制

项目一、集群XX项目总结

1、飞机、机箱、飞行测试、offboard

2、gazebo、XPlane仿真

基于ros的通信机制

3、感知节点：car_tracking跟踪、car_detection探测、car_pose_estimation

MJPEG_driver压缩图像

吊舱：接收指令、控制吊舱、跟踪

4、通信节点：传视频，UWB

5、体系节点：集群，Marvlink协议，P400控

6、规划节点：地面站，按需探测、合作目标跟踪、非合作目标跟踪、颗粒密度覆盖、调度跟踪

P400控、车→地面站→飞机

P900，差分GPS

图传：LTE视频传输，LTE接收设备

------------------------------------------------------------------------------------------------------------------------------------------

项目二、电子样机：

具体目标：支持 结构力学、 空气动力学、 运动学等多方面的仿真计算及三维动态过程显示，且可模拟无人机模态转换过程，要求仿真系统与实际系统飞行姿态、加速度、机构动力学参数等 数据符合度不低于80%。

分析方面：3D显示、模拟装配、结构力学分析、材料力学分析、 流体力学分析、运动学分析、 动力学分析、动力学仿真、电磁兼容性分析、寿命与可靠性分析、控制系统设计与仿真

实现工具： MATLAB、X-Plane、 Plane-Maker、SolidWorks、COMSOL Multiphysics、ANSYS、CATIA、ADAMS

1）COMSOL Multiphysics是以有限元法为基础， 通过求解偏 微分方程（单场）或偏微分方程组（多场）来实现真实物理现象的仿真，用数学方法求解真实世界的物理现象。

Multiphysics翻译为多物理场，因此这个软件的优势就在于多物理场耦合方面。多物理场的本质就是偏微分方程组（PDEs），所以只要是可以用偏微分方程组描述的物理现象，COMSOL Multiphysics都能够很好的计算、模拟、仿真。

（2）ANSYS软件是美国ANSYS公司研制的大型通用有限元分析（FEA）软件，是世界范围内增长最快的计算机辅助工程（CAE）软件， 能与多数计算机辅助设计（CAD，computer Aided design）软件接口，实现数据的共享和交换，如Creo, NASTRAN, Alogor, I－DEAS, AutoCAD等。是融结构、流体、电场、磁场、声场分析于一体的大型通用有限元分析软件。 软件主要包括三个部分：前处理模块，分析计算模块和后处理模块。

（3）CATIA是法国达索公司的产品开发旗舰解决方案。它可以帮助制造厂商设计他们未来的产品，并 支持从项目前阶段、具体的设计、分析、模拟、组装到维护在内的全部工业设计流程。

CATIA 源于航空航天工业，是业界无可争辩的领袖。以其精确安全，可靠性满足商业、防御和航空航天领域各种应用的需要。在航空航天业的多个项目中，CATIA 被应用于开发虚拟的原型机，Boeing飞机公司在Boeing 777项目中，应用CATIA设计了除发动机以外的100%的机械零件。并将包括发动机在内的100%的零件进行了预装配。CATIA 的后参数化处理功能在777的设计中也显示出了其优越性和强大功能。为迎合特殊用户的需求，利用CATIA 的参数化设计，Boeing 公司不必重新设计和建立物理样机，只需进行参数更改，就可以得到满足用户需要的电子样机，用户可以在计算机上进行预览。

（4）ADAMS软件使用交互式图形环境和零件库、约束库、力库，创建完全参数化的机械系统几何模型，其求解器采用多刚体系统动力学理论中的拉格朗日方程方法，建立系统动力学方程，对虚拟机械系统进行静力学、运动学和动力学分析，输出位移、速度、加速度和反作用力曲线。ADAMS软件的仿真可用于预测机械系统的性能、运动范围、碰撞检测、峰值载荷以及计算有限元的输入载荷等。

ADAMS一方面是虚拟样机分析的应用软件，用户可以运用该软件非常方便地对虚拟机械系统进行静力学、运动学和动力学分析。另一方面，又是虚拟样机分析开发工具，其开放性的程序结构和多种接口，可以成为特殊行业用户进行特殊类型虚拟样机分析的二次开发工具平台。

配合方案：飞行控制系统、油电混合系统、参数辨识、风洞试验

课题方向：选择一个框架或者某一细化的点，例如以倾转机构、螺旋桨为主的整机动力学分析

-------------------------------------------------------------------------------------------------------------------------------------------

项目三、机载视觉：

具体目标：通过软件硬件结合实现 低成本、可工程应用的自动变焦 镜头（吊舱？），结合“视觉惯导融合”技术实现 目标的检测识别、相对位姿估计、定位

关键词：光电吊舱、焦距估计、自动变焦、PnP（Perspective-N-Point）、IMU融合

实现工具：Ubuntu ROS、 ARDroneControl、 AprilTags、PnP融合IMU（可构建神经网络、深度学习进行训练，代替部分方程）、 OpenCV、Vicon四机编队

技术细节：金绍港师兄论文（图像预处理算法、图像的特征点检测算法、以及PnP算法等可以改进，提高整体算法的实时性和鲁棒性）、简化PnP方程组、改进镜头调焦电机

课题方向： 倾转旋翼车载目标相对位姿估计、降落，变焦镜头的工程应用， PnP方程的优化

引申创新点：单目双目相机测距测大小技术， 相机标定（内参、外参）、生物视觉vs机器视觉

经验总结：看过的论文大多都忘记了，预估工作量很大

-------------------------------------------------------------------------------------------------------------------------------------------

项目四、生物信息：

蛋白质组：一个细胞、组织或者有机体，在特定时刻、特定条件下表达的全套蛋白质。

EstimatePN2014725

%2017/7/23 排除版本、链接库错误，调通C++代码；MATLAB部分暂缺失一个通用函数和数据集；

-------------------------------------------------------------------------------------------------------------------------------------------

项目五、智慧控制-思路汇总

10天暑假结束，到许昌，接触到这个课题

2017.7.24-至今：

《基于仿脑信息系统的无人机智慧控制》

《基于神经网络芯片的无人机机动飞行控制器设计》

《基于神经网络的固定翼无人机机动飞行控制》

关键点：飞行控制系统搭建、飞行数据采集处理、仿脑架构的提出、神经网络训练算法、机动飞行的实现

多了解一下课题建议书

我又不是大佬，这么一摊，实在是坑！！！

本年度主要内容：

1. 基于深度学习架构的无人机高机动飞行控制

设计合适的网络架构，利用X-Plane飞行仿真环境，进行飞行操作手机动飞行操作，采集固定翼无人机的运动状态数据、舵面/发动机输入数据，训练无人机的机动动作控制器，实现无人机的高机动飞行控制，并在X-Plane仿真环境下验证机动飞行的稳定性，与实际飞行模板数据的相似程度。

2. 基于神经网络芯片的无人机姿态自适应控制

利用神经网络芯片CMnK，设计网络结构，结合无人机传统控制方法，利用多种风场条件下的仿真飞行数据，训练网络，实现无人机姿态自适应控制。利用不同风场条件，验证自适应飞行能力。

技术要求：

1.X-Plane仿真飞行中， 利用动力学建模良好的固定翼机型进行试验，机型和实际采购的飞机要一致，利用固定翼飞机的升力系数、阻力系数、力矩系数、翼载荷等进行实际验证。 要求构建的神经网络能够和xplane直接相连，飞行数据采样速度要能够满足实际飞行需要。高机动飞行动作要具有典型性，参考有人战斗机的飞行机动动作进行设计。飞行操作手的经验要丰富，实现的机动飞行动作要和实际战术模板相似度比较高。

2.训练的神经网络收敛性、稳定性良好，训练数据丰富， 网络结构设计中要充分利用无人机飞行控制的模型约束、参数约束和数据约束，防止出现过拟合、拟合优度差、不收敛等情况。

3. 神经网络芯片的使用中需要进行网络规模评估，兼顾成本与性能，充分考虑硬件实现的局限性。实现从软件计算到硬件实现的迁移中，要考虑各种近似带来的影响。

具体指标：无人机机动飞行的神经网络控制：针对一种固定翼无人机， 实现不少于5种机动飞行动作的控制，飞行轨迹相似度（时序数据的相关系数）不低于80%。

基于神经网络芯片自适应控制器实现：针对一种固定翼无人机，实现风力从5m/s-15m/s改变情况下的姿态自适应控制，典型目标姿态（0°，45°），姿态晃动不大于10°。

本年度进度安排：实现一种固定翼无人机高机动飞行的神经网络控制，达到给定的技术指标。可以在仿真飞行中直接演示。

基于CMnK神经网络芯片，实现选定的固定翼无人机姿态自适应控制的仿真飞行，达到设定的技术指标。

提交演示系统：基于神经网络芯片的无人机姿态控制器，构建的神经网络，仿真飞行数据，测试数据等

技术总结报告：项目完成后，提交无人机高机动飞行神经网络控制，姿态自适应控制的技术总结报告

总体目标：针对无人机传统控制方法高机动飞行能力差和大范围环境适应困难的问题，充分利用人工神经网络的学习控制、自适应能力， 实现无人机的高机动和典型情况下的自适应控制。基于多样化的机载传感器，利用人工神经网络芯片，采用飞行操作手手动飞行高机动动作， 采集无人机运动和控制输入数据，训练实时性强、稳定性好的机载机动飞行控制器，实现无人机的高机动飞行。研究基于神经网络的无人机自适应控制框架，利用实际飞行数据训练网络，实现无人机复杂风场条件下自适应飞行控制。

本合同的目标：基于神经网络，在飞行仿真环境的支持下， 采集飞行操作手操作的高机动飞行数据，训练网络，实现无人机的机动飞行控制。利用神经网络芯片，实现无人机姿态的自适应控制，实现在电源电压变化、风向、风速变化条件下的稳定控制。

下一阶段的目标：购置固定翼无人机，加改装舵面偏转采集、发动机转速采集传感器，采集无人机实际飞行的机动动作数据，基于神经网络芯片，得到无人机的高机动、适应复杂风场的控制器，进行实际飞行试验。

阶段一：研究基于仿脑计算的无人机飞行控制架构， 提出和实现从运动中枢、小脑到底层运动神经元的网络架构，在脑模拟软件中实现。充分调研、了解、分析无人机操作手训练过程，有人机飞行员操作训练过程，在深度学习训练、BP网络训练、自适应共振网络训练等网络训练方法的基础上， 改进和实现网络训练方法。利用离散采集的手工高机动飞行数据进行学习和训练， 完成基于脑模拟软件的无人机飞行控制系统搭建，并基于X-plane进行飞行仿真测试。

在第一阶段的基础上，采用 大规模的脑模拟芯片和小规模的神经网络芯片相结合的方法，硬件实现无人机仿脑控制器。设计飞行试验， 完成复杂流场情况下飞行和自主避障的控制器训练、测试和改进。

课题最终的成果形式可以从软件、硬件、方法等归纳为以下三点：

1、 仿脑计算的无人机飞行控制架构；
2、基于NPU和小规模神经网络的无人机仿脑控制器硬件系统；
3、基于仿脑芯片，实现高机动、自主避障和复杂流场飞行的无人机飞行控制系统。