计算机视觉知识体系

一、计算机视觉

三个层次：系统工程方案层、领域任务模块层、基础算法层。

三方面知识点：图像处理、机器学习、基础数学与模型。

视频的三个场景：近距离（手机、智能硬件、PC等），室内中距离（室内，如办公室、商场、家内；卡口，门口等），室外远距离（道路、公共场所等）

1.1 系统工程方案层

WEB图像结构化；离线SDK图像结构化；视频关键帧获取、结构化、序列化行为分析、结果图流媒体；

性能上，高并发；高可用；单张时间，尽量在200ms以内，尤其是视频；准确度。

1.2 领域任务模块层

五大领域（人、车、文、物、事）

1. 人：人体（检测、关键点、属性分类、行为、识别或者以图搜人）；人脸（检测、关键点、属性分类、活体行为、识别）；
2. 车：车辆（检测、关键点、品牌细分类、属性分类、行为，识别或者以图搜车）；车牌（检测、样式分类、文字识别）；
3. 文：OCR（图像预处理、基于图像分类、全部文字检测、指定字段定位、文字识别、基于文字内容分类），领域：票据、证件（个人、企业）、证书、车牌、自然场景（内部系统图像、门牌、站牌、物体等）
4. 物：动物（检测、关键点、品种细分类、属性分类、行为、识别或以图搜动物）；物体（检测、关键点、品牌细分类、属性分类、识别或以图搜物）
5. 事：特定场景检测，如烟火、物体遗留、工业视觉等。

1.3 基础算法层

三个方面（检测分割、分类识别、图像预处理）

1. 检测分割：定位目标位置、分出目标类别、提取目标关键点、从画面中分割出目标的像素。
2. 分类识别：分类包含三层，大类、属类、细类，检测到目标后，目标品牌或者品种细分类、目标属性分类（颜色、形状、属类等）、静态行为分类、序列行为分类；提取目标特征，结合类别进行以图搜图识别。
3. 图像预处理：图像增强、去雾、亮度调整、倾斜校正等。

1.4 深入领域体会

人脸领域，检测敏感度(人脸倾斜检测)、误检测率，人脸特征提取速度，人脸识别准确度。

车辆领域，车牌准确度、敏感度；颜色、类型、品牌准确度；车辆整体特征与内部局部特征的提取；车辆行为分析。

文字领域，图像质量对文字检测与识别的影响，图像预处理，文字检测的准确度与漏检率，文字识别，文字语义的分析。

视频领域，三大难题：（1）误检较多。（2）漏检问题，例如遮挡、逆光条件、倾斜姿态较大等情况无法检测到。（3）速度问题，检测算法速度无法完全达到实时性，在100ms以内就不错。解决速度问题方法：a.视频关键帧或间隔帧；b.图像压缩，坐标还原；c.耗时模块在关键时刻运行，其他时刻做数据关联。