OCR - 行驶证识别(SVM训练及判断篇二)

声明 本文暂时禁止任何形式的转载, 以下示例图片为了不侵犯个人行驶证隐私，全部做打码处理。

---

前言

人工智能这个课题研究的主要目的就是实现“机器人” *模拟人的能力 人最强大的地方在于大脑，可以不断的学习积累经验，继而创新。机器识别图像的过程，说白了就是在模拟人类识别的过程。在上一章做到了机器读入图片（模拟人类通过眼睛看到从三维空间到视觉上二维成像）我们接下来让机器模拟人类记忆->积累经验-> 下次看到-> 识别出的一个过程

基础

我们判断一个物体是 太阳？月亮？ 是如何判别呢。是小时候我们还在上幼儿园时，老师指着 = 太阳 = 月亮 也就是图像+标签方式。机器就是小时候的我们，他不知道，他需要我们作为老师教授。SVM 支持向量机就是这个原理。我们把认识的过程叫训练，人类会把这个训练记在脑海里形成记忆片段，而机器会生成的叫训练模型。
我们在上一章最后生成了想要的图片，如下

image.png

那根据红框区域截取图片，我们把想要特征的图片叫Positive，不想要的特征图片叫Negative，依次会有以下图片

Negative

image.png

image.png

image.png

image.png

image.png

image.png

Positive

image.png

我们把Positive的图片告诉机器去记住，有这个特征的就是行驶证。把Negative的图片告诉机器去记住，有这些特征的就不是行驶证。这样，当这两类数据足够多时，能包容更多场景时，机器的识别率就会显著提高。这里要实现机器识别一个很重要的方法就是SVM中文翻译是支持向量机学习。 这名字听起来就高大上有没有。
在我的工程目录下创建一个SVM包，包的结构如下

image.png

Model目录 存在一个名称为svm.xml的文件这就是训练之后得到的模型（ 对比人类就是记忆片段），因为该模型的作用是判断图片是行驶证因此我们取名字叫“行驶证判断模型”
test目录 与 train目录， 先说train目录就是字面意义“训练”，教给机器去告诉他去记住具有Positive特征的图片就是行驶证，具有negative特征的不是行驶证，用计算机表示就是1和0. 因此代码上就是这样做的，看代码：

   void train() {
        //初始化,参数调试很重要,会影响识别率
        svm_ = cv::ml::SVM::create();
        svm_->setType(cv::ml::SVM::C_SVC);
        svm_->setKernel(cv::ml::SVM::RBF);
        svm_->setDegree(0.1);
        svm_->setGamma(0.1);
        svm_->setCoef0(0.1);
        svm_->setC(1);
        svm_->setNu(0.1);
        svm_->setP(0.1);
        svm_->setTermCriteria(cvTermCriteria(CV_TERMCRIT_ITER, 20000, 0.0001));

        //获得训练数据
        cv::Ptr train_data = tdata();

        //训练
        svm_->train(train_data);

        //训练后的数据(记忆片段) 保存在指定文件里
        string svm_xml_ = "/Users/xiu/Documents/Company/workspace/ocr/ocr/resource/model/svm.xml";
        svm_->save(svm_xml_);
    }

看代码注释部分应该都会懂了。这就是一个训练的完整过程。具体再看下获得训练数据，这一个代码片段也是非常重要，说明一点c++工程我实现了SVM，但是官方封装的Java接口，通过JNI方式去实现 SVM 始终会报错，我的底层opencv是3.2版本的，如果Java工程可以实现请联系我，我哪天抽空调通了也会单独发文。
获得训练数据代码片段：

 cv::Ptr tdata() {
        cv::Mat samples;
        std::vector responses;
        //指定Negative和Positive数据所在目录
        string has_file_path_ = "/Users/xiu/Documents/Company/workspace/ocr/ocr/resource/src/train/positive";
        string no_file_path_ = "/Users/xiu/Documents/Company/workspace/ocr/ocr/resource/src/train/negative";
        std::vector has_file_list_ = VLUtil::getFiles(has_file_path_, true);
        std::vector no_file_list_ = VLUtil::getFiles(no_file_path_, true);

        for (string f : has_file_list_) {//是行驶证
            auto image = cv::imread(f);
            if (!image.data) {
                continue;
            }
            cv::Mat feature;
            VLUtil::getLBPFeatures(image, feature);//提取特征,经过试验彩色图片识别率并不好
            feature = feature.reshape(1, 1);
            samples.push_back(feature);
            responses.push_back(int(1));// 是标记为1
        }

        for (string f : no_file_list_) {//非行驶证
            auto image = cv::imread(f);
            if (!image.data) {
                continue;
            }
            cv::Mat feature;
            VLUtil::getLBPFeatures(image, feature);
            feature = feature.reshape(1, 1);
            samples.push_back(feature);
            responses.push_back(int(0));//非,标记为0
        }

        //生成TrainData
        cv::Mat samples_, responses_;
        samples.convertTo(samples_, CV_32FC1);
        cv::Mat(responses).copyTo(responses_);
        return cv::ml::TrainData::create(samples_, cv::ml::SampleTypes::ROW_SAMPLE,
                                         responses_);
    }

代码意义还是看下注释就OK了
肯定有人在问了test目录是什么。是这样的，我们训练出了模型，如果判断该模型是好是坏呢。当然是拿测试数据来判断了。原始数据为100的话，测试和训练数据最好占比是 30% 和70% ，理论上训练数据越多，识别率越高。没有原始数据来源，几乎没法去做图像识别，样本数据是重中之重。有的人在开始做时，拿100%的原始数据去做训练，然后用原始数据去测试，这样是不对的。举个例子，老师平常教授的知识，作为例子讲解的题目。如果拿到考试当中，就无法去真正辨别学生该知识的真实情况。SVM也是同样道理。
我们接下里拿训练模型去判断未知图片是否为行驶证。代码片段：

     * 判断这些矩形是否含有行驶证,其中有一个是,就是
     */
    bool predict(const std::vector &path) {
        bool isVehicleLicenseOCR = false;
//        svm_ = cv::ml::SVM::load(svm_xml_);

        for (string f : path) {
            auto image = cv::imread(f);
            if (!image.data) {

                std::cout << "error : file not exist" << f << std::endl;
                continue;
            }
            cv::Mat feature;
            VLUtil::getLBPFeatures(image, feature);
            int predict = int(svm_->predict(feature));
            std::cout << "file name :" << f << "   predict: " << predict << std::endl;
            if(predict>=1){
                isVehicleLicenseOCR = true;
            }

        }

        return isVehicleLicenseOCR;
    }

该过程就是通过第一篇处理后的图片，得到若干矩形，具有行驶证特征的图片则返回1，只要有一个大于1的图片就是行驶证。说明其图片就是行驶证。

结束语

通过SVM训练，目前我的样本库Positive有300张，Negative有500张，现在的行驶证识别率能达到95%以上，不过还需要更多训练更多种场景的样本。后续第三章，我们回归图像处理，为第四章的ANN行驶证识别其中的文字来做铺垫。 关于文字识别开始我走了一段弯路，后来没有做下去，我想单独拿一张来分享。