网络程序设计课程总结

ustc se SA16225133 寇亚飞

课程目标

通过实现一个医学辅助诊断的专家系统原型，具体为实现对血常规检测报告OCR识别结果，预测人物的年龄和性别，学习机器学习的常见算法，重点分析神经网路，理解和掌握常用算法的使用。

课程安排

• A1a 神经网络实现手写字符识别系统
• A2 血常规检验报告的图像OCR识别
• A3 根据血常规检验的各项数据预测年龄和性别

commit/pr

在课程进行中，我只做了一点点贡献。
- 提交了imgproc.py文件，对剪裁好的图片进行OCR识别，最终用在了项目中。

- 分享了开源ocr识别库，tesseract。

项目地址

• 课程主页：介绍了课程整体安排
• 主项目地址：聚集了大家的智慧，有多种不同实现，同时有项目所需环境的安装及配置
• 我fork的分支地址：我自己的一些实现

关于A1a

通过实现手写字符识别，作为机器学习的入门，其中用到了用到了BP神经网络，关于BP神经网络的一些理解，可以参考这里。
在该项目中，我使用深度学习框架keras实现了手写字符的识别，集成到了web系统中,这里有使用说明。
效果图：

关于A2

A2的主要目的是对血常规报告单进行OCR识别，其中最困难的部分就是对要识别区域的锁定和剪裁。这部分工作由这位大神同学率先完成并延用至今。
对于图像剪裁，在处理过程中的整理思路非常明确，我们并没有将目标定位于完全适用各种血常规报告单。因此将我们所采用的报告单的图片格式作为识别标准，通过对图片的预处理，包括灰度化、模糊、开闭运算等等，然后重点根据图片的特征，即图中的三条基准线，对图片进行水平方向上的梯度检测，然后根据检测出的线的位置，逐步确定表头表尾，最终就很容易实现了剪裁。这部分的细节在这位同学的PPT中介绍的很清楚，这里就不多余赘述。看一下实现的效果。
这是原始图片

描绘出边缘

在确定表头和表尾后对图片进行透视投影变换，得到最终要剪切的标准图片

我在项目中的主要贡献就在接下来的OCR部分。讲一下我的主要思路。首先对于剪裁后的图片，如
参考Tesseract官方给出的提高识别率的方法。

• 对图片进行二值化处理，这里我使用了ostu算法对图像进行二值化处理，它是一种高效的二值化算法，可以参考wiki里关于算法的详细介绍。
• 为了处理图片中的噪声点，对图片进行了腐蚀操作
• 将图片放大，Tesseract对于较大的图片有较好的识别结果
• 再次腐蚀被放大的噪声点
• 膨胀使图片内容饱满便于识别
• 直方图均衡化，提高图片的对比度
• 中值滤波去除孤立的噪声点
  经过以上步骤的处理，同时在Tesseract配置文件中加入了适合我们识别项目的白名单，Tesseract能够很好的工作，加上后期对识别结果的字符串操作，识别结果基本满意。以下是上述操作的代码实现：

def  digitsimg(src):

    #灰度化
    img_gray = cv2.cvtColor(src,cv2.COLOR_BGR2GRAY)

    #Otsu thresholding 二值化
    ret,result= cv2.threshold(img_gray,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)

    #腐蚀去除一些小的点
    kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(3,2))
    eroded = cv2.erode(result,kernel)

    #将结果放大便于识别
    result = cv2.resize(result,(128,128),interpolation=cv2.INTER_CUBIC)

    #腐蚀去除放大后的一些小的点
    eroded = cv2.erode(result,kernel)

    #膨胀使数字更饱满
    result = cv2.dilate(eroded,kernel)

    #直方图均衡化使图像更清晰
    cv2.equalizeHist(result)

    #中值滤波去除噪点
    result = cv2.medianBlur(result,5)
    return result

A2部分接下来的工作就是搭建web系统，将上述一系列剪裁、识别等实现放在web页面中展示，并将结果存入mongoDB中。
在这部分，使用了python的Flask框架，它是一个轻量级的web框架。数据的具体流程是启动服务器，连接到mongo数据库，前台接受图片，执行矫正、识别操作，调用相应模块，将结果存入mongodb中。

关于A3

这部分涉及到了该系统的核心，即对数据进行训练和预测。在主项目地址中，有很多同学采用不同的方式实现。这里讲一下我自己的实现。
首先是用到的数据格式，如下

data.py的功能是加载所需数据，并做了一些简单的处理，如将分类问题结果转换为one-hot类型数据，对年龄数据为了提高准确率，划分了区间。
然后是用到的模型，在model.py中，使用keras深度学习框架，分别实现了年龄预测和性别预测。

nb_classes1 = 2
nb_classes2 = 20
batch_size = 50
nb_epoch = 100

x_train,y1_train,y2_train = load_data('train.csv')
x_test,y1_test,y2_test = load_data('predict.csv')

def gender():
    model = Sequential()
    model.add(Dense(20,input_shape = (26,)))
    model.add(Activation('tanh'))

    model.add(Dense(20))
    model.add(Activation('tanh'))
    model.add(Dropout(0.2))

    model.add(Dense(15))
    model.add(Activation('tanh'))
    model.add(Dropout(0.2))

    model.add(Dense(nb_classes1))
    model.add(Activation('softmax'))

    model.compile(loss='categorical_crossentropy',
    optimizer=Adam(),
    metrics=['accuracy'])
    model.fit(x_train,y1_train,batch_size=batch_size,nb_epoch=nb_epoch,verbose =1,shuffle=True)
    score = model.evaluate(x_test, y1_test, verbose=0)
    print score[0],score[1]
    model.save('gender.h5')



def age():
    model = Sequential()
    model.add(Dense(25,input_shape=(26,)))
    model.add(Activation('tanh'))

    model.add(Dense(25))
    model.add(Activation('tanh'))
    model.add(Dropout(0.2))

    model.add(Dense(20))
    model.add(Activation('tanh'))
    model.add(Dropout(0.2))

    model.add(Dense(nb_classes2))
    model.add(Activation('softmax'))

    model.compile(loss='categorical_crossentropy',optimizer = Adam(),metrics=['accuracy'])
    model.fit(x_train,y2_train,batch_size= batch_size,nb_epoch = nb_epoch,verbose = 1,shuffle=True)
    score = model.evaluate(x_test, y2_test, verbose=0)
    print score[0],score[1]
    model.save('Age.h5')

性别预测模型中使用了4层的全连接神经网络，输入层维度为26，第一个隐藏层20个节点，采用的激励函数为tanh，dropout参数为0.2（防止过拟合在每次训练中随机屏蔽百分之20的节点），第二个隐藏层15个节点，激励函数和dropout同第一层，输出层为2分类，采用softmax激励函数。经过100次迭代，batch_size为50（每50个数据更新一次权值），在200个测试集上准确率在70%左右。

年龄预测模型使用了4层的全连接神经网络，输入同性别预测相同，第一个隐藏层节点为25，第二个隐藏层节点为20，在年领预测上效果很差，在测试上准确率只有15%左右。

在k_predict.py中调用训练好的模型实现预测，在首次加载时可能要训练模型。

from model import train 
import os 
from keras.models import load_model
FILE_PATH1 = 'gender.h5'
FILE_PATH2 = 'Age.h5'

def getmodel():
    #判断模型是否存在
    if os.path.exists(FILE_PATH1 and FILE_PATH2):
        model1 = load_model(FILE_PATH1)
        model2 = load_model(FILE_PATH2)
    else:
        train()
        model1 = load_model(FILE_PATH1)
        model2 = load_model(FILE_PATH2)
    return model1,model2
def predict(data):
    model1,model2 = getmodel()
    result1 = model1.predict_classes(data,batch_size = 1,verbose =0)
    result2 = model2.predict_classes(data,batch_size = 1,verbose=0)
    return result1,result2

将结果集成到web系统中，在view,py中添加下边代码。

import k_predict
@app.route("/predict", methods=['POST'])
def predict():
    data = json.loads(request.form.get('data'))
    ss = data['value']
    for i in range(4):
        ss.append('0')
    arr = numpy.array(ss)
    arr = numpy.reshape(arr, [1, 26])

    gender, age = k_predict.predict(arr)

    result = {
        "sex":gender[0],
        "age":int(age[0])
    }

    return json.dumps(result)

在index.html里添加下边代码：

     test: function(event) {

                data = [];
                for(var i=0;i<13;i++)
                    data[i] = Number(this.report_items_left[i].value);
                for(var i=0;i<9;i++)
                    data[13+i] = Number(this.report_items_right[i].value);

                var data = {
                    data: JSON.stringify(({
                        "value":data
                    }))
                };


                $.ajax({
                    url: "/predict",
                    type: 'POST',
                    data: data,
                    success: function(data) {
                        var obj = JSON.parse(data)
                        if(obj.sex == 1)
                            var sexsex = "男";
                        else
                            var sexsex = "女"
                        alert("性别：" + sexsex + "\n年龄：" + obj.age);


                    }
                })
            }

    type="button" v-on:click="test()" class="btn btn-primary btn-lg btn-block">预测年龄和性别pre

最终项目的展示效果为：
系统主界面

提交后的显示结果

OCR识别结果

预测结果

其他方面的一些学习

• 对于老师给的第二批数据，即train2.csv（8000多个数据）进行了些处理和预测（随机取百分之90做训练，百分之10做预测），使用同样的模型，性别预测的准确度可以提高到85%左右。
  
  年龄预测的结果依然不理想，可能是我模型的设置不太好，准确度仍旧在15%左右。
  

  这部分代码可以在我的代码仓库中Test2文件夹下，里边有使用说明，包括数据清洗文件predata.py和模型文件model.py

• 由于我们的项目数据维度较低，不太适合使用卷机神经网络，在学习过程中，为了提高自己对卷积神经网络的理解和使用，做了一个交通标志识别的小demo，加深了对CNN的理解和使用，这里有该项目的详细说明和代码，在此就不做过多的说明。

课程心得

在当初选课时候，看到了课程介绍要搞神经网络机器学习等方面，自己就有了极大的兴趣，虽然很小白，但确实很想学这方面，毕竟AlphaGO闹的太厉害，对AI有极大的兴趣。后来在选择工程实践时候就也选了孟宁老师的课题，但没想到竟然拿来在课程上做啦，说到这里也很是惭愧，在整个过程中自己的贡献确是很少，有时觉得做的东西并不能有很大的提高或者改进，就觉得没有pr的必要，在课程的不断进行中越来越觉得自己的这种想法不够好，并没能体会到团队的力量反而是自己在那里缓步前进，这一点在后期看了同学五花八门的代码后才有所顿悟，原来每个人的一点小小的贡献，可能就能对其他人有所启发（我就很被启发在某些代码用法上），而少走很多弯路！以后一定要重视这一点！不然不但帮助不到别人，自己的进步也很慢。
在这门课的学习中，我了解到了很多机器学习的算法，从最简单的knn，到决策树，随机森林，svm,LR，贝叶斯等等，以及bp神经网络，卷积神经网络，递归神经网络包括LSTM等等，现在的状态就是对这些算法有了大致的了解，深入细节还是一知半解甚至有的还啥都不懂，在算法这一块，后边还有很多书要啃。
在数据处理这块儿，由于在学习过程中，不断的看资料，了解一些信息，在工业界可能做机器学习数据挖掘方面，百分之七八十甚至更多的时间都是在对数据进行处理，其中特征工程非常重要，经常听到好的数据加上一般的模型效果可能好与差得数据（特征工程做的不好）配上复杂高大上的算法，数据决定了上限，而模型只是逼近上限的不同方式。因此在课程项目中，我一直在考虑在特征工程方向下手对我们的数据怎么处理，怎么提取特征可能会使结果更好一些，可惜由于各方面的技能、经验的严重缺失，一直没有什么好的成果，这一块儿后边还要继续学而且应该是重点学！
然后项目中用到的web模块，自己可能没有去过多的了解，只是把同学的代码大致读懂，然后搞清楚了数据流向，这块儿内容只能以后慢慢学了，这方面也是很惭愧。
对这门课的整体感受就是信息量巨大，很多来不及消化和实践，在课程结束后还要继续深究。关于git多人合作开发，从开始的迷茫体会不到好处到后来被深深折服，孟宁老师作为项目的总指挥，布置阶段性任务的方式使我们一步实现一个小目标，成就感十足，同时深感人多力量大，以后遇到同样的情况要多做贡献！对于文档，以前一直忽略，现在越来越体会到了其重要性，虽然自己还写的很烂，但要养成写文档的好习惯，不然别说别人看不懂，时间久了自己的代码都要看不懂了。
总之，收获满满，一切才刚刚开始，要学的还有很多！

下边是一些可能会用到的资料分享
CSDN机器学习知识库
Kaggle数据竞赛平台
O’Reilly数据科学的一些文章