xiaoli1368

Paddle目标检测作业三——YOLO系列模型实战

作者：xiaoli1368
日期：2020/09/26
邮箱：[email protected]

前言

本文是在学习《百度AIStudio_目标检测7日打卡营》并完成作业三的笔记，主要总结了YOLO系列模型实战中遇到的各种坑以及个人思考。

课程链接：

目标检测7日打卡营
作业三：YOLO系列模型实战

要求：基于PaddleDetection中的YOLO系列算法，完成印刷电路板（PCB）瑕疵数据集的训练与评估任务。要求在验证集上采用IoU=0.5，area=all的mAP作为评价指标，得分=mAP * 100，范围[0,100]，分数越高模型效果越好，及格线是60分。鼓励大家使用GPU训练，CPU训练的结果不纳入排行榜。

文章目录

- 前言
- Baseline的运行
- 可调参数总结
- 锚框聚类的分析
- 学习率与迭代次数分析
- Backbone分析
- 其它优化
- 各种bug

Baseline的运行

直接运行baseline版本的notebook：

# 解压数据集和PaddleDetection源码
!tar -xf data/data52914/PCB_DATASET.tar -C ~/work/
!tar -xf data/data52899/PaddleDetection.tar -C ~/work/

# 安装所需的环境
%cd ~/work/PaddleDetection
!pip install -r requirements.txt
!pip install pycocotools

# 开始训练
!python -u tools/train.py -c ../yolov3_darknet_baseline.yml --eval --use_vdl=true --vdl_log_dir=vdl_dir/scalar

结果如下，可以发现mAP只有0.42（第二行末尾）：

Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.129
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.420
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.029
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.322
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.141
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.014
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.064
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.246
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.249
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.375
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.268
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.014
terminate called without an active exception

关于上述结果中相关指标的讨论，可以参考链接：https://github.com/matterport/Mask_RCNN/issues/663

可调参数总结

当前可以调整的参数主要包括：

最大训练轮数(max_iters)
学习率(LearningRate)相关参数，包括base_lr和milestones
聚类锚框的size
backbone
网络中其它参数

初始参数如下：

max_iters: 2669
num_classes: 6
base_lr: 0.00025
milestones: [1779, 2372]

锚框聚类的分析

1.为什么要手工设置聚类锚框

因为根据YOLO3的原理可知，如果预先设定的Anchor大小适配当前数据集，可大幅提升mAP。

2.如何实现锚框聚类

这里paddleDetection直接给出了python脚本工具，路径为：PaddleDetection\tools\anchor_cluster.py，说明链接如下：https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.4/docs/tutorials/Custom_DataSet.md#3%E7%94%9F%E6%88%90anchor，其中调用命令为：

python tools/anchor_cluster.py -c configs/ppyolo/ppyolo.yml -n 9 -s 608 -m v2 -i 1000

3.如何选取参数

参数表如下：

参数	用途	默认值	备注
-c/–config	模型的配置文件	无默认值	必须指定
-n/–n	聚类的簇数	9	Anchor的数目
-s/–size	图片的输入尺寸	None	若指定，则使用指定的尺寸，如果不指定, 则尝试从配置文件中读取图片尺寸
-m/–method	使用的Anchor聚类方法	v2	目前只支持yolov2/v5的聚类算法
-i/–iters	kmeans聚类算法的迭代次数	1000	kmeans算法收敛或者达到迭代次数后终止
-gi/–gen_iters	遗传算法的迭代次数	1000	该参数只用于yolov5的Anchor聚类算法
-t/–thresh	Anchor尺度的阈值	0.25	该参数只用于yolov5的Anchor聚类算法

4.关于-s参数

可以直接使用各个参数的默认值来运行，即：

python tools/anchor_cluster.py -c configs/ppyolo/ppyolo.yml -n 9 -s 608 -m v2 -i 1000

但是在这里我对-s参数产生了疑问，并且在阅读源代码后我想当然地认为·-s·应该选择图片的真实大小（然而并非如此），源码片段如下：

# anchor_cluster.py line:307
parser.add_argument(
    '--size',
    '-s',
    default=None,
    type=str,
    help='image size: w,h, using comma as delimiter')

这里我先使用了真实图片的size作为-s参数，即[3056, 2464]，输出的9种锚框大小为：

2020-09-24 23:51:56,730-INFO: 9 anchor cluster result: [w, h]
2020-09-24 23:51:56,730-INFO: [39, 54]
2020-09-24 23:51:56,730-INFO: [65, 58]
2020-09-24 23:51:56,730-INFO: [51, 87]
2020-09-24 23:51:56,730-INFO: [104, 54]
2020-09-24 23:51:56,730-INFO: [80, 80]
2020-09-24 23:51:56,730-INFO: [61, 127]
2020-09-24 23:51:56,730-INFO: [148, 68]
2020-09-24 23:51:56,730-INFO: [110, 109]
2020-09-24 23:51:56,730-INFO: [179, 145]

并且可以通过对比真实图片标注中的bbox大小，来粗略分析聚类锚框是否正确，以下是在PaddleDetection/dataset/PCB_DATASET/Annotations/val.json中的三个样本：

"bbox": [1693, 238, 28, 35]
"bbox": [1236, 716, 84, 92]
"bbox": [1529, 1077, 124, 124]

结果显示好像聚类出的9种聚类后的anchor基本上覆盖了数据集中的不同大小的bbox，于是直接在yml文件中仅修改anchor后，进行训练，然而得到了较差的结果（基本上位于0.3-0.4之间）

5.正确的锚框

这里通过阅读源码，大体上了解了锚框聚类的原理，以及-s参数的选择，源码位于：PaddleDetection/tools/anchor_cluster.py中，锚框聚类的基本流程如下：

使用ArgsParser处理命令行参数，后续进行合理性检测
根据参数配置，决定调用YOLOv2AnchorCluster或者YOLOv5AnchorCluster
- 注意这两个class都继承自BaseAnchorCluster，其中有两个核心参数
- self.shape（记录了数据集图片的真实size构成的list，如[[3056, 2464], …）
- self.whs（记录了数据集标注bbox的hw构成的list，如[0.01930628 0.0275974], …[，注意已经归一化到[0, 1]）
而命令行中输入的-s参数被保存为了self.size
后续的核心聚类函数为calc_anchors
- 其中首先进行的操作就是：self.whs = self.whs * np.array([self.size])
- 因此通过whs归一化然后再次放大这样的一个过程，真实标注的bbox的hw可以等比例对应到输入size为604的图片上

因此，-s参数给定的图片size指的是锚框真正作用到的图片尺寸，而非真实的数据集图片尺寸，由YOLO原理可知，原始图片会存在resize的过程，并且在yml文件中的批处理转换也制定了大小：

  batch_transforms:
  - !RandomShape
    sizes: [320, 352, 384, 416, 448, 480, 512, 544, 576, 608]

因此这里在生成聚类锚框时-s参数保持baseline中的608才是正确的，此时的锚框大小：

2020-09-25 16:09:24,820-INFO: 9 anchor cluster result: [w, h]
2020-09-25 16:09:24,820-INFO: [8, 13]
2020-09-25 16:09:24,820-INFO: [14, 14]
2020-09-25 16:09:24,820-INFO: [10, 21]
2020-09-25 16:09:24,821-INFO: [16, 19]
2020-09-25 16:09:24,821-INFO: [24, 13]
2020-09-25 16:09:24,821-INFO: [12, 31]
2020-09-25 16:09:24,821-INFO: [28, 19]
2020-09-25 16:09:24,821-INFO: [21, 27]
2020-09-25 16:09:24,821-INFO: [36, 36]

使用了正确的锚框后的训练结果：

Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.065
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.261
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.009
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.246
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.073
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.014
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.037
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.146
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.149
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.325
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.158
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.024

什么情况！mAP只有0.261，此时分析可能的原因有两个：

首先，可能时训练次数过少，只有36个epochs，还没有达到最优性能
其次，其它参数的设置不合理导致训练效果较差
- 设定锚框中size表示了输入图片的size，这里选择了只能是608，但是yml文件中batck_size存在可随机选择的多个值，这里存在不匹配

6.修改batch_transforms_size
关于学习率以及epoch的修改见下一节，这里查看yml配置文件中关于train的输入图片经过batch_transforms尺寸如下：

  batch_transforms:
 - !RandomShape
   sizes: [320, 352, 384, 416, 448, 480, 512, 544, 576, 608]

因为考虑到size里设置了多个值，因此每次进行批归一化时会随机采取不同的规格的图片，这里可能因为与锚框聚类中的size=608不对应，从而导致mAP下降，因此这里修改为size为单一值608，其它保持不变，训练结果如下：

Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.076
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.327
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.009
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.052
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.082
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.024
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.037
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.181
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.181
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.062
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.194
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.024

可以发现结果略有提升（0.327）但是比起baseline仍有不足，分析可能是迭代次数的问题，或者其它配置不当（后文中指出了）。注意到loss和mAP的曲线图如下：

可以发现结果的曲线图中存在上涨的趋势，因此有必要增大迭代次数了，只是修改锚框已经无法继续优化得到更好的效果。

关于锚框聚类的一些参考链接：

https://www.cnblogs.com/sdu20112013/p/10937717.html
https://www.cnblogs.com/sdu20112013/p/10937717.html
https://www.paddlepaddle.org.cn/searchdoc?q=anchor+cluster&language=zh
https://blog.csdn.net/weixin_38145317/article/details/90371826
https://blog.csdn.net/fanzonghao/article/details/102466969
https://blog.csdn.net/cc__cc__/article/details/104255184?utm_medium=distribute.pc_relevant.none-task-blog-title-2&spm=1001.2101.3001.4242

学习率与迭代次数分析

首先需要说明深度学习训练中各个参数的含义：

epoch：纪元数，每经过一个epochs所有的训练集数据都在网络中计算了一遍
batch_size：批尺寸，由于无法一次性把所有的训练集同时输入网络训练，所以需要分批训练，每批数据样本的个数即为batch_size，配置文件中batch_size=8表示每个取8个训练集图片开始训练
max_iters：最大训练轮数，每经过一轮iter，就会取batch_size个样本进行训练（配置文件中需要设定）

训练轮数与Epoch转换关系：

当输入图片尺寸和批尺寸已知时，二者可以互相转换
例如batch_size=8，训练集数量为593，如果要要在单卡GUP上训练36个Epoch，那么max_iters=593x36/8=2669。（因此当max_iters = 2669时，训练了36epochs，如果希望增大训练epochs，则按比例增加max_iters即可）
如果想让模型收敛的更好，可以继续增大max_iters，训练2x、3x等模型，但并不是意味着训练轮数越多效果越好，要防止过拟合的出现。

关于学习率：

如果GPU卡数变化，依据lr，batch-size关系调整lr: 学习率调整策略
学习率的milestones（学习率变化界限）一般与max_iters存在比例关系，一般在总max_iters数的2/3和8/9处进行学习率的调整
为保证模型正常训练不出Nan，学习率要根据GPU卡数，batch size变换而做线性变换，比如这里我们将GPU卡数8->1，所以base_lr除以8即可；（这里也可以为了收敛更快，base_lr除以了4）

关于warmup

学习率是神经网络训练中最重要的超参数之一，针对学习率的优化方式很多,Warmup是其中的一种。
Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。
由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。

最终这里修改的参数为：（baseline的5x）

max_iters：13345
snapshot_iter: 500
base_lr: 0.005（后来改为0.0005，因为学习率太高可能会出现nan的问题）
milestones: [8895, 11868]（后来改为[6000,7000,8000,9000,11000]，每次衰减0.5）

结果如下：

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.089
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.363
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.009
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.057
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.093
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.076
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.046
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.201
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.203
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.062
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.211
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.100
2020-09-25 21:30:55,898-INFO: Best test box ap: 0.10780619463253305, in iter: 7500
2020-09-25 21:31:03,813-INFO: iter: 11520, lr: 0.000050, 'loss': '12.072128', time: 1.004, eta: 0:30:32
2020-09-25 21:31:13,293-INFO: iter: 11540, lr: 0.000050, 'loss': '11.530693', time: 0.466, eta: 0:14:01
2020-09-25 21:31:24,015-INFO: iter: 11560, lr: 0.000050, 'loss': '12.216623', time: 0.535, eta: 0:15:54
2020-09-25 21:31:34,893-INFO: iter: 11580, lr: 0.000050, 'loss': '11.752309', time: 0.545, eta: 0:16:01
2020-09-25 21:31:42,293-INFO: iter: 11600, lr: 0.000050, 'loss': '11.906868', time: 0.371, eta: 0:10:46
2020-09-25 21:31:53,294-INFO: iter: 11620, lr: 0.000050, 'loss': '11.948734', time: 0.549, eta: 0:15:47
2020-09-25 21:32:04,393-INFO: iter: 11640, lr: 0.000050, 'loss': '11.716547', time: 0.555, eta: 0:15:46
2020-09-25 21:32:14,507-INFO: iter: 11660, lr: 0.000050, 'loss': '11.431315', time: 0.511, eta: 0:14:20
2020-09-25 21:32:22,494-INFO: iter: 11680, lr: 0.000050, 'loss': '11.785230', time: 0.394, eta: 0:10:56
2020-09-25 21:32:32,793-INFO: iter: 11700, lr: 0.000050, 'loss': '11.856794', time: 0.520, eta: 0:14:15
2020-09-25 21:32:43,200-INFO: iter: 11720, lr: 0.000050, 'loss': '11.957197', time: 0.516, eta: 0:13:58
2020-09-25 21:32:52,262-INFO: iter: 11740, lr: 0.000050, 'loss': '11.558689', time: 0.461, eta: 0:12:19

可以发现，训练中的mAP并不高，只有0.36，后续不断在0.4-0.3之间徘徊。然而使用eval.py脚本直接对最优模型的路径检测发现结果如下：

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.260
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.735
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.093
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.164
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.267
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.194
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.095
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.363
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.363
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.163
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.365

达到了0.735，什么情况！为什么之前训练中eval结果就只有0.36？其实这里是另外一个配置导致的，就是yml文件中测试部分evalTest中的batch_transforms_size也需要改为608，否则会导致eval的结果不是正确的结果。

最终修改正确后的log如下：

INFO: iter: 5000   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.660
INFO: iter: 5500   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.676
INFO: iter: 6000   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.700
INFO: iter: 6500   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.727
INFO: iter: 7000   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.717
INFO: iter: 7500   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.729
INFO: iter: 8000   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.732
INFO: iter: 8500   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.730
INFO: iter: 9000   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.728
INFO: iter: 9500   Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.729
INFO: iter: 10000  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.733
INFO: iter: 10500  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.731
INFO: iter: 11000  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.732
INFO: iter: 11500  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.730
INFO: iter: 12000  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.732
INFO: iter: 12500  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.732
INFO: iter: 13000  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.731
INFO: iter: 13340  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.730

过程曲线如下：

可以发现，随着学习率逐渐趋近于0，loss逐渐趋于稳定，曲线开始收敛，说明网络此时已经无法进一步深入学习，到达了极限，继续增大迭代次数已经没有作用。

参考链接：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.4/docs/FAQ.md

Backbone分析

通过下图中可以发现，对于backbone使用ResNet50要比DarNet53更优：

因此这对backbone进行调优时，可以选择resnet系列的配置。PaddlePaddle给出了resnet的模型库，这里可以选择的参考配置包括：

yolov3_mobilenet_v1.md的config文件
RCNN系列模型参数配置教程，中间涉及到了resnet的config
yolov3_r50vd_dcn_db_iouaware_obj365_pretrained_coco.yml
ppyolo.yml

这里选用了ppyolo作为尝试，参考ppyolo.yml来修改baseline.yml，其中迭代次数和学习率修改为：

max_iters：10676
snapshot_iter: 500
base_lr: 0.0025
milestones: [7117, 9489]（后来改为[6000,7000,8000,9000,11000]，每次衰减0.5）

结果如下：

Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.767

其它优化

本文中提到的优化方式仅包括最为基本的三种方式：

聚类锚框（包括batch_transforms_size）
学习率与迭代次数
backbone

最终取得的效果只能说差强人意，如果继续深入的优化，有机会达到0.9+的结果，可行的优化方向包括：

调整更优的学习率
更加契合的resnet参数配置
yolo的核心配置（如nms的阈值等待）

各种bug

以下是实际炼丹中遇到的各种bug，记录如下：

直接在baseline.yml中添加resnet配置，报错，无法读取文件，应该是编码问题，可以参考以该文章
运行报错，提示feature_map参数冗余，最终选择把feature_map注释掉，才可以正常运行（但是这里暂不明确feature_map的功能，后续待补充）
训练中eval的结果很低，但是最终使用eval脚本结果还不错，这是由于eval的batch_transform_szie不对应，导致eval的结果较低

出现nan参数值，将学习率调小后解决。报错Log如下：

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/numpy/lib/function_base.py:3405: RuntimeWarning: Invalid value encountered in median

r = func(a, **kwargs)
2020-09-25 19:47:53,796-INFO: iter: 680, lr: 0.005000, 'loss': 'nan', time: 0.487, eta: 1:42:42
2020-09-25 19:48:03,502-INFO: iter: 700, lr: 0.005000, 'loss': 'nan', time: 0.484, eta: 1:42:04
2020-09-25 19:48:12,448-INFO: iter: 720, lr: 0.005000, 'loss': 'nan', time: 0.456, eta: 1:35:51
2020-09-25 19:48:22,293-INFO: iter: 740, lr: 0.005000, 'loss': 'nan', time: 0.479, eta: 1:40:41
2020-09-25 19:48:32,393-INFO: iter: 760, lr: 0.005000, 'loss': 'nan', time: 0.509, eta: 1:46:49
2020-09-25 19:48:42,602-INFO: iter: 780, lr: 0.005000, 'loss': 'nan', time: 0.515, eta: 1:47:51
2020-09-25 19:48:51,305-INFO: iter: 800, lr: 0.005000, 'loss': 'nan', time: 0.435, eta: 1:30:56
2020-09-25 19:49:01,593-INFO: iter: 820, lr: 0.005000, 'loss': 'nan', time: 0.510, eta: 1:46:27
2020-09-25 19:49:11,693-INFO: iter: 840, lr: 0.005000, 'loss': 'nan', time: 0.505, eta: 1:45:15
2020-09-25 19:49:21,346-INFO: iter: 860, lr: 0.005000, 'loss': 'nan', time: 0.486, eta: 1:41:09
2020-09-25 19:49:29,493-INFO: iter: 880, lr: 0.005000, 'loss': 'nan', time: 0.409, eta: 1:24:57
2020-09-25 19:49:39,193-INFO: iter: 900, lr: 0.005000, 'loss': 'nan', time: 0.485, eta: 1:40:34

loading annotations into memory...
Done (t=0.02s)
creating index...
index created!
2020-09-25 19:46:26,924-WARNING: The number of valid bbox detected is zero.
            Please use reasonable model and check input data.
            stop eval!

你可能感兴趣的:(随笔,深度学习,python)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
随笔 | 仙一般的灵气海思沧海
仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
java杨辉三角 3213213333332132 java基础
package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
《大话重构》之大布局的辛酸历史白糖_ 重构
《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。背景公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频 ed2k
本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
Javascript中函数的toString()方法周凡杨 JavaScript js toString function object
简述 The toString() method returns a string representing the source code of the function. 简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。句法 function.
struts处理自定义异常 g21121 struts
很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
Linux中find常见用法示例 510888780 linux
Linux中find常见用法示例 ·find path -option [ -print ] [ -exec -ok command ] {} \; find命令的参数；
SpringMVC的各种参数绑定方式 Harry642 springMVC 绑定表单
1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
Java 获取Oracle ROWID aijuans java oracle
A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
java获取方法的参数名 antlove java jdk parameter method reflect
reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
JAVA正则表达式匹配查找替换提取操作百合不是茶 java 正则表达式替换提取查找
正则表达式的查找;主要是用到String类中的split(); String str; str.split();方法中传入按照什么规则截取,返回一个String数组常见的截取规则: str.split("\\.")按照.来截取 str.
Java中equals()与hashCode()方法详解 bijian1013 java set equals()hashCode()
一.equals()方法详解 equals()方法在object类中定义如下： public boolean equals(Object obj) { return (this == obj); } 很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle 数据库 plsql
--工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
Nginx作为静态文件HTTP服务器在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片在主配置文件中添加http指令 http { server { listen 80; server_name
kafka获得最新partition offset blackproof kafka partition offset 最新
kafka获得partition下标，需要用到kafka的simpleconsumer import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
centos 7安装docker两种方式 ronin47
第一种是采用yum 方式 yum install -y docker
java-60-在O(1)时间删除链表结点 bylijinnan java
public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
nginx利用proxy_cache来缓存文件 cfyme cache
user zhangy users; worker_processes 10; error_log /var/vlogs/nginx_error.log crit; pid /var/vlogs/nginx.pid; #Specifies the value for ma
[JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做： string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))" 定义一个0整数c,然后用这个整数c去
如何集成支付宝官方文档 dai_lm android
官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成调试的时候估计会真的扣款，请注意
应该在什么时候使用Hadoop datamachine hadoop
原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
在GridView中使用关联模型进行搜索和排序首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
使用NSString 的格式化大全 dcj3sjt126com Objective-C
格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
使用activeX插件对象object滚动有重影蕃薯耀 activeX插件滚动有重影
使用activeX插件对象object滚动有重影 <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
SpringMVC4零配置 hanqunfeng springmvc4
基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
问题引入上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
AngularJS浅析 kvhur JavaScript
概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
1.前言. jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
本文链接: http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。说一下，
C语言算法之水仙花数 qiufeihu c 算法
/** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
JSP指令 wyzuomumu jsp
jsp指令的一般语法格式： <%@ 指令名属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include