小白aaa
小白aaa

Faster RCNN代码理解（Python）

最近开始学习深度学习，看了下Faster RCNN的代码，在学习的过程中也查阅了很多其他人写的博客，得到了很大的帮助，所以也打算把自己一些粗浅的理解记录下来，一是记录下自己的菜鸟学习之路，方便自己过后查阅，二来可以回馈网络。目前编程能力有限，且是第一次写博客，中间可能会有一些错误。

目录

  • 目录
      • 第一步准备
      • 第二步Stage 1 RPN init from ImageNet model
        • 在config参数的基础上改动参数以适合当前任务主要有
        • 初始化化caffe
        • 准备roidb和imdb
        • 设置输出路径output_dir get_output_dirimdb函数在config中用来保存中间生成的caffemodule等
        • 正式开始训练
        • 保存最后得到的权重参数
      • 第三步Stage 1 RPN generate proposals
        • 关注rpn_generate函数
        • 保存得到的proposal文件
      • 第四步Stage 1 Fast R-CNN using RPN proposals init from ImageNet model
      • 第五步Stage 2 RPN init from stage 1 Fast R-CNN model
      • 第六步Stage 2 RPN generate proposals
      • 第七步Stage 2 Fast R-CNN init from stage 2 RPN R-CNN model
      • 第八步输出最后模型
      • AnchorTargetLayer和ProposalLayer
      • 代码文件夹说明
        • tools
        • RPN
        • nms
      • 参考
      • 原文地址

第一步，准备

从train_faster_rcnn_alt_opt.py入：

  1. 初始化参数：args = parse_args() 采用的是Python的argparse 
    主要有–net_name，–gpu，–cfg等（在cfg中只是修改了几个参数，其他大部分参数在congig.py中，涉及到训练整个网络）。
  2. cfg_from_file(args.cfg_file) 这里便是代用config中的函数cfg_from_file来读取前面cfg文件中的参数，同时调用_merge_a_into_b函数把所有的参数整合，其中__C = edict() cfg = __C cfg是一个词典（edict）数据结构。
  3. faster rcnn采用的是多进程，mp_queue是进程间用于通讯的数据结构
import multiprocessing as mp
mp_queue = mp.Queue()
  • 1
  • 2
  • 1
  • 2

同时solvers, max_iters, rpn_test_prototxt = get_solvers(args.net_name)得到solver参数 
接下来便进入了训练的各个阶段。

第二步，Stage 1 RPN, init from ImageNet model

cfg.TRAIN.SNAPSHOT_INFIX = 'stage1'
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        init_model=args.pretrained_model,
        solver=solvers[0],
        max_iters=max_iters[0],
        cfg=cfg)
p = mp.Process(target=train_rpn, kwargs=mp_kwargs)
p.start()
rpn_stage1_out = mp_queue.get()
p.join()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

可以看到第一个步骤是用ImageNet的模型M0来Finetuning RPN网络得到模型M1。以训练为例，这里的args参数都在脚本 experiments/scrips/faster_rcnn_alt_opt.sh中找到。主要关注train_rpn函数。 
对于train_rpn函数，主要分一下几步：

1.在config参数的基础上改动参数，以适合当前任务，主要有

cfg.TRAIN.HAS_RPN = True
cfg.TRAIN.BBOX_REG = False  # applies only to Fast R-CNN bbox regression
cfg.TRAIN.PROPOSAL_METHOD = 'gt'
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

这里，关注proposal method 使用的是gt，后面会使用到gt_roidb函数，重要。

2. 初始化化caffe

3. 准备roidb和imdb

主要涉及到的函数get_roidb 
在get_roidb函数中调用factory中的get_imdb根据__sets[name]中的key（一个lambda表达式）转到pascol_voc类。class pascal_voc（imdb）在初始化自己的时候，先调用父类的初始化方法，例如：

{
    year:’2007’
    image _set:’trainval’
    devkit _path:’data/VOCdevkit2007’
    data _path:’data /VOCdevkit2007/VOC2007’
    classes:(…)_如果想要训练自己的数据，需要修改这里_
    class _to _ind:{…} _一个将类名转换成下标的字典 _  建立索引0,1,2....
    image _ext:’.jpg’
    image _index: [‘000001’,’000003’,……]_根据trainval.txt获取到的image索引_
    roidb _handler: 
    salt:  
    comp _id:’comp4’
    config:{…}
} 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
   
  • 14
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
   
  • 14
    •  
  
 
  
 注意，在这里，并没有读入任何数据，只是建立了图片的索引。
 
  
imdb.set_proposal_method(cfg.TRAIN.PROPOSAL_METHOD)
 
  
     
   
  • 1
    •  
  
 
  
     
   
  • 1
    •  
  
 
  
 设置proposal方法，接上面，设置为gt，这里只是设置了生成的方法，第一次调用发生在下一句，roidb = get_training_roidb(imdb) –> append_flipped_images()时的这行代码：“boxes = self.roidb[i][‘boxes’].copy()”，其中get_training_roidb位于train.py，主要实现图片的水平翻转，并添加回去。实际是该函数调用了imdb. append_flipped_images也就是在这个函数，调用了pascal_voc中的gt_roidb，转而调用了同一个文件中的_load_pascal_annotation，该函数根据图片的索引，到Annotations这个文件夹下去找相应的xml标注数据，然后加载所有的bounding box对象，xml的解析到此结束，接下来是roidb中的几个类成员的赋值：
 
  
     
   
  • boxes 一个二维数组，每一行存储 xmin ymin xmax ymax
    •  
   
  • gt _classes存储了每个box所对应的类索引(类数组在初始化函数中声明)
    •  
   
  • gt _overlap是一个二维数组，共有num _classes(即类的个数)行，每一行对应的box的类索引处值为1，其余皆为0，后来被转成了稀疏矩阵
    •  
   
  • seg _areas存储着某个box的面积
    •  
   
  • flipped 为false 代表该图片还未被翻转(后来在train.py里会将翻转的图片加进去，用该变量用于区分
    •  
  
 
  
 最后将这些成员变量组装成roidb返回。 
 在get_training_roidb函数中还调用了roidb中的prepare_roidb函数，这个函数就是用来准备imdb 的roidb，给roidb中的字典添加一些属性，比如image(图像的索引)，width，height，通过前面的gt _overla属性，得到max_classes和max_overlaps. 
 至此，
 
  
return roidb，imdb
 
  
     
   
  • 1
    •  
  
 
  
     
   
  • 1
    •  
  
 
  
 4. 设置输出路径，output_dir = get_output_dir(imdb)，函数在config中，用来保存中间生成的caffemodule等
 
  
 5.正式开始训练
 
  
model_paths = train_net(solver, roidb, output_dir,
                        pretrained_model=init_model,
                        max_iters=max_iters)
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
  
 
  
 调用train中的train_net函数，其中，首先filter_roidb，判断roidb中的每个entry是否合理，合理定义为至少有一个前景box或背景box，roidb全是groudtruth时，因为box与对应的类的重合度(overlaps)显然为1，也就是说roidb起码要有一个标记类。如果roidb包含了一些proposal，overlaps在[BG_THRESH_LO, BG_THRESH_HI]之间的都将被认为是背景，大于FG_THRESH才被认为是前景，roidb 至少要有一个前景或背景，否则将被过滤掉。将没用的roidb过滤掉以后，返回的就是filtered_roidb。在train文件中，需要关注的是SolverWrapper类。详细见train.py，在这个类里面，引入了caffe SGDSlover，最后一句self.solver.net.layers[0].set_roidb(roidb)将roidb设置进layer(0)(在这里就是ROILayer)调用ayer.py中的set_roidb方法，为layer(0)设置roidb，同时打乱顺序。最后train_model。在这里，就需要去实例化每个层，在这个阶段，首先就会实现ROIlayer，详细参考layer中的setup，在训练时roilayer的forward函数，在第一个层，只需要进行数据拷贝，在不同的阶段根据prototxt文件定义的网络结构拷贝数据，blobs = self._get_next_minibatch()这个函数读取图片数据（调用get_minibatch函数，这个函数在minibatch中，主要作用是为faster rcnn做实际的数据准备，在读取数据的时候，分出了boxes，gt_boxes,im_info（宽高缩放）等）。 
 第一个层，对于stage1_rpn_train.pt文件中，该layer只有3个top blob：’data’、’im_info’、’gt_boxes’。 
 对于stage1_fast_rcnn_train.pt文件中，该layer有6个top blob：top: ‘data’、’rois’、’labels’、’bbox_targets’、’bbox_inside_weights’、’bbox_outside_weights’，这些数据准备都在minibatch中。至此后数据便在caffe中流动了，直到训练结束。 
画出网络的结构 这里只截取了一部分： 
这里写图片描述 
 值得注意的是在rpn-data层使用的是AnchorTargetLayer，该层使用Python实现的，往后再介绍。
 
  
 6.保存最后得到的权重参数
 
  
rpn_stage1_out = mp_queue.get()
 
  
     
   
  • 1
    •  
  
 
  
     
   
  • 1
    •  
  
 
  
 至此，第一阶段完成，在后面的任务开始时，如果有需要，会在这个输出的地址找这一阶段得到的权重文件。
 
  
 
  
 第三步，Stage 1 RPN, generate proposals
 
  
 这一步就是调用上一步训练得到的模型M1来生成proposal P1，在这一步只产生proposal，参数：
 
  
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        rpn_model_path=str(rpn_stage1_out['model_path']),
        cfg=cfg,
        rpn_test_prototxt=rpn_test_prototxt)
p = mp.Process(target=rpn_generate, kwargs=mp_kwargs)
p.start()
rpn_stage1_out['proposal_path'] = mp_queue.get()['proposal_path']
p.join()
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
 1.关注rpn_generate函数
 
  
 前面和上面讲到的train_rpn基本相同，从rpn_proposals = imdb_proposals(rpn_net, imdb)开始，imdb_proposals函数在rpn.generate.py文件中,rpn_proposals是一个列表的列表，每个子列表。对于imdb_proposals，使用im = cv2.imread(imdb.image_path_at(i))读入图片数据，调用 im_proposals生成单张图片的rpn proposals，以及得分。这里，im_proposals函数会调用网络的forward，从而得到想要的boxes和scores，这里需要好好理解blobs_out = net.forward(data,im_info)中net forward和layer forward间的调用关系。 
这里写图片描述 
 在这里，也会有proposal，同样会使用python实现的ProposalLayer，这个函数也在rpn文件夹内，后面再补充。
 
  
boxes = blobs_out['rois'][:, 1:].copy() / scale     
scores = blobs_out['scores'].copy()
return boxes, scores
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
  
 
  
 至此，得到imdb proposal
 
  
 2.保存得到的proposal文件
 
  
queue.put({'proposal_path': rpn_proposals_path})
rpn_stage1_out['proposal_path'] = mp_queue.get()['proposal_path']
 
  
     
   
  • 1
    •  
   
  • 2
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
  
 
  
 至此，Stage 1 RPN, generate proposals结束
 
  
 
  
 第四步，Stage 1 Fast R-CNN using RPN proposals, init from ImageNet model
 
  
 参数：
 
  
cfg.TRAIN.SNAPSHOT_INFIX = 'stage1'
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        init_model=args.pretrained_model,
        solver=solvers[1],
        max_iters=max_iters[1],
        cfg=cfg,
        rpn_file=rpn_stage1_out['proposal_path'])
p = mp.Process(target=train_fast_rcnn, kwargs=mp_kwargs)
p.start()
fast_rcnn_stage1_out = mp_queue.get()
p.join()
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
  
 
  
 这一步，用上一步生成的proposal，以及imagenet模型M0来训练fast-rcnn模型M2。 
 关注train_fast_rcnn 
 同样地，会设置参数，这里注意cfg.TRAIN.PROPOSAL_METHOD = ‘rpn’ 不同于前面，后面调用的将是rpn_roidb。cfg.TRAIN.IMS_PER_BATCH = 2，每个mini-batch包含两张图片，以及它们proposal的roi区域。且在这一步是有rpn_file的（后面和rpn_roidb函数使用有关）。其他的和前面差不多。提一下，这里在train_net的时候，会调用add_bbox_regression_targets位于roidb中，主要是添加bbox回归目标，即添加roidb的‘bbox_targets’属性，同时根据cfg中的参数设定，求取bbox_targets的mean和std，因为需要训练class-specific regressors在这里就会涉及到bbox_overlaps函数，放在util.bbox中。 
 要注意的是在这一步get_roidb时，如前所说，使用的是rpn_roidb，会调用imdb. create_roidb_from_box_list该方法功能是从box_list中读取每张图的boxes，而这个box_list就是从上一步保存的proposal文件中读取出来的，然后做一定的处理，详细见代码，重点是在最后会返回roidb，rpn_roidb中的gt_overlaps是rpn_file中的box与gt_roidb中box的gt_overlaps等计算IoU等处理后得到的，而不像gt_roidb()方法生成的gt_roidb中的gt_overlaps全部为1.0。同时使用了imdb.merge_roidb，类imdb的静态方法【这里不太懂，需要再学习下】，把rpn_roidb和gt_roidb归并为一个roidb，在这里，需要具体去了解合并的基本原理。 
这里写图片描述
 
  
 
  
 第五步，Stage 2 RPN, init from stage 1 Fast R-CNN model
 
  
 参数：
 
  
cfg.TRAIN.SNAPSHOT_INFIX = 'stage2'
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        init_model=str(fast_rcnn_stage1_out['model_path']),
        solver=solvers[2],
        max_iters=max_iters[2],
        cfg=cfg)
p = mp.Process(target=train_rpn, kwargs=mp_kwargs)
rpn_stage2_out = mp_queue.get()
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
 这部分就是利用模型M2练rpn网络，这一次与stage1的rpn网络不通，这一次conv层的参数都是不动的，只做前向计算，训练得到模型M3，这属于微调了rpn网络。 
这里写图片描述
 
  
 
  
 第六步，Stage 2 RPN, generate proposals
 
  
 参数：
 
  
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        rpn_model_path=str(rpn_stage2_out['model_path']),
        cfg=cfg,
        rpn_test_prototxt=rpn_test_prototxt)
p = mp.Process(target=rpn_generate, kwargs=mp_kwargs)
p.start()
rpn_stage2_out['proposal_path'] = mp_queue.get()['proposal_path']
p.join()
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
  
 
  
 这一步，基于上一步得到的M3模型，产生proposal P2，网络结构和前面产生proposal P1的一样。 
这里写图片描述
 
  
 
  
 第七步，Stage 2 Fast R-CNN, init from stage 2 RPN R-CNN model
 
  
 参数：
 
  
cfg.TRAIN.SNAPSHOT_INFIX = 'stage2'
mp_kwargs = dict(
        queue=mp_queue,
        imdb_name=args.imdb_name,
        init_model=str(rpn_stage2_out['model_path']),
        solver=solvers[3],
        max_iters=max_iters[3],
        cfg=cfg,
        rpn_file=rpn_stage2_out['proposal_path'])
p = mp.Process(target=train_fast_rcnn, kwargs=mp_kwargs)
p.start()
fast_rcnn_stage2_out = mp_queue.get()
p.join()
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
  
 
  
 这一步基于模型M3和P2训练fast rcnn得到最终模型M4，这一步，conv层和rpn都是参数固定，只是训练了rcnn层（也就是全连接层），与stage1不同，stage1只是固定了rpn层，其他层还是有训练。模型结构与stage1相同： 
这里写图片描述
 
  
 
  
 第八步，输出最后模型
 
  
final_path = os.path.join(
        os.path.dirname(fast_rcnn_stage2_out['model_path']),
        args.net_name + '_faster_rcnn_final.caffemodel')
print 'cp {} -> {}'.format(
        fast_rcnn_stage2_out['model_path'], final_path)
shutil.copy(fast_rcnn_stage2_out['model_path'], final_path)
print 'Final model: {}'.format(final_path)
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
  
 
  
 只是对上一步模型输出的一个拷贝。 
 至此，整个faster-rcnn的训练过程就结束了。
 
  
 
  
 AnchorTargetLayer和ProposalLayer
 
  
 前面说过还有这两个层没有说明，一个是anchortarget layer一个是proposal layer，下面逐一简要分析。
 
  
class AnchorTargetLayer(caffe.Layer)
 
  
     
   
  • 1
    •  
  
 
  
     
   
  • 1
    •  
  
 
  
 首先是读取参数，在prototxt，实际上只读取了param_str: “‘feat_stride’: 16”，这是个很重要的参数，目前我的理解是滑块滑动的大小，对于识别物体的大小很有用，比如小物体的识别，需要把这个参数减小等。 
 首先 setup部分，
 
  
anchor_scales = layer_params.get('scales', (8, 16, 32))
self._anchors = generate_anchors(scales=np.array(anchor_scales))
 
  
     
   
  • 1
    •  
   
  • 2
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
  
 
  
 调用generate_anchors方法生成最初始的9个anchor该函数位于generate_anchors.py 主要功能是生成多尺度，多宽高比的anchors，8,16,32其实就是scales:[2^3 2^4 2^5]，base_size为16，具体是怎么实现的可以查阅源代码。_ratio_enum()部分生成三种宽高比 1:2,1:1,2:1的anchor如下图所示：（以下参考 另外一篇博客） 
这里写图片描述 
 _scale_enum()部分，生成三种尺寸的anchor，以_ratio_enum()部分生成的anchor[0 0 15 15]为例，扩展了三种尺度 128*128,256*256,512*512，如下图所示： 
这里写图片描述 
 另外一个函数就是forward()。 
 在faster rcnn中会根据不同图的输入，得到不同的feature map，height, width = bottom[0].data.shape[-2:]首先得到conv5的高宽，以及gt box gt_boxes = bottom[1].data，图片信息im_info = bottom[2].data[0, :]，然后计算偏移量，shift_x = np.arange(0, width) * self._feat_stride，在这里，你会发现，例如你得到的fm是H=61，W=36，然后你乘以16，得到的图形大概就是1000*600，其实这个16大概就是网络的缩放比例。接下来就是生成anchor，以及对anchor做一定的筛选，详见代码。
 
  
 另外一个需要理解的就是proposal layer，这个只是在测试的时候用，许多东西和AnchorTargetLayer类似，不详细介绍，可以查看代码。主要看看forward函数，函数算法介绍在注释部分写的很详细：
 
  
# Algorithm:
# for each (H, W) location i
#   generate A anchor boxes centered on cell i
#   apply predicted bbox deltas at cell i to each of the A anchors
# clip predicted boxes to image
# remove predicted boxes with either height or width < threshold
# sort all (proposal, score) pairs by score from highest to lowest
# take top pre_nms_topN proposals before NMS
# apply NMS with threshold 0.7 to remaining proposals
# take after_nms_topN proposals after NMS
# return the top proposals (-> RoIs top, scores top)
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
  
 
  
 在这个函数中会引用NMS方法。
 
  
 
  
 代码文件夹说明
 
  
 转载出处：另外一篇博客
 
  
 tools
 
  
 在tools文件夹中，是我们直接调用的最外层的封装文件。其中主要包含的文件为：
 
  
     
   
  • _init_paths.py :用来初始化路径的，也就是之后的路径会join（path，*）
    •  
   
  • compress_net.py：用来压缩参数的，使用了SVD来进行压缩，这里可以发现，作者对于fc6层和fc7层进行了压缩，也就是两个全连接层。
    •  
   
  • demo.py ：通常，我们会直接调用这个函数，如果要测试自己的模型和数据，这里需要修改。这里调用了fast_rcnn中的test、config、nums_wrapper函数。vis_detections用来做检测，parse_args用来进行参数设置，以及damo和主函数。
    •  
   
  • eval_recall.py：评估函数
    •  
   
  • reval.py：re-evaluate，这里调用了fast_rcnn以及dataset中的函数。其中，from_mats函数和from_dets函数分别loadmat文件和pkl文件。
    •  
   
  • rpn_genetate.py：这个函数调用了rpn中的genetate函数，之后我们会对rpn层做具体的介绍。这里，主要是一个封装调用的过程，我们在这里调用配置的参数、设置rpn的test参数，以及输入输出等操作。
    •  
   
  • test_net.py：测试fast rcnn网络。主要就是一些参数配置。
    •  
   
  • train_faster_rcnn_alt_opt.py：训练faster rcnn网络使用交替的训练，这里就是根据faster rcnn文章中的具体实现。可以在主函数中看到，其包括的步骤为： 
     
    
       
     
    • RPN 1，使用imagenet model进行初始化参数，生成proposal，这里存储在mp_kwargs
      •  
     
    • fast rcnn 1，使用 imagenet model 进行初始化参数，使用刚刚生成的proposal进行fast rcnn的训练
      •  
     
    • RPN 2使用 fast rcnn 中的参数进行初始化（这里要注意哦），并生成proposal
      •  
     
    • fast rcnn 2，使用RPN 2 中的 model进行初始化参数
      •  
     
    • 值得注意的是：在我们训练时，我们可以在get_solvers中的max_iters中设置迭代次数，在不确定网络是否可以调通时，减少迭代次数可以减少测试时间。
      •  
     
    • 我们在训练faster rcnn网络时，就是调用这个文件训练的
      •  
    
    •  
   
  • train_net.py：使用fast rcnn，训练自己数据集的网络模型
    •  
   
  • train_svms.py：使用最原始的RCNN网络训练post-hoc SVMs
    •  
  
 
  
 RPN
 
  
 这里我们主要看lib/rpn文件夹下的代码。这里主要介绍了rpn的模型，其中，包含的主要文件如下：
 
  
     
   
  • generate_anchors.py: 生成多尺度和多比例的锚点。这里由generate_anthors函数主要完成，可以看到，使用了 3 个尺度( 128, 256, and 512)以及 3 个比例(1:1,1:2,2:1)。一个锚点由w, h, x_ctr, y_ctr固定，也就是宽、高、x center和y center固定。
    •  
   
  • proposal_layer.py:这个函数是用来将RPN的输出转变为object proposals的。作者新增了ProposalLayer类，这个类中，重新了set_up和forward函数，其中forward实现了：生成锚点box、对于每个锚点提供box的参数细节、将预测框切成图像、删除宽、高小于阈值的框、将所有的(proposal, score) 对排序、获取 pre_nms_topN proposals、获取NMS 、获取 after_nms_topN proposals。（注：NMS，nonmaximum suppression，非极大值抑制）
    •  
   
  • anchor_target_layer.py:生成每个锚点的训练目标和标签，将其分类为1 (object), 0 (not object) ， -1 (ignore).当label>0，也就是有object时，将会进行box的回归。其中，forward函数功能：在每一个cell中，生成9个锚点，提供这9个锚点的细节信息，过滤掉超过图像的锚点，测量同GT的overlap。
    •  
   
  • proposal_target_layer.py:对于每一个object proposal 生成训练的目标和标签，分类标签从0-k，对于标签>0的box进行回归。（注意，同anchor_target_layer.py不同，两者一个是生成anchor，一个是生成proposal）
    •  
   
  • generate.py:使用一个rpn生成object proposals。
    •  
  
 
  
 作者就是通过以上这些文件生成rpn的。
 
  
 nms
 
  
 lib/nms文件夹下是非极大值抑制，这部分大家应该已经非常熟悉了，其Python版本的核心函数为py_cpu_nms.py，具体实现以及注释如下：
 
  
def py_cpu_nms(dets, thresh):
    """Pure Python NMS baseline."""
    #x1、y1、x2、y2、以及score赋值
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    #每一个op的面积
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    #order是按照score排序的
    order = scores.argsort()[::-1]

    keep = []
    while order.size > 0:
        i = order[0]
        keep.append(i)
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        #计算相交的面积
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        #计算：重叠面积/（面积1+面积2-重叠面积）
        ovr = inter / (areas[i] + areas[order[1:]] - inter)

        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
   
  • 14
    •  
   
  • 15
    •  
   
  • 16
    •  
   
  • 17
    •  
   
  • 18
    •  
   
  • 19
    •  
   
  • 20
    •  
   
  • 21
    •  
   
  • 22
    •  
   
  • 23
    •  
   
  • 24
    •  
   
  • 25
    •  
   
  • 26
    •  
   
  • 27
    •  
   
  • 28
    •  
   
  • 29
    •  
   
  • 30
    •  
   
  • 31
    •  
   
  • 32
    •  
  
 
  
     
   
  • 1
    •  
   
  • 2
    •  
   
  • 3
    •  
   
  • 4
    •  
   
  • 5
    •  
   
  • 6
    •  
   
  • 7
    •  
   
  • 8
    •  
   
  • 9
    •  
   
  • 10
    •  
   
  • 11
    •  
   
  • 12
    •  
   
  • 13
    •  
   
  • 14
    •  
   
  • 15
    •  
   
  • 16
    •  
   
  • 17
    •  
   
  • 18
    •  
   
  • 19
    •  
   
  • 20
    •  
   
  • 21
    •  
   
  • 22
    •  
   
  • 23
    •  
   
  • 24
    •  
   
  • 25
    •  
   
  • 26
    •  
   
  • 27
    •  
   
  • 28
    •  
   
  • 29
    •  
   
  • 30
    •  
   
  • 31
    •  
   
  • 32
    •  
  
 
  
 
  
 参考
 
  
 在这里，没有贴出代码的注释，只是梳理了下Faster RCNN训练的流程，因为代码的注释网络上已经有很多，需要看代码的注释可以参考下面几个博客，我看代码的时候也有参考： 
 [1] http://www.cnblogs.com/CarryPotMan/p/5390336.html 
 [2] http://blog.csdn.net/u010668907/article/category/6237110 
 [3] http://blog.csdn.net/sunyiyou9/article/category/6269359 
 [4] http://blog.csdn.net/bailufeiyan/article/details/50749694
 
  
 原文地址：
 
  
 http://blog.csdn.net/u011956147/article/details/53053381
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(行人检测,caffe学习)

        

            

                
    
                    
  • 【深度学习实战】行人检测追踪与双向流量计数系统【python源码+Pyqt5界面+数据集+训练代码】YOLOv8、ByteTrack、目标追踪、双向计数、行人检测追踪、过线计数
                        阿_旭
AI应用软件开发实战深度学习实战深度学习python行人检测行人追踪过线计数
                        
    《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~感谢小伙伴们点赞、关注！《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体
    
                    
    • 
                    
  • 【计算机视觉前沿研究 热点 顶会】ECCV 2024中目标检测有关的论文
                        平安顺遂事事如意
顶刊顶会论文合集计算机视觉目标检测人工智能3d目标跟踪
                        
    整值训练和尖峰驱动推理脉冲神经网络用于高性能和节能的目标检测与人工神经网络(ANN)相比，脑激励的脉冲神经网络(SNN)具有生物合理性和低功耗的优势。由于SNN的性能较差，目前的应用仅限于简单的分类任务。在这项工作中，我们专注于弥合人工神经网络和神经网络在目标检测方面的性能差距。我们的设计围绕着网络架构和尖峰神经元。当行人检测遇到多模态学习时：通才模型和基准数据集近年来，利用不同传感器模态(如RG
    
                    
    • 
                    
  • 【CV论文精读】Adaptive Fusion of Multi-Scale YOLO for Pedestrian Detection基于多尺度自适应融合YOLO的行人检测
                        量子-Alex
CV知识学习和论文阅读YOLO计算机视觉人工智能
                        
    AdaptiveFusionofMulti-ScaleYOLOforPedestrianDetection0.论文摘要和作者信息摘要虽然行人检测技术在不断改进，但由于不同规模的行人和遮挡行人模式的不确定性和多样性，行人检测仍然具有挑战性。本研究遵循单次目标检测的通用框架，提出了一种分而治之的方法来解决上述问题。该模型引入了一个分割函数，可以将一幅图像中没有重叠的行人分割成两个子图像。通过使用网络架
    
                    
    • 
                    
  • HOG特征
                        ce0b74704937

                        
    HOG特征是在文章《HistogramsofOrientedGradientsforHumanDetection》中提出，看文章标题可知，该文章是为了行人检测提出的，不过后来也用于其它方向，比如特征点检测等。该文中行人检测大概分为以下几步：输入图像（行人的图像）采用Gamma矫正法对输入图像进行颜色空间的标准化；目的是调节图像的对比度，降低图像局部的阴影和光照所造成的影响，同时可以抑制噪声。（原文
    
                    
    • 
                    
  • 【CV论文精读】Pedestrian Detection Based on YOLO Network Model 基于YOLO的行人检测
                        量子-Alex
CV知识学习和论文阅读YOLO深度学习计算机视觉
                        
    【CV论文精读】PedestrianDetectionBasedonYOLONetworkModel0.论文摘要和作者信息摘要——经过深度网络后，会有一些行人信息的丢失，会造成梯度的消失，造成行人检测不准确。本文改进了YOLO算法的网络结构，提出了一种新的网络结构YOLO-R。首先，在原有YOLO网络的基础上增加了三个直通层。直通层由路由层和重组层组成。其作用是将浅层行人特征连接到深层行人特征，并
    
                    
    • 
                    
  • 跨模态行人重识别综述 - 计算机视觉
                        小小猿D
笔记深度学习
                        
    跨模态行人重识别综述-计算机视觉0引言近年来，随着智能监控领域的不断发展，单纯凭借传统的人力已经很难在对复杂的监控场景做出完善详尽的处理。作为一项在大型非重叠视角多摄像机网络获取到的海量视频画面序列里找到目标行人的任务，行人重识别（PersonRe-Identification）可以被看作是多摄像头的行人检索问题。它建立在行人检测的基础之上，捕捉获取同一目标个体在不同非重叠摄像头中分布位置信息，推
    
                    
    • 
                    
  • PaddleDetection学习2——使用Paddle-Lite在 Android 上实现行人检测
                        waf13916
paddleandroid
                        
    使用Paddle-Lite在Android上实现行人检测1.环境准备2.准备模型2.1下载模型2.2模型优化3.部署模型3.1目标检测C++代码Pipeline.hPipeline.cpppreprocess_op.hpreprocess_op.cc3.2修改配置文件3.4部署模型到移动端1.环境准备参考前一篇
    
                    
    • 
                    
  • YOLOV5s行人识别改进 引入CoT模块及SIOU损失函数
                        deleteeee
YOLO人工智能计算机视觉神经网络python目标检测视觉检测
                        
    1.项目背景及意义近年来，深度学习算法不断取得了突破性进展，这也推动了人工智能技术的不断进步。机器视觉作为其中的重要一环，在不同领域也焕发出了强烈的生机。行人目标检测是机器视觉的一项重要课题，早就已经引起了国内外学者广泛的研究。在现实生活中，行人检测在车站、商场等场所的人流量检测、汽车的自动驾驶技术、智能交通、健身房辅助教学、电影拍摄中动作捕捉等多种场景中被广泛应用。然而，行人检测通常伴随着遮挡，
    
                    
    • 
                    
  • 计算机设计大赛 交通目标检测-行人车辆检测流量计数 - 计算机设计大赛
                        iuerfee
python
                        
    文章目录0前言1\.目标检测概况1.1什么是目标检测？1.2发展阶段2\.行人检测2.1行人检测简介2.2行人检测技术难点2.3行人检测实现效果2.4关键代码-训练过程最后0前言优质竞赛项目系列，今天要分享的是毕业设计交通目标检测-行人车辆检测流量计数该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：4分更多资料,项目分
    
                    
    • 
                    
  • YOLOV5单目测距+车辆检测+车道线检测+行人检测（教程-代码）
                        毕设阿力
YOLO目标跟踪人工智能目标检测
                        
    YOLOv5是一种高效的目标检测算法，结合其在单目测距、车辆检测、车道线检测和行人检测等领域的应用，可以实现多个重要任务的精确识别和定位。首先，YOLOv5可以用于单目测距。通过分析图像中的目标位置和尺寸信息，结合相机参数和几何关系，可以推断出目标与相机之间的距离。这对于智能驾驶、机器人导航等领域至关重要，可以帮助车辆或机器人感知周围环境的远近，并做出相应的决策。其次，YOLOv5可以用于车辆检测
    
                    
    • 
                    
  • 大创项目推荐 目标检测-行人车辆检测流量计数
                        laafeer
python
                        
    文章目录前言1\.目标检测概况1.1什么是目标检测？1.2发展阶段2\.行人检测2.1行人检测简介2.2行人检测技术难点2.3行人检测实现效果2.4关键代码-训练过程最后前言优质竞赛项目系列，今天要分享的是行人车辆目标检测计数系统该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1.目
    
                    
    • 
                    
  • 使用飞浆训练目标检测模型
                        无忧秘书智脑
深度学习机器学习人工智能
                        
    参考链接：PP-PicoDet算法训练行人检测模型-CSDN博客文章浏览阅读306次。PP-PicoDet模型特点：方案选择PP-PicoDet轻量化模型，主要看中PP-PicoDet体积小、速度快、精度较高的优势，非常适合本项目的部署环境和性能要求。同时，飞桨提供的预训练模型也可以最大程度上提升模型的收敛速度和精度。https://blog.csdn.net/qq_45437316/articl
    
                    
    • 
                    
  • LNTON人形检测、行人检测工具，支持图片、RTSP实时流、mp4文件中的行人或者人形检测，实用工具，亲测可用！
                        xiejiashu
视频人工智能行人检测人形检测人物监测检测人的算法羚通算法
                        
    简介LNTON_PID是一个行人检测工具，能够对图像、视频、文件夹中的多个文件或RTSP实时流进行行人检测，并支持自定义输出结果和行人区域位置的保存。该工具提供了灵活的参数配置选项以适应各种应用场景。快速开始-命令行参数格式（Linux/Unix环境）./pid_tools_gensamplesINPUT_PATHOUT_RESULT_DIR[DEFAULT:results]OUT_PATCH_D
    
                    
    • 
                    
  • 智慧工地下烟火检测报警系统 建筑工地火灾监控系统
                        豌豆云
烟火自动识别预警和监管系统
                        
    智慧工地下烟火检测报警系统建筑工地火灾监控系统基于智能识别的人员密集场所安防预警系统或许能够帮到你。该系统利用监控系统结合模式识别，对现场视频数据进行深度挖掘，突破基于复杂背景下的烟火识别、动态场景下非配合人脸识别以及基于行人检测的越界识别等关键技术。烟感防灾报警系统，在施工现场加工区、材料堆放区、易发生火灾隐患区域安装烟感探测器，监测现场烟雾浓度。探测器内置芯片可实时上传监测数据至“智慧工地监管
    
                    
    • 
                    
  • 目标检测数据集 - 人脸检测数据集下载「包含VOC、COCO、YOLO三种格式」
                        极智视界
AI训练数据集工作室目标检测YOLO人脸检测人脸检测数据集深度学习人工智能数据集
                        
    数据集介绍：行人检测数据集，真实场景高质量图片数据，涉及场景丰富，比如校园行人、街景行人、道路行人、遮挡行人、严重遮挡行人数据；适用实际项目应用：公共场所监控场景下行人检测项目，以及作为监控场景通用行人检测数据集场景数据的补充；标注说明：采用labelimg标注软件进行标注，标注质量高，提供VOC(xml)、COCO(json)、YOLO(txt)三种常见目标检测数据集格式，可以直接用于如YOLO
    
                    
    • 
                    
  • 目标检测数据集 - 行人检测数据集下载「包含VOC、COCO、YOLO三种格式」
                        极智视界
AI训练数据集工作室目标检测YOLO行人检测行人检测数据集AI训练数据集深度学习labelimg
                        
    数据集介绍：行人检测数据集，真实场景高质量图片数据，涉及场景丰富，比如校园行人、街景行人、道路行人、遮挡行人、严重遮挡行人数据；适用实际项目应用：公共场所监控场景下行人检测项目，以及作为监控场景通用行人检测数据集场景数据的补充；标注说明：采用labelimg标注软件进行标注，标注质量高，提供VOC(xml)、COCO(json)、YOLO(txt)三种常见目标检测数据集格式，可以直接用于如YOLO
    
                    
    • 
                    
  • 基于YOLOv5的行人检测系统
                        TechMasterPlus
深度学习#目标检测游戏音视频深度学习人工智能
                        
    若需要完整工程源代码，请私信作者目标检测在计算机视觉领域中的重要性，特别是在人群流量监测方面的应用。其中，YOLO（YouOnlyLookOnce）系列算法在目标检测领域取得了显著的进展，从YOLO到YOLOv5的发展历程表明其在算法性能上的不断优化。文中提到了基于YOLOv5设计的人口密度检测系统，该系统通过深度学习算法对人群进行检测和计数，主要应用于商场、路口等需要控制人流的场所。系统通过YO
    
                    
    • 
                    
  • 无人驾驶卡尔曼滤波
                        meteor,across T sky
Apollo机器学习人工智能
                        
    无人驾驶卡尔曼滤波（行人检测）xk=axk−1+wkx_k=ax_{k-1}+w_kxk=axk−1+wkwkw_kwk：过程噪声状态估计估计飞行器状态（高度）xk=zk−vkx_k=z_k-v_kxk=zk−vk卡尔曼滤波通过同时考虑上一状态值和当前的测量值来获得对当前状态值的估计，对状态xxx的估计：x^\hat{x}x^x^k=x^k−1+gk(zk−x^k−1)\hat{x}_k=\hat
    
                    
    • 
                    
  • 大创项目推荐 深度学习实现行人重识别 - python opencv yolo Reid
                        laafeer
python
                        
    文章目录0前言1课题背景2效果展示3行人检测4行人重识别5其他工具6最后0前言优质竞赛项目系列，今天要分享的是**基于深度学习的行人重识别算法研究与实现**该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：5分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate
    
                    
    • 
                    
  • 目标检测数据集 - 夜间行人检测数据集下载「包含VOC、COCO、YOLO三种格式」
                        极智视界
AI训练数据集工作室目标检测YOLO人工智能夜间行人检测低光行人检测遮挡行人检测行人检测
                        
    数据集介绍：夜间、低光行人检测数据集，真实场景高质量图片数据，涉及场景丰富，比如夜间街景行人、夜间道路行人、夜间遮挡行人、夜间严重遮挡行人数据；适用实际项目应用：公共场所监控场景下夜间行人检测项目，以及作为监控场景通用行人检测数据集夜间场景数据的补充；标注说明：采用labelimg标注软件进行标注，标注质量高，提供VOC(xml)、COCO(json)、YOLO(txt)三种常见目标检测数据集格式
    
                    
    • 
                    
  • 基于yolov2深度学习网络的车辆行人检测算法matlab仿真
                        简简单单做算法
MATLAB算法开发#深度学习YOLO深度学习人工智能yolov2车辆行人检测
                        
    目录1.算法运行效果图预览2.算法运行软件版本3.部分核心程序4.算法理论概述5.算法完整程序工程1.算法运行效果图预览2.算法运行软件版本MATLAB2022a3.部分核心程序..........................................................loadyolov2.mat%加载训练好的目标检测器img_size=[224,224];imgPath=
    
                    
    • 
                    
  • C# OpenCvSharp DNN FreeYOLO 密集行人检测
                        天天代码码天天
C#人工智能实践dnn人工智能神经网络YOLO目标检测计算机视觉c#
                        
    目录效果模型信息项目代码下载C#OpenCvSharpDNNFreeYOLO密集行人检测效果模型信息Inputs-------------------------name：inputtensor：Float[1,3,192,320]---------------------------------------------------------------Outputs--------------
    
                    
    • 
                    
  • 一些想法：关于行人检测与重识别
                        baidu_huihui
人工智能计算机视觉
                        
    本文主要是介绍我们录用于ECCV'18的一个工作：PersonSearchviaAMask-guidedTwo-streamCNNModel.这篇文章着眼于PersonSearch这个任务，即同时考虑行人检测（PedestrianDetection）与行人重识别（PersonRe-identification），简单探讨了一下行人检测与行人重识别这两个子任务之间的关联性，并尝试利用全景图像中的背景
    
                    
    • 
                    
  • 智能交通技术与数据集大观：揭秘趋动云的无尽能量，引领AI发展的GPU算力及相关资源
                        virtaitech
人工智能gpu算力
                        
    智能交通是一种先进的交通系统，其核心目标在于通过实时数据的采集、分析以及智能决策，全面提升城市交通的效率、安全性和便捷性。该系统涵盖多项关键技术，包括行人检测、车辆检测、智能交通信号控制、智能导航和路径规划、以及安全监控等。行人检测：智能交通系统利用计算机视觉技术，通过摄像头、激光雷达等传感器对行人进行实时监测和识别。深度学习算法在处理多姿态和遮挡等复杂场景时，能够高效地检测行人的存在、位置和运动
    
                    
    • 
                    
  • YOLO算法改进7【中阶改进篇】：主干网络C3替换为轻量化网络MobileNetV3
                        梦在黎明破晓时啊
YOLOV5中阶改进篇YOLO
                        
    解决问题：YOLOv5主干特征提取网络采用C3结构，带来较大的参数量，检测速度较慢，应用受限，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型时难以被应用的。首先是模型过于庞大，面临着内存不足的问题，其次这些场景要求低延迟，或者说响应速度要快，想象一下自动驾驶汽车的行人检测系统如果速度很慢会发生什么可怕的事情。所以，研究小而高效的CNN模型在这些场景至关重要，至少目前是这样，尽管未来硬
    
                    
    • 
                    
  • Deep learning-based small object detection: A survey（2023）
                        怎么全是重名
论文笔记深度学习目标检测人工智能
                        
    文章目录AbstractIntroductionContributionGenericSODalgorithms提高输入特征的分辨率（MostImportant）Methods尺度感知训练Methods融合上下文信息Methods数据增强Methods其他策略Methods关键的SOD任务小人脸检测Methods小型行人检测Methods航拍图像中的SODMethodsEvaluationofSO
    
                    
    • 
                    
  • Caffe学习系列——工具篇：计算数据集的图像均值
                        Solomon1588
计算机视觉CVCaffe深度学习深度学习Caffe数据预处理特征标准化
                        
    本系列文章介绍深度学习框架Caffe及其实践，本文主要介绍Caffe的实用工具——compute_image_mean计算图像均值.1.图像预处理——零均值化数据预处理在深度学习中非常重要，数据预处理中，标准的第一步是数据归一化。特征归一化常用的方法包含如下几种：简单缩放逐样本均值消减(也称为移除直流分量)特征标准化(使数据集中所有特征都具有零均值和单位方差)特征标准化指的是（独立地）使得数据的每
    
                    
    • 
                    
  • 36从传统算法到深度学习：目标检测入门实战 --行人检测
                        Jachin111

                        
    行人检测基本流程在实验1到实验3中我们分别学习了滑动窗口、图像金字塔、方向梯度直方图。本节实验我们将结合这些方法来构建一个传统的行人检测算法。简单来说行人检测就是在提供的图像中，我们想要计算机分辨出哪些是人并且用矩形框标记出人出现在图片中的哪些位置。下图左上角图片中有一个人，如果我们想要用传统的目标检测方法检测到这个人的话，一般分为下面几个步骤。使用图像金字塔将图片按一定缩放比例生成不同尺寸图片（
    
                    
    • 
                    
  • 深度学习模型压缩与加速：深度压缩技术
                        RRRRRoyal
深度学习人工智能
                        
    深度学习模型压缩与加速：深度压缩技术引言深度学习已广泛应用于移动应用和实时检测任务，例如在自动驾驶车辆中的行人检测。在这些应用中，对于推理速度和模型大小有着极高的要求。深度压缩（DeepCompression）技术旨在减小深度学习模型的大小并加速模型推理，特别适用于对延迟敏感的应用场景。下面我们将详细介绍深度压缩技术及其在实际硬件上的性能。模型压缩与量化深度压缩技术通过权重剪枝、量化等方法来减少模
    
                    
    • 
                    
  • 分类（四）—— 支持向量机
                        shi_jiaye
python机器学习与数据挖掘机器学习人工智能python
                        
    主要内容分类概述决策树归纳K近邻算法支持向量机朴素贝叶斯分类模型评估与选择组合分类小结四、支持向量机支持向量机（SupportVetorMachine，SVM）由Vapnik等人于1995年首先提出，在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并推广到人脸识别、行人检测和文本分类等其他机器学习问题中。SVM建立在统计学习理论的VC维理论和结构风险最小原理基础上，根据有限的样本信息在模
    
                    
    • 
                                
  • SAX解析xml文件
                                    小猪猪08
xml
                                    
    1.创建SAXParserFactory实例 
2.通过SAXParserFactory对象获取SAXParser实例 
3.创建一个类SAXParserHander继续DefaultHandler，并且实例化这个类 
4.SAXParser实例的parse来获取文件 
    public static void main(String[] args) { 
 //
    
                                
    • 
                                
  • 为什么mysql里的ibdata1文件不断的增长？
                                    brotherlamp
linuxlinux运维linux资料linux视频linux运维自学
                                    
    我们在 Percona 支持栏目经常收到关于 MySQL 的 ibdata1 文件的这个问题。 
当监控服务器发送一个关于 MySQL 服务器存储的报警时，恐慌就开始了 —— 就是说磁盘快要满了。 
一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了 innodbfileper_table，所以问题是： 
ibdata1存了什么？ 
当你启用了 i
    
                                
    • 
                                
  • Quartz-quartz.properties配置
                                    eksliang
quartz
                                    
    其实Quartz JAR文件的org.quartz包下就包含了一个quartz.properties属性配置文件并提供了默认设置。如果需要调整默认配置，可以在类路径下建立一个新的quartz.properties，它将自动被Quartz加载并覆盖默认的设置。 
  
下面是这些默认值的解释 
#-----集群的配置
org.quartz.scheduler.instanceName =
    
                                
    • 
                                
  • informatica session的使用
                                    18289753290
workflowsessionlogInformatica
                                    
    如果希望workflow存储最近20次的log，在session里的Config  Object设置，log  options做配置，save  session log :sessions  run  ;savesessio log for  these runs:20 
session下面的source 里面有个tracing 
    
                                
    • 
                                
  • Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
                                    酷的飞上天空
scrapy
                                    
    Scrapy版本0.14.4 
出现问题现象： 
  
ERROR: Error downloading <GET http://xxxxx  CRC check failed 
  
解决方法 
  
1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0' 
  
明确表示不支持任何形式的压缩格式，避免程序的解压
    
                                
    • 
                                
  • java Swing小集锦
                                    永夜-极光
java swing
                                    
    1.关闭窗体弹出确认对话框 
  1.1   this.setDefaultCloseOperation (JFrame.DO_NOTHING_ON_CLOSE); 
  1.2   
	this.addWindowListener (
				new WindowAdapter () {
					public void windo
    
                                
    • 
                                
  • 强制删除.svn文件夹
                                    随便小屋
java
                                    
      
        在windows上，从别处复制的项目中可能带有.svn文件夹，手动删除太麻烦，并且每个文件夹下都有。所以写了个程序进行删除。因为.svn文件夹在windows上是只读的，所以用File中的delete()和deleteOnExist()方法都不能将其删除，所以只能采用windows命令方式进行删除
    
                                
    • 
                                
  • GET和POST有什么区别？及为什么网上的多数答案都是错的。
                                    aijuans
get post
                                    
      
    如果有人问你，GET和POST，有什么区别？你会如何回答？ 我的经历 
     前几天有人问我这个问题。我说GET是用于获取数据的，POST，一般用于将数据发给服务器之用。 
    这个答案好像并不是他想要的。于是他继续追问有没有别的区别？我说这就是个名字而已，如果服务器支持，他完全可以把G
    
                                
    • 
                                
  • 谈谈新浪微博背后的那些算法
                                    aoyouzi
谈谈新浪微博背后的那些算法
                                    
    本文对微博中常见的问题的对应算法进行了简单的介绍，在实际应用中的算法比介绍的要复杂的多。当然，本文覆盖的主题并不全，比如好友推荐、热点跟踪等就没有涉及到。但古人云“窥一斑而见全豹”，希望本文的介绍能帮助大家更好的理解微博这样的社交网络应用。 
微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作：原创、转发、回复、阅读、关注、@等。其中，前四个是针对短博文，最后的关注和@则针
    
                                
    • 
                                
  • Connection reset 连接被重置的解决方法
                                    百合不是茶
java字符流连接被重置
                                    
    流是java的核心部分,,昨天在做android服务器连接服务器的时候出了问题,就将代码放到java中执行,结果还是一样连接被重置 
  
被重置的代码如下; 
  
客户端代码; 
package 通信软件服务器;

import java.io.BufferedWriter;
import java.io.OutputStream;
import java.io.O
    
                                
    • 
                                
  • web.xml配置详解之filter
                                    bijian1013
javaweb.xmlfilter
                                    
    一.定义 
<filter>
	<filter-name>encodingfilter</filter-name>
	<filter-class>com.my.app.EncodingFilter</filter-class>
	<init-param>
		<param-name>encoding<
    
                                
    • 
                                
  • Heritrix
                                    Bill_chen
多线程xml算法制造配置管理
                                    
    作为纯Java语言开发的、功能强大的网络爬虫Heritrix，其功能极其强大，且扩展性良好，深受热爱搜索技术的盆友们的喜爱，但它配置较为复杂，且源码不好理解，最近又使劲看了下，结合自己的学习和理解，跟大家分享Heritrix的点点滴滴。 
Heritrix的下载（http://sourceforge.net/projects/archive-crawler/）安装、配置，就不罗嗦了，可以自己找找资
    
                                
    • 
                                
  • 【Zookeeper】FAQ
                                    bit1129
zookeeper
                                    
    1.脱离IDE，运行简单的Java客户端程序 
#ZkClient是简单的Zookeeper~$ java -cp "./:zookeeper-3.4.6.jar:./lib/*" ZKClient   
  
1. Zookeeper是的Watcher回调是同步操作，需要添加异步处理的代码 
2. 如果Zookeeper集群跨越多个机房，那么Leader/
    
                                
    • 
                                
  • The user specified as a definer ('aaa'@'localhost') does not exist
                                    白糖_
localhost
                                    
    今天遇到一个客户BUG，当前的jdbc连接用户是root，然后部分删除操作都会报下面这个错误：The user specified as a definer ('aaa'@'localhost') does not exist 
最后找原因发现删除操作做了触发器，而触发器里面有这样一句 
  
 /*!50017 DEFINER = ''aaa@'localhost' */ 
 原来最初
    
                                
    • 
                                
  • javascript中showModelDialog刷新父页面
                                    bozch
JavaScript刷新父页面showModalDialog
                                    
    在页面中使用showModalDialog打开模式子页面窗口的时候，如果想在子页面中操作父页面中的某个节点，可以通过如下的进行： 
      window.showModalDialog('url',self,‘status...’); // 首先中间参数使用self 
      在子页面使用w
    
                                
    • 
                                
  • 编程之美-买书折扣
                                    bylijinnan
编程之美
                                    
    


import java.util.Arrays;

public class BookDiscount {

	/**编程之美 买书折扣

书上的贪心算法的分析很有意思，我看了半天看不懂，结果作者说，贪心算法在这个问题上是不适用的。。
下面用动态规划实现。
哈利波特这本书一共有五卷，每卷都是8欧元，如果读者一次购买不同的两卷可扣除5%的折扣，三卷10%，四卷20%，五卷
    
                                
    • 
                                
  • 关于struts2.3.4项目跨站执行脚本以及远程执行漏洞修复概要
                                    chenbowen00
strutsWEB安全
                                    
    因为近期负责的几个银行系统软件，需要交付客户，因此客户专门请了安全公司对系统进行了安全评测，结果发现了诸如跨站执行脚本，远程执行漏洞以及弱口令等问题。 
下面记录下本次解决的过程以便后续 
1、首先从最简单的开始处理，服务器的弱口令问题，首先根据安全工具提供的测试描述中发现应用服务器中存在一个匿名用户，默认是不需要密码的，经过分析发现服务器使用了FTP协议， 
而使用ftp协议默认会产生一个匿名用
    
                                
    • 
                                
  • [电力与暖气]煤炭燃烧与电力加温
                                    comsci

                                    
     
      在宇宙中,用贝塔射线观测地球某个部分,看上去,好像一个个马蜂窝,又像珊瑚礁一样,原来是某个国家的采煤区..... 
 
      不过,这个采煤区的煤炭看来是要用完了.....那么依赖将起燃烧并取暖的城市,在极度严寒的季节中...该怎么办呢? 
 
  &nbs
    
                                
    • 
                                
  • oracle O7_DICTIONARY_ACCESSIBILITY参数
                                    daizj
oracle
                                    
    O7_DICTIONARY_ACCESSIBILITY参数控制对数据字典的访问.设置为true,如果用户被授予了如select any table等any table权限,用户即使不是dba或sysdba用户也可以访问数据字典.在9i及以上版本默认为false,8i及以前版本默认为true.如果设置为true就可能会带来安全上的一些问题.这也就为什么O7_DICTIONARY_ACCESSIBIL
    
                                
    • 
                                
  • 比较全面的MySQL优化参考
                                    dengkane
mysql
                                    
    本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方有我的联系方式。这是上篇。 
  
1、硬件层相关优化 
  
1.1、CPU相关 
  
在服务器的BIOS设置中，可
    
                                
    • 
                                
  • C语言homework2，有一个逆序打印数字的小算法
                                    dcj3sjt126com
c
                                    
    #h1# 
  
0、完成课堂例子 
1、将一个四位数逆序打印 
1234 ==> 4321 
实现方法一： 
# include <stdio.h>

int main(void)
{
	int i = 1234;
	int one = i%10;
	int two =  i / 10 % 10;
	int three = i / 100 % 10;

    
                                
    • 
                                
  • apacheBench对网站进行压力测试
                                    dcj3sjt126com
apachebench
                                    
       ab 的全称是 ApacheBench ， 是 Apache 附带的一个小工具 ， 专门用于 HTTP Server 的 benchmark testing ， 可以同时模拟多个并发请求。前段时间看到公司的开发人员也在用它作一些测试，看起来也不错，很简单，也很容易使用，所以今天花一点时间看了一下。 
通过下面的一个简单的例子和注释，相信大家可以更容易理解这个工具的使用。 
    
                                
    • 
                                
  • 2种办法让HashMap线程安全
                                    flyfoxs
javajdkjni
                                    
    多线程之--2种办法让HashMap线程安全 
多线程之--synchronized 和reentrantlock的优缺点 
多线程之--2种JAVA乐观锁的比较( NonfairSync VS. FairSync) 
  
  
HashMap不是线程安全的,往往在写程序时需要通过一些方法来回避.其实JDK原生的提供了2种方法让HashMap支持线程安全. 
  

    
                                
    • 
                                
  • Spring Security（04）——认证简介
                                    234390216
Spring Security认证过程
                                    
    认证简介 
目录 
1.1     认证过程 
1.2     Web应用的认证过程 
1.2.1    ExceptionTranslationFilter 
1.2.2    在request之间共享SecurityContext 
   

1
    
                                
    • 
                                
  • Java 位运算
                                    Javahuhui
java位运算
                                    
    // 左移( << ) 低位补0 
// 0000 0000 0000 0000 0000 0000 0000 0110 然后左移2位后，低位补0： 
// 0000 0000 0000 0000 0000 0000 0001 1000 
System.out.println(6 << 2);// 运行结果是24 
 
// 右移( >> ) 高位补"
    
                                
    • 
                                
  • mysql免安装版配置
                                    ldzyz007
mysql
                                    
    1、my-small.ini是为了小型数据库而设计的。不应该把这个模型用于含有一些常用项目的数据库。 
2、my-medium.ini是为中等规模的数据库而设计的。如果你正在企业中使用RHEL,可能会比这个操作系统的最小RAM需求(256MB)明显多得多的物理内存。由此可见，如果有那么多RAM内存可以使用，自然可以在同一台机器上运行其它服务。 
3、my-large.ini是为专用于一个SQL数据
    
                                
    • 
                                
  • MFC和ado数据库使用时遇到的问题
                                    你不认识的休道人
sqlC++mfc
                                    
    =================================================================== 
第一个 
=================================================================== 
 
try{
		CString sql;
	sql.Format("select * from p
    
                                
    • 
                                
  • 表单重复提交Double Submits
                                    rensanning
double
                                    
    可能发生的场景： 
 
 
 *多次点击提交按钮  
 *刷新页面  
 *点击浏览器回退按钮  
 *直接访问收藏夹中的地址  
 *重复发送HTTP请求（Ajax） 
 
（1）点击按钮后disable该按钮一会儿，这样能避免急躁的用户频繁点击按钮。 
这种方法确实有些粗暴，友好一点的可以把按钮的文字变一下做个提示，比如Bootstrap的做法： 
http://getbootstrap.co
    
                                
    • 
                                
  • Java String 十大常见问题
                                    tomcat_oracle
java正则表达式
                                    
    　1.字符串比较，使用“==”还是equals()?   　　"=="判断两个引用的是不是同一个内存地址(同一个物理对象)。   　　equals()判断两个字符串的值是否相等。   　　除非你想判断两个string引用是否同一个对象，否则应该总是使用equals()方法。   　　如果你了解字符串的驻留(String Interning)则会更好地理解这个问题。   　 
　
    
                                
    • 
                                
  • SpringMVC 登陆拦截器实现登陆控制
                                    xp9802
springMVC
                                    
    思路，先登陆后，将登陆信息存储在session中，然后通过拦截器，对系统中的页面和资源进行访问拦截，同时对于登陆本身相关的页面和资源不拦截。 
  
实现方法： 
        1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  
    
                                
    •