【CV论文精读】【BEV感知】BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-ViewBEVDet：鸟瞰下的高性能多摄像机三维目标检测0.论文摘要自动驾驶感知周围环境进行决策，这是视觉感知中最复杂的场景之一。范式创新在解决2D目标检测任务中的成功激励我们寻求一种优雅、可行和可扩展的范式，从根本上推动该领域的性能边界。为此

原文链接：https://arxiv.org/abs/2312.092431.引言3D目标检测任务受到无限类别和长尾问题的影响。3D占用预测则不同，其关注场景的几何重建，但多数方法需要从激光雷达点云获取的3D监督信号。本文提出OccNeRF，一种自监督多相机占用预测模型。首先使用图像主干提取2D特征。为节省空间，本文直接插值2D特征得到3D体素特征，而不使用交叉注意力。此外，本文考虑相机视野的无限

一、概要提出新框架BEVFormer，用spatiotemporaltransformer学习统一的BEV表示，来支持多个自动驾驶感知任务。空间上，用cross-attention让每个BEVquery从roiacrosscameraviews中提取空间特征；时间上，用self-attention循环融合历史BEV信息。9.0pointshigherthanpreviousbestartsonnu

Wei,Yi,etal.“Surroundocc:Multi-camera3doccupancypredictionforautonomousdriving.”ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2023.重点记录将占用网格应用到多个相机构成的3D空间中;使用BEVFormer中的方法获取3D特征,然后使用

参考：https://source.android.google.cn/devices/camera/multi-camera

参考代码：SparseBEV动机与主要贡献：BEV感知可以按照是否显式构建BEV特征进行划分，显式构建BEV特征的方法需要额外计算量用于特征构建，而类似query方案的方法则不需要这样做。比较两种类型的方法，前者需要更多计算资源但是效果好，后者需要的计算资源相对较少，但是性能相比起来不足。在这篇文章中从如下3个维度去分析和优化基于query的感知方法：1）分析query之间的关联，在基于query

参考代码：MCDP介绍这篇文章对于多视图自监督深度估计在不同相机下的深度表达构建一致性约束，其建立约束的信息来自于相邻相机之间的视角重叠区域，如下图所示依据这些区域可以在loss端通过不同相机之间标定外参构建不同视角之间的深度约束关系，也就是周围相机预测出的深度经过投影之后应该和目的相机的深度值差异最小化。除了在loss层面上对不同视角下深度构建约束之外，还在特征表达的维度在channel层次上对

PETRv2:AUnifiedFrameworkfor3DPerceptionfromMulti-CameraImages作者单位旷视目的本文的目标是通过扩展PETR，使其有时序建模和多任务学习的能力以此建立一个强有力且统一的框架。本文主要贡献：将位置embedding转换到时序表示学习，时序的对齐是在3DPE上做姿态变换实现的。提出了feature-guided位置编码，可以通过2D图像特征re

参考代码：PolarFormer1.概述介绍：在仓库RoboBEV中总结了现有的一些bev感知算法在不同输入情况下的鲁棒性，在这些感知算法中PolarFormer拥有较为不错的泛化性能。这个算法的思想是将之前由直角坐标系栅格化构建bev网格，转换到由极坐标构建栅格化bev网格，这样的bev特征构建方法其实是符合相机成像过程的，在W维度切分的单个竖向特征代表的便是由光心和两条射线组成的扇形区域。其大

目录文章侧重点网络架构论文链接：BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers（内附官方中文版）提取码：z3un源码：https://github.com/zhiqi-li/BEVFormer文章侧重点BEVFormer应用Transformer和时

参考代码：暂无1.概述介绍：在相机数据作为输入的BEV感知算法中很多是需要显式或是隐式使用相机内外参数的，但是相机的参数自标定之后并不是一直保持不变的，这就对依赖相机标定参数的算法带来了麻烦。如何提升模型对相机参数鲁棒性，甚至是如何去掉相机参数成为一种趋势。对应的这篇文章完全去除了相机参数依赖，首先通过PA（position-awareenhancement）实现强大BEV空间位置编码，之后BEV

BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers文章目录BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers

论文速读–BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-View参考：BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-View论文笔记一.网络网络主要分为四部分：图像视角编码器（image-viewencoder）、视角转换器（view-tr

BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-View文章目录BEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-View论文精读摘要（Abstract）1.简介（Introduction）2.相关工作（RelatedWorks)2.1基于视觉的

近两年，基于纯视觉BEV方案的3D目标检测备受关注，allinone方式，确实能将基于camera的3D检测算法性能提升一大截，甚至直逼激光雷达方案，这次整理了领域中一些备受关注的multi-camerabev纯视觉感知方案，包括DETR3D、BEVDet、ImVoxelNet、PETR、BEVFormer、BEVDepth、BEVDet4D、BEVerse等！1.DETR3D（CoRL2021）

M²BEV:Multi-CameraJoint3DDetectionandSegmentationwithUnifiedBird’s-EyeViewRepresentation论文笔记原文链接：https://arxiv.org/pdf/2204.05088.pdf1.引言本文设计一个联合训练多视图图像3D目标检测和BEV分割任务的统一网络。此外，本文提出了几个能提高精度并减小空间耗费的方法：高效

原文链接：https://arxiv.org/pdf/2112.11790.pdf1引言如下图所示，本文提出的BEVDet包含4个部分，即图像编码器（提取图像特征）、视图转换器（将图像视图转化为BEV）、BEV编码器（进一步提取BEV特征）和检测头（BEV下检测3D物体）。由于BEVDet在BEV空间的过度拟合能力，以及使用多视图数据导致的数据不足，训练时出现了过拟合。仅对图像进行数据增广时，仅在

BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers论文笔记原文链接：https://arxiv.org/pdf/2203.17270.pdf1.引言视觉感知是利用多个摄像机提供的图像来给出3D边界框或语义图。最直接的方法是基于单目框架和跨相机后处理。但这

0.为什么要读这篇论文首先，作者本人并不是这个领域的科研工作者，只能说是自动驾驶领域的一个工程师，我更希望我做的每一件事情，读的每一篇文章都在帮我解决一个问题或者一个疑惑。那么，谈一下为什么要读这篇文章，自动驾驶视觉感知领域算法开发这个领域可谓是日新月异，越来越多的事物可以被感知到，更多的摄像头参与到了感知算法中，从一开始的1V（前视）到5V，再到8V，从1M像素到2M再到现在8M的摄像头，甚至还

论文题目：BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers参考与前言arXiv地址：BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotempor

PapernameBEVDet:High-PerformanceMulti-Camera3DObjectDetectioninBird-Eye-ViewPaperReadingNoteURL:https://arxiv.org/pdf/2112.11790v1.pdfTL;DR提出了一种在BEV视角下检测3d物体的方法，主要是在LSS（lift,splat,shot）基础上增加CenterPoin

参考：https://source.android.google.cn/devices/camera/multi-camera

OverviewCreateanend-to-endvideoanalyticspipelinetodetectpeopleandcalculatethesocialdistancebetweenpeoplefrommultipleinputvideofeeds.Multi-CameraDetectionofSocialDistancingdemonstrateshowtousetheVideoA

PapernameWoodScape:Amulti-task,multi-camerafisheyedatasetforautonomousdrivingPaperReadingNoteURL:https://openaccess.thecvf.com/content_ICCV_2019/papers/Yogamani_WoodScape_A_Multi-Task_Multi-Camera_Fis

LocalityAwareAppearanceMetricforMulti-TargetMulti-CameraTracking多目标多摄像头的局部邻域内目标外观的度量时间：2019年目录1资源2名词释义3摘要4Overview5理解概述1资源paper：https://arxiv.org/abs/1911.12037code：https://github.com/hou-yz/open-reid

目录本文的主要贡献多目标多相机追踪（MTMCT）和行人再识别（Re-ID）的关系两者的区别两者的联系模型的流程论文结论这篇文章是由杜克大学ErgysRistani,CarloTomasi完成，在CVPR2018上被收录，原文链接为：https://arxiv.org/abs/1803.10859。在CSDN上已经有大神给出这篇非常好的翻译了，因此我不再赘述原文内容，大家可以移步Featuresfo

导言最近开始研究reid问题，打算从后往前，把cvpr的论文读一读，现在开始第一篇：状态注意的重识别特征（多目标、多摄像头跟踪）这个功能是我现在最需要的！（由于是第一篇读这方面的论文，把前面的也好好看了一下，以后就会抓重点了）摘要多目标多摄像头跟踪是为了从一系列的摄像头中提取轨迹。虽然由于reid模型的发展应用，这种跟踪的表现有了很大提升，但是表观特征通常由于遮挡或者目标的变化而变得不可靠。直接应

Android9introducesAPIsupportformulti-cameradevicesviaanewlogicalcameradevicecomposedoftwoormorephysicalcameradevicespointinginthesamedirection.ThelogicalcameradeviceisexposedasasingleCameraDevice/Capt

本文介绍下GoogleAndroid在其文档中对于Multi-Camera的描述，以及AndroidR中对CameraHAL3的一些新增内容，Multi-Camera从Android9也就是P开始就已经有相关的支持描述了

Abstract在线标定很重要．但是目前的方法都计算量都很高．我们的方案不需要标定板之类的东西．我们的方案不需要假设相机有重合的FOV,也不需要任何的初始猜测.当相机模组行驶穿过之前建过地图的区域,我们就用地图和同步的相机图像匹配.最后我们找到相机位姿和内点2D-3D匹配.1.Introduction机器人系统的大量普及会引起一系列本质的问题--关于long-termautonomyofrobot

ECCV2016personre-identification相关第三篇目前做personreID主要有两个方面：extractingandcodinglocalinvariantfeaturestorepresentthevisualappearanceofapersonlearningadiscriminativedistancemetrichencethedistanceoffeatures

转载：https://zhuanlan.zhihu.com/p/35391826跨摄像头多目标跟踪（Multi-TargetMulti-CameraTracking,MTMCTracking）是监控视频领域一个非常重要的研究课题，本文以下内容直接简称为MTMC。单摄像头的单目标跟踪和多目标跟踪目前来说还有一些不错的解决方法，但是MTMC这个领域总得来说还没形成一些解决套路，有非常大的研究空间。而M