最全自动驾驶数据集分享系列一｜目标检测数据集（2/3）

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列一：

「本期划重点」

  • 清华大学推出全球首个车路协同自动驾驶研究数据集
  • Nexar视频数据集覆盖70多个国家，1400多个城市
  • 行人目标检测数据集一览：KAIST、ETH、Daimler、Tinghua-Daimler、Caltech、NightOwls、ECP
  • 夜间图像也清晰可见：Kaist行人数据集、FLIR热成像数据集、东京大学红外数据集

图片

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

  • 系列一：目标检测数据集 
  • 系列二：语义分割数据集
  • 系列三：车道线检测数据集
  • 系列四：光流数据集
  • 系列五：Stereo Dataset
  • 系列六：定位与地图数据集
  • 系列七：驾驶行为数据集
  • 系列八：仿真数据集

本文是<系列一目标检测数据集>的第二篇，一共分为三篇来介绍。

下面共包括15个数据集：

01「DAIR-V2X数据集」

  • 发布方：清华大学智能产业研究院（AIR）、北京市高级别自动驾驶示范区、北京车网科技发展有限公司、百度Apollo、北京智源人工智能研究院
  • 下载地址：https://thudair.baai.ac.cn/co...
  • 发布时间：2022年
  • 简介：DAIR-V2X数据集是全球首个用于车路协同自动驾驶研究的大规模、多模态、多视角数据集，全部数据采集自真实场景，同时包含2D&3D标注

  • 特征

    • 总计71254帧图像数据和71254帧点云数据

      *   DAIR-V2X协同数据集(DAIR-V2X-C)，包含38845帧图像数据和38845帧点云数据
*   DAIR-V2X路端数据集(DAIR-V2X-I)，包含10084帧图像数据和10084帧点云数据
*   DAIR-V2X车端数据集(DAIR-V2X-V)，包含22325帧图像数据和22325帧点云数据
    • 首次实现车路协同时空同步标注
    • 传感器类型丰富，包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器
    • 障碍物目标3D标注属性全面，标注10类道路常见障碍物目标
    • 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口
    • 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景
    • 数据完备，包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等
    • 训练集和验证集已发布，测试集将随同后续Challenge活动发布

图片

02「Argoverse」

  • 发布方：Argo AI、卡内基梅隆大学、佐治亚理工学院
  • 下载地址：https://www.argoverse.org/av1...
  • 论文地址：https://arxiv.org/pdf/1911.02...
  • 发布时间：2019年
  • 简介：Argoverse 数据集包含 3D Tracking 和 Motion Forecasting 两部分。Argoverse数据集与Waymo有些不同，虽然它也包含激光雷达和摄像头数据，但它只覆盖了在迈阿密和匹兹堡记录的113个场景。其特别之处在于，它是第一个包含高清地图数据的数据集

  • 特征

    • 第一个包含高清地图数据的数据集：包含匹兹堡和迈阿密290公里的车道地图，如位置、连接、交通信号、海拔等信息
    • 传感器：2个激光雷达，7个高分辨率环形相机 (1920 × 1200)，2个立体相机（ 2056 × 2464 ）
    • Argoverse 3D tracking
    • 包含 113 个场景的 3d 跟踪注释，每个片段长度为 15-30 秒，共计包含 11052个跟踪对象
    • 对5米内的物体进行标注，共15个标签
    • 70%的标注对象为车辆，30%行人、自行车、摩托车等
    • Argoverse Motion Forecasting
    • 从在迈阿密和匹兹堡的1006小时驾驶记录中获取，总计320小时
    • 包含324,557 个场景，每个场景 5 秒，且包含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图

图片

03「KAIST Multispectral Pedestrian」

  • 发布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）
  • 下载地址1：https://sites.google.com/site...
  • 下载地址2：https://sites.google.com/site...
  • 论文地址： https://openaccess.thecvf.com...\_cvpr\_2015/papers/Hwang\_Multispectral\_Pedestrian\_Detection\_2015\_CVPR\_paper.pdf
  • 发布时间：2015年
  • 简介：该数据集为多光谱行人检测数据集，提供白天和夜晚的彩色-热成像图像对。数据集通过彩色图像和热成像的优势互补，提高了行人检测的准确度，克服了以往行人检测数据行人被遮挡、背景混乱、夜间成像不清晰等问题

  • 特征

    • 同时提供白天和夜间的95328对彩色-热成像图像，并且通过分束器的处理对齐图像，消除图像视差
    • 数据采集地点为韩国首尔，图像分辨率为640x480
    • 103,128个人工2D框标注， 1,182 个行人
    • 四种不同类型的标注：person、people（不清晰的人像）、cyclist、person?（不确定是否为行人）
    • 采集设备：包含热成像仪、RGB摄像机、分束器等的采集设备

图片

04「ETH Pedestrian」

  • 发布方：苏黎世联邦理工大学 (ETH Zürich)
  • 下载地址：https://icu.ee.ethz.ch/resear...
  • 论文地址：https://www.vision.rwth-aache...
  • 发布时间：2009年
  • 简介：ETH是一个行人检测数据集，使用摄像机拍摄共三个视频片段，数据集只有一个行人标签

  • 特征

    • 测试集包含3个视频片段，共4800帧，帧率为15，共1894个标注
    • 使用2.5D标注，进行抽帧标注，每四帧标注一次
    • 采集于瑞士苏黎世人员密集的街区
    • 使用摄像机进行拍摄

图片

05「Daimler Pedestrian」

  • 发布方：Daimler AG
  • 下载地址：http://www.lookingatpeople.co...
  • 论文地址： http://gavrila.net/pami09.pdf
  • 发布时间：2008年
  • 大小：8.5GB
  • 简介：戴姆勒行人检测数据集是采集于城市环境的行人检测数据集，采集的环境均为白天。数据集分为训练集和测试集两部分，训练集又包括行人图像和不包含行人的图像

  • 特征

    • 27分钟的视频片段
    • 15560张行人的图像（剪切后分辨率为48x96），6744张不包含行人的图片
    • 21,790 张图片(640x480 分辨率)， 56,492个2D人工标注
    • 视频通过行驶车辆上的摄像头采集，场景全部为日间城市道路

图片

06「Tsinghua-Daimler Cyclist」

  • 发布方：Daimler AG、清华大学
  • 下载地址：http://www.lookingatpeople.co...
  • 论文地址：http://www.gavrila.net/Public...\_cyclist\_benchmark.pdf
  • 发布时间：2016年
  • 简介：该数据集旨在丰富骑行者的数据，提高自动驾驶算法对骑行者检测的准确度，在此之前还没有推出过专门针对骑行者目标检测的数据集

  • 特征

    • 将近6个小时的视频数据，分辨率为2048×1024
    • 14674帧带标注数据， 32361个标注对象，包括骑行者、行人和其他骑行者
    • 数据集分为部分标注数据集和全部标注数据集。部分标注数据集只包括完整清晰的骑行者，而后者包括行人、自行车、三轮车、轮椅、摩托车等所有骑行者
    • 使用车载立体相机进行采集，采集地点为北京的海淀区和朝阳区

图片

07「Caltech数据集」

  • 发布方：加州理工学院 （California Institute of Technology）
  • 下载地址： http://www.vision.caltech.edu...\_Datasets/CaltechPedestrians/
  • 论文地址：http://www.vision.caltech.edu...\_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdf
  • 发布时间：2009年
  • 简介：加州理工学院行人数据集采集于洛杉矶的城市道路，视频数据通过车辆搭载摄像头采集

  • 特征

    • ‍包含将近10个小时的640x480 30Hz 数据集
    • 数据集分为训练集和测试集，训练集分为6个子集，测试集分为4个子集，每个子集大小大约为1GB
    • 包含大约 250,000帧行人标注数据，350,000个2D框，2300个行人，总时长大约为137分钟
    • 区分标注行人的可见部分和不可见部分
    • 视频采集于洛杉矶行人较多的六个区：LAX, Santa Monica, Hollywood, Pasadena, and Little Tokyo

图片

08「NightOwls」

  • 发布方：Oxford Visual Geometry Group
  • 下载地址： https://www.nightowls-dataset...
  • 论文地址： https://www.robots.ox.ac.uk/~...
  • 发布时间：2018年
  • 简介：NightOwls数据集主要提供夜间的行人数据。与白昼相比，夜间照明度差，反射、模糊和对比度变化多，因此夜间行人检测更具挑战性

  • 特征

    • 279,000帧数据，图像分辨率为1024 x 640，帧率为15
    • 所有帧都带有2D框标注，且带有追踪信息，包含42,273个行人
    • 四种行人标签：Pedestrians、Bicycledriver、Motorbikedriver、Ignore areas
    • 四类标签属性：Pose、Difficulty、Occlusion、Truncation
    • 多样性：覆盖三个国家（德国、英国、荷兰），春夏秋冬四个季节，黎明和夜晚，不同的天气状况如雨雪天气

图片

09「EuroCity Persons Dataset」

  • 发布方：代尔夫特理工大学 (Delft University of Technology (TU Delft))

  • 下载地址：https://eurocity-dataset.tude...\_next=/eval/downloads/detection

  • 论文地址： https://arxiv.org/pdf/1805.07193;The
  • 发布时间：2018年
  • 简介：ECP是一个多元化的行人检测数据集，数据收集于欧洲多个国家，由车载摄像头进行收集

  • 特征

    • 大型多样化数据集：覆盖4 个季节、12 个国家、31 个城市、47300 张图像、238200 个人
    • 标签分为行人和骑行者两类，骑行者又进一步分为自行车、婴儿车、摩托车、滑板车、三轮车、轮椅等类型
    • 对骑行者的标注分两部分：对人的标注以及骑行工具的标注
    • 标注信息除了2D框之外，还包括定位信息

图片

10「Urban Object Detection」

  • 发布方：机器人和立体视觉小组（The Robotics and Tridimensional Vision Group, RoViT，  University of Alicante ）
  • 下载地址：http://www.rovit.ua.es/datase...（邮件联系获取）
  • 论文地址：https://www.mdpi.com/2079-929...
  • 发布时间：2018年
  • 简介：该数据集中的数据来自于现有数据集，例如PASCAL VOC 、UDacity、Sweden，同时通过安装在车辆上的高清摄像头收集了一部分数据（1%左右），该数据集在公开数据集等的基础上增加了标签的类别。其中有一些数据为弱标注数据，可以用于测试弱监督学习技术

  • 特征

    • 数据集被分成两部分：traffic objects 和 traffic signs
    • traffic objects数据集经2D标注，共包括汽车、摩托车、人、信号灯、公交车、自行车和交通标志
    • traffic signs 总共包含43种欧洲街道常见的交通标志，数据来自GTSRB以及Sweden
    • 共包含12000个交通标志

图片

图片

11「Road Damage Dataset 2018-2020」

  • 发布方：东京大学
  • 下载地址： https://github.com/sekilab/Ro...

  • 论文地址：

  • 发布时间：2018-2020

  • 简介

    • Road Damage Dataset 2018：该数据集第一次收集了大规模的道路损坏数据集，收集了日本7个城市共40多个小时的数据。由安装在汽车上的智能手机拍摄的 9,053 张道路病害图像组成，这些道路图像中包含 15,435 个路面病害实例，包含8种病害类型。每幅图像中，道路病害位置和病害类型都被标注出来
    • Road Damage Dataset 2020：该数据集使用车载智能手机拍摄，包含来自印度、日本和捷克共和国的 26,336 张道路图像，其中有超过 31,000 个道路损坏实例。该数据集收集了四种类型的道路损坏：纵向裂缝、横向裂缝、鳄鱼裂缝和坑洼

图片

12「FLIR Thermal Sensing」

  • 发布方：Teledyne FLIR
  • 下载地址：https://www.flir.eu/oem/adas/...
  • 发布时间：2018年
  • 大小：17GB
  • 简介：感知热红外辐射或热量的能力为现有传感器技术（如可见光相机、激光雷达和雷达系统）提供了互补和独特的优势。该数据集通过热传感技术提供了热图像，在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下，可检测并区分行人、骑行者、动物和机动车辆，促进可见光 + 热传感器融合算法 (“RGBT”) 的研究进展

  • 特征

    • 26,442 个完全标注的帧，520,000个2D框，9,711 张热图像和 9,233 张 RGB 图像
    • 15个标签类别：行人、自行车、汽车、摩托车、公共汽车、火车、卡车、红绿灯、消防栓等
    • 热成像仪规格：Teledyne FLIR Tau 2 640x512，13mm f/1.0

图片

13「TuSimple 车道线检测数据集」

  • 发布方：Tusimple
  • 下载地址：https://github.com/TuSimple/t...
  • 发布时间：2017年
  • 简介：Tusimple举办了一次以摄像头图像数据做车道检测的比赛,公开了一部分数据及其标注信息

  • 特征

    • 7,000 个 1 秒长的视频片段，每个片段 20 帧
    • 环境特征：白天，良好或中等的天气，高速公路
    • 训练集包含3626 个视频片段，测试集包含2782 个视频片段
    • 采用线标注，每条线实际上是点序列的坐标集合，而不是区域集合

图片

14「NEXET」

  • 发布方：Nexar
  • 下载地址：https://www.kaggle.com/solese...
  • 发布时间：2017年
  • 大小：11G
  • 简介：Nexar 包含丰富和多样化道路数据，采用行车记录仪和手机摄像头等拍摄，是目前为止涵盖最多国家和城市的自动驾驶数据集

  • 特征

    • 超过2500000个小时的视频，50000张带有2D框标注图像的训练集， 包含41190张图像的测试集合
    • 多样化：覆盖77个国家，1400多个城市，三种照明条件（白天、夜晚、黄昏），四个季节，多种路况（城市、乡村、高速、居民区甚至包括沙漠道路），多种天气状况（晴、雾、雨、雪）
    • 标注：采用2D标注，2D框与车辆不完全贴合

15「Multi-spectral Object Detection」

  • 发布方：东京大学
  • 下载地址：https://drive.google.com/driv...
  • 论文地址： https://dl.acm.org/doi/pdf/10...
  • 发布时间：2017年
  • 大小：6.85GB
  • 简介：该数据集由RGB图像、近红外图像、中红外图像和远红外图像组成，图片拍摄于校园环境

  • 特征

    • 7,512 张图片，3,740张日间的图片以及3,772 张夜间图片
    • 采集：图片由RGB、近红外相机、中红外相机和远红外相机获取，为了模拟驾驶环境，相机被安装在一辆小推车上
    • 环境：东京的大学校园，包括白天和夜晚的数据
    • 标注：包含2D框及标签，包括行人、自行车、车辆等障碍物

图片

「联系我们」

整数智能希望通过在数据处理领域的专业能力，在未来三年，赋能1000+以上的AI企业，成为这些企业的「数据合伙人」，因此我们非常期待能与正在阅读这篇文章的您，有进一步的沟通交流，欢迎联系我们，一起探索更多合作可能性，我们的联系方式如下：

联系人：祁先生

电话：13456872274

更多详情可访问整数智能官网：www.molardata.com

你可能感兴趣的:(自动驾驶目标检测深度学习)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 【目标检测数据集】卡车数据集1073张VOC+YOLO格式 熬夜写代码的平头哥∰ 目标检测YOLO人工智能
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：1073标注数量(xml文件个数)：1073标注数量(txt文件个数)：1073标注类别数：1标注类别名称:["truck"]每个类别标注的框数：truck框数=1120总框数：1120使用标注工具：labelImg标注
  • 番茄西红柿叶子病害分类数据集12882张11类别 futureflsl 数据集分类数据挖掘人工智能
    数据集类型：图像分类用，不可用于目标检测无标注文件数据集格式：仅仅包含jpg图片，每个类别文件夹下面存放着对应图片图片数量(jpg文件个数)：12882分类类别数：11类别名称:["Bacterial_Spot_Bacteria","Early_Blight_Fungus","Healthy","Late_Blight_Water_Mold","Leaf_Mold_Fungus","Powdery
  • 推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！ 小猪包333 写论文人工智能AI写作深度学习计算机视觉
    在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
  • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
    随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
  • [实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估pytorchpython机器学习
    文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
  • [实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用pytorch深度学习人工智能机器学习python优化器
    文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
  • 生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
    生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
  • [数据集][目标检测]汽车头部尾部检测数据集VOC+YOLO格式5319张3类别 FL1623863129 数据集目标检测汽车YOLO
    数据集制作单位：未来自主研究中心(FIRC)版权单位：未来自主研究中心(FIRC)版权声明：数据集仅仅供个人使用，不得在未授权情况下挂淘宝、咸鱼等交易网站公开售卖,由此引发的法律责任需自行承担数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：5319标注数量(xml文件
  • 未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • 深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
    深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
  • 损失函数与反向传播 Star_. PyTorchpytorch深度学习python
    损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
  • 【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
    现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
  • 埃隆·马斯克表示特斯拉“没有必要”授权 xAI 模型 喜好儿网 人工智能AIGC马斯克
    埃隆·马斯克近日在社交媒体上对《华尔街日报》的一篇报道进行了反驳。该报道指出，马斯克旗下的电动汽车公司特斯拉可能与人工智能初创公司xAI达成了一项收入分享协议，以便特斯拉能够使用xAI的人工智能模型。据称，这些模型将被集成到特斯拉的全自动驾驶（FSD）软件中，并可能用于开发特斯拉汽车的语音助手以及人形机器人擎天柱的软件。喜好儿网然而，马斯克否认了这一说法，他在社交媒体平台上表示，尽管特斯拉确实与x
  • CV、NLP、数据控掘推荐、量化 海的那边- AI算法自然语言处理人工智能
    下面是对CV（计算机视觉）、NLP（自然语言处理）、数据挖掘推荐和量化的简要概述及其应用领域的介绍：1.CV（计算机视觉，ComputerVision）定义：计算机视觉是一门让计算机能够从图像或视频中提取有用信息，并做出决策的学科。它通过模拟人类的视觉系统来识别、处理和理解视觉信息。主要任务：图像分类：识别图像中的物体并分类，比如猫、狗、车等。目标检测：在图像或视频中定位并识别多个对象，如人脸检测
  • 云服务业界动态简报-20180128 Captain7
    一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
  • 机器学习VS深度学习 nfgo 机器学习
    机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 深度学习-13-小语言模型之SmolLM的使用 皮皮冰燃 深度学习深度学习
    文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
  • 基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn深度学习人工智能
    基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
  • 基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn深度学习人工智能
    基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
  • 深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
    对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
  • 深度学习：怎么看pth文件的参数 奥利给少年 深度学习人工智能
    .pth文件是PyTorch模型的权重文件，它通常包含了训练好的模型的参数。要查看或使用这个文件，你可以按照以下步骤操作：1.确保你有模型的定义你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。2.加载模型权重使用PyTorch的load_state_dict方法来加载权重。这里是如何操作的：importtorchimporttorch.nnasnn#定义模型结构
  • chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGptpythonchatgptkeras计算机
    如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
  • 如何理解深度学习的训练过程 奋斗的草莓熊 深度学习人工智能pythonscikit-learnvirtualenvnumpypandas
    文章目录1.训练是干什么？2.预训练模型进行训练，主要更改的是预训练模型的什么东西？1.训练是干什么？以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗2.预训练模型进行训练，主要更改的是预训练模型的什么东西？超参数（Hyperparameters）：这是模型结构中定义的参数，比如：卷积核大小（kernel_size
  • Keras深度学习框架入门及实战指南 司莹嫣Maude
    Keras深度学习框架入门及实战指南keraskeras-team/keras:是一个基于Python的深度学习库，它没有使用数据库。适合用于深度学习任务的开发和实现，特别是对于需要使用Python深度学习库的场景。特点是深度学习库、Python、无数据库。项目地址:https://gitcode.com/gh_mirrors/ke/keras一、项目介绍Keras简介Keras是一款高级神经网络
  • 深度学习驱动的车牌识别：技术演进与未来挑战 逼子歌 深度学习车牌识别神经网络字符识别YOLO卷积神经网络
    一、引言1.1研究背景在当今社会，智能交通系统的发展日益重要，而车牌识别作为其关键组成部分，发挥着至关重要的作用。车牌识别技术广泛应用于交通管理、停车场管理、安防监控等领域。在交通管理中，它可以用于车辆识别、交通违法监控和车流统计等，提高交通管理的效率和准确性。在停车场管理中，实现车辆的自动识别和收费，提升管理和服务水平。在安防监控领域，可用于追踪嫌疑人及犯罪行为。深度学习的出现为车牌识别带来了重
  • 如何用ruby来写hadoop的mapreduce并生成jar包 wudixiaotie mapreduce
    ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 1.安装rvm：     不说了 网上有 2.安装ruby：     由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 3.安装jruby：     rvm install jruby然后等待安
  • java编程思想 -- 访问控制权限 百合不是茶 java访问控制权限单例模式
    访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问   一:包访问权限;   自定义包: package com.wj.control; //包 public class Demo { //定义一个无参的方法 public void DemoPackage(){ System.out.println("调用
  • [生物与医学]请审慎食用小龙虾 comsci 生物
         现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡.....      所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质     
  • org.apache.jasper.JasperException: Unable to compile class for JSP: 商人shang maven2.2jdk1.8
    环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即     <plugin>
  • 你的垃圾你处理掉了吗?GC oloz GC
    前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 1.垃圾收集算法的核心思想 　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
  • shiro 和 SESSSION 杨白白 shiro
    shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
  • 移动互联网终端 淘宝客如何实现盈利 小桔子 移動客戶端淘客淘寶App
           2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
  • wordpress小工具制作 aichenglong wordpress小工具
    wordpress 使用侧边栏的小工具，很方便调整页面结构 小工具的制作过程 1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 <?php class AWP_Post_Category extends WP_Wi
  • JS微信分享 AILIKES js
    // 所有功能必须包含在 WeixinApi.ready 中进行    WeixinApi.ready(function(Api) {        // 微信分享的数据            var wxData = {       &nb
  • 封装探讨 百合不是茶 JAVA面向对象 封装
    //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性   在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用   例如   1： //属性 将其设为私有 姓名 name 可以公开
  • jquery radio/checkbox change事件不能触发的问题 bijian1013 JavaScriptjquery
    我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  <html> <head> <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
  • AngularJS中安全性措施 bijian1013 JavaScriptAngularJS安全性XSRFJSON漏洞
            在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 一.JSON漏洞         当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
  • [Maven学习笔记九]Maven发布web项目 bit1129 maven
    基于Maven的web项目的标准项目结构 user-project     user-core     user-service     user-web        src      
  • 【Hive七】Hive用户自定义聚合函数(UDAF) bit1129 hive
    用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？   Double evaluate(Double a, Double b)  
  • 通过 nginx-lua 给 Nginx 增加 OAuth 支持 ronin47
    前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： &n
  • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法 bsr1983 session
    在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。 在 tomcat-redis-session-manager的github上有如下说明： Session Change Tracking As noted in the &qu
  • 《代码大全》表驱动法-Table Driven Approach-1 bylijinnan java算法
    关于Table Driven Approach的一篇非常好的文章： http://www.codeproject.com/Articles/42732/Table-driven-Approach package com.ljn.base; import java.util.Random; public class TableDriven { public
  • Sybase封锁原理 chicony Sybase
           昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
  • java异常处理机制 CrazyMizzz java
    java异常关键字有以下几个，分别为 try catch final throw throws 他们的定义分别为 try：    Opening exception-handling statement. catch：  Captures the exception. finally： Runs its code before terminating
  • hive 数据插入DML语法汇总 daizj hiveDML数据插入
    Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
  • 工厂设计模式 dcj3sjt126com 设计模式
      使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。 工厂模式 工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。 Example #1 调用工厂方法（带参数） <?phpclass Example{ 
  • mysql字符串查找函数 dcj3sjt126com mysql
      FIND_IN_SET(str,strlist) 假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
  • jvm内存管理 easterfly jvm
    一、JVM堆内存的划分 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 年老代满了之后会执行major gc，这个是stop the word模式，执行
  • CentOS-6.3安装配置JDK-8 gengzg centos
    JAVA_HOME=/usr/java/jdk1.8.0_45 JRE_HOME=/usr/java/jdk1.8.0_45/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
  • 【转】关于web路径的获取方法 huangyc1210 Web路径
    假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
  • php里获取第一个中文首字母并排序 远去的渡口 数据结构PHP
    很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： Array ( [0] => Array ( [sid] => 2885842 [recetcstoredpay] =&g
  • java内部类 hm4123660 java内部类匿名内部类成员内部类方法内部类
         　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。      &nb
  • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten zhb8015
    maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。   maven pom:   <dependency> <groupId>org.hibernate</groupId> <ar
  • Spark 性能相关参数配置详解－任务调度篇 Stark_Summer sparkcachecpu任务调度yarn
    随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。   由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
  • css3滤镜 wangkeheng htmlcss
    经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 html代码： <a href='' class='icon'><img src='utv.jpg' /></a> css代码： .icon{-webkit-filter: graysc
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他