韩师兄_
韩师兄_

win10下yolov6 tensorrt模型部署

  • TensorRT系列之 Win10下yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov5 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolox tensorrt模型加速部署

  • TensorRT系列之 Linux下 u2net tensorrt模型加速部署

  • 更多（点我进去）…

    文章目录

    • 一、YOLOv6简介
    • 二、Win10 TensorRT环境配置
      • 2.1 安装VS2019
      • 2.2 安装库
        • 2.2.1 安装Nvidia显卡驱动
        • 2.2.2 安装 cuda11.2
        • 2.2.3 安装 cudnn8.2.1
        • 2.2.4 下载 tensorrt8.4.2.4
        • 2.2.5 OpenCV4.5.5安装
      • 2.3 创建属性表
        • 2.3.1 创建OpenCV属性表
        • 2.3.2 创建TensorRT属性表
        • 2.3.3 创建CUDA属性表
        • 2.3.4 新建工程与设置
          • 2.3.4.1 新建vs工程
          • 2.3.4.2 vs2019工程设置
    • 三、从yolov6源码中导出onnx文件
    • 四、利用tensorrt编译onnx模型
    • 五、编译执行yolov6-tensorrt工程
    • 六、结束语

yolov6 tensorrt cuda模型推理加速部署TensorRT-Alpha《YunNan-Stree》

一、YOLOv6简介

YOLOv6是美团发布的检测算法，在最新版本中，YOLOv6主要更新了如下几个方面：

  • 发布了移动端轻量级模型YOLOv6Lite，这个模型更适用于移动端的应用场景，同时保持了较高的精度和速度平衡。

  • 发布了新的模型YOLOv6-Face，这是专门为人脸检测任务设计的模型，能够更准确地检测和识别人脸。

  • 优化了模型的性能和准确度，提高了模型的稳定性和鲁棒性。

  • 修复了一些已知的问题，提升了用户体验。

    此外，根据官方发布的信息，新版本的YOLOv6在各个模型大小（nano, tiny, small, medium, large）上都取得了较高的目标检测精度。例如，YOLOv6-nano在COCO val2017数据集上达到了35.0 mAP，YOLOv6-s在同样的数据集上达到了43.1 mAP。这些改进都大大增强了YOLOv6在各种应用场景中的实用性。


    本文提供深度学习CV领域模型加速部署案例，仓库实现的cuda c支持多batch图像预处理、推理、decode、NMS。大部分模型转换流程为：torch->onnx->tensorrt。下图左边是yolov6-python源码推理结果，右边是本文基于tensorrt实现yolov6模型部署的推理结果。
    win10下yolov6 tensorrt模型部署_第1张图片

    yolov6s : Offical( left ) vs Ours( right ）

有源码！有源码！有源码！ 不要慌，哈哈哈。

在这里插入图片描述

二、Win10 TensorRT环境配置

三步解决win环境配置：

  • 1、安装vs2019、Nvidia驱动、cuda，cudnn、opencv、tensorrt；
  • 2、创建属性表；
  • 3、工程设置，运行；
  • 注：一定是先安装vs2019，再安装cuda，顺序不能颠倒，因为cuda会自动给vs2019安装插件。
    问题：windows环境下，为什么使用vs2019属性表，而不用cmake？
    回答：因为属性表可以做到：一次创建，到处使用。

2.1 安装VS2019

需要Microsoft账号，如果您有别的途径下载安装也可以。

  • 进入：https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/
  • 选择：[2019] -> [下载]
  • 在新页面选择： Visual Studio Community 2019 (version 16.11)
  • 下载完成之后安装过程选择如下图：
    请添加图片描述
  • 重启系统

2.2 安装库

注：Nvidia相关网站需要注册账号。

2.2.1 安装Nvidia显卡驱动

  • 进入： https://www.nvidia.cn/Download/index.aspx?lang=cn#
  • 依据实际情况选择，如下图是我的选择(for RTX3070)：
    请添加图片描述
  • 选择：[搜索]->[下载] ->[双击默认安装] -> [重启系统] -> [进入cmd]，输入如下指令：
nvidia-smi

看到如下信息表明驱动正常：
请添加图片描述

2.2.2 安装 cuda11.2

  • 进入: https://developer.nvidia.com/cuda-toolkit-archive
  • 选择：CUDA Toolkit 11.2.0 (December 2020)
  • 选择：[Windows] -> [x86_64] -> [10] -> [exe(local)] -> [Download(2.9GB)]
  • 双击安装，重启在cmd窗口输入如下指令：
nvcc -V

CMD窗口打印如下信息表示cuda11.2安装正常

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Nov_30_19:15:10_Pacific_Standard_Time_2020
Cuda compilation tools, release 11.2, V11.2.67
Build cuda_11.2.r11.2/compiler.29373293_0

note:cuda11.2 不需要手动设置环境变量，如下图，环境变量都是自动设置的。
请添加图片描述

2.2.3 安装 cudnn8.2.1

  • 进入网站：https://developer.nvidia.com/rdp/cudnn-archive
  • 选择： Download cuDNN v8.2.1 (June 7th, 2021), for CUDA 11.x
  • 选择： cuDNN Library for Windows (x86)
  • 你将会下载这个压缩包: “cudnn-11.3-windows-x64-v8.2.1.32_2.zip”
  • 解压之后，cudnn的头文件、库文件都要拷贝到cuda安装目录。
  • 如下图，进入cudnn解压所在文件夹中include，拷贝所有头文件，粘贴到CUDA/v11.2/include中
  • lib、bin中的文件也拷贝到对应cuda目录中
  • 重启系统
    请添加图片描述

2.2.4 下载 tensorrt8.4.2.4

  • 进入网站： https://developer.nvidia.com/nvidia-tensorrt-8x-download
  • 把这个打勾： I Agree To the Terms of the NVIDIA TensorRT License Agreement
  • 选择: TensorRT 8.4 GA Update 1
  • 选择: TensorRT 8.4 GA Update 1 for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 ZIP Package
  • 你将会下载这个压缩包: “TensorRT-8.4.2.4.Windows10.x86_64.cuda-11.6.cudnn8.4.zip”
  • 解压到F:\ThirdParty，并重命名为：TensorRT-8.4.2.4
  • 并将路径"F:\ThirdParty\TensorRT-8.4.2.4\lib"添加到环境变量，如下图：
  • 重启系统
    请添加图片描述

2.2.5 OpenCV4.5.5安装

  • 进入：https://opencv.org/releases/
  • 选择：[OpenCV – 4.5.5] -> [Windows]
  • 下载完成之后，是一个exe的自解压格式，解压到：D:\ThirdParty
  • 并将路径：“D:\ThirdParty\opencv4.5.5\build\bin” 和 "D:\ThirdParty\opencv4.5.5\build\x64\vc15\bin"添加到环境变量，如下图：
  • 重启系统
    note：我的opencv在D盘，tensorrt在E盘，根据实际情况修改就行了。
    请添加图片描述

2.3 创建属性表

一般地，Visual Studio 2019，一个库对应两个属性表文件，分别对应：vs2019的debug模式和release模式，例如：本文中OpenCV创建了这两种。而TensorRT和CUDA只需要创建一种属性表(适用以上两种模式)。

2.3.1 创建OpenCV属性表

创建opencv库debug属性表：

  • step1：基于VS2019随便新建一个C++项目，如下图，项目设置为Debug、X64模式
    请添加图片描述
  • step2：如下图，选择：[属性窗口] -> [右击Debug|x64] -> [添加新项目属性表]
    请添加图片描述
  • step3：文件命名为：OpenCV4.5.5_DebugX64.props -> [添加]
  • 编辑属性表：[如下图：双击属性表]
    请添加图片描述
  • step4：如下图，选择：[通用属性] -> [VC++目录] -> [包含目录] -> [编辑]
    请添加图片描述
  • step5：如下图，将两个OpenCV两个头文件目录拷贝进去 -> [确认]
    请添加图片描述
  • step6：选择：[通用属性] -> [VC++目录] -> [库目录] -> [编辑] -> 将路径："D:\ThirdParty\opencv4.5.5\build\x64\vc15\lib"拷贝进去 -> [确认]
  • step7：选择：[通用属性] -> [链接器] -> [输入] -> [附加依赖项] -> 将文件名"opencv_world455d.lib"拷贝进去->[确认]
    小结：

    到这里，opencv库debug属性表制作完成，release属性表和上述流程一样，唯一区别在于，如下图，项目切换到Release x64模式，新建OpenCV4.5.5_ReleaseX64属性表，然后在step7中，将文件名修改为：“opencv_world455.lib”
    请添加图片描述
    请记住，制作属性表就3个步骤：
  • 拷贝include路径
  • 拷贝lib路径，外加设置dll到系统环境变量
  • 拷贝lib文件名称

2.3.2 创建TensorRT属性表

右击Debug|x64 or 右击Release|x64新建属性表，重命名为：TensorRT8.4.2.4_X64，

# include路径
F:\ThirdParty\TensorRT-8.4.2.4\include
F:\ThirdParty\TensorRT-8.4.2.4\samples\common
# F:\ThirdParty\TensorRT-8.4.2.4\samples\common\windows # 这个路径文件不需要包含
# lib路径
F:\ThirdParty\TensorRT-8.4.2.4\lib
# lib文件名称（for release& debug）
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib

依照上一节3个步骤：

  • step1：选择：[通用属性] -> [VC++目录] -> [包含目录] -> [编辑] -> 把上述3个include路径拷贝进去
  • step2：选择：[通用属性] -> [VC++目录] -> [库目录] -> [编辑] -> 把上述lib路径拷贝进去
  • step3：选择：[通用属性] -> [链接器] -> [输入] -> [附加依赖项] -> [编辑] -> 将上述lib文件名称拷贝进去->[确认]
    最后，修改tensorrt属性表：[通用属性] -> [C/C++] -> [预处理器] -> [预处理器定义] -> 添加指令：_CRT_SECURE_NO_WARNINGS -> [确认]

2.3.3 创建CUDA属性表

CUDA属性表直接白嫖官方，在路径：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.2.props

最后，我们应该有了如下属性表文件：
请添加图片描述
其中，cuda 和tensorrt的属性表同时兼容release x64 和debug x64，你再新建TensorRT-Alpha中yolov8 yolov7 yolov6 等项目后，只需要把上述提前做好的属性表引入到工程就行了，当然项目还需要进行简单设置(设置NVCC，避免tensorrt的坑)，在后文提到。属性表做到了一次新建，到处使用。

2.3.4 新建工程与设置

这一节演示如何新建vs工程，如何设置工程，是通用方法。适用于仓库所有模型源码。

2.3.4.1 新建vs工程

如下图，打开vs2019，点击：文件 -> 新建-> 项目。
请添加图片描述
选择：空项目 -> 下一步。
在这里插入图片描述
选择创建。
在这里插入图片描述
如下图，现在将工程设置为：Release X64。
在这里插入图片描述

2.3.4.2 vs2019工程设置

如下图，选择：属性管理器 -> Release | x64 -> 添加现有属性表，把上一节生成的三个RleaseX64属性表添加进来。
在这里插入图片描述
添加进来后样子如下图：
在这里插入图片描述
TensorRT项目包含c++和cuda c代码，通俗讲，c++代码文件格式为：

  • .h头文件
  • .cpp文件
  • 由c++编译器编译
    而cuda代码头文件格式为：
  • .h头文件
  • .cu文件
  • 由NVCC编译器编译
    例如：我们添加如下图5个文件，在工程中。
    在这里插入图片描述
    添加CUDA依赖：右击项目 -> 生成依赖项 -> 生成自定义
    在这里插入图片描述
    将如下图CUDA11.2打钩 -> 确认
    在这里插入图片描述
    右击项目 -> 属性，将会打开如下界面，将字符集设置为未设置，点击确认。
    在这里插入图片描述
    最后，在项目中，同时选中所有.cu文件和对应的.h文件，注意是所有。我这里就是a.h 和 a.cu文件了。然后右击 -> 点属性。
    【注】：在tensorrt-alpha开源项目中，例如yolov8，会添加多个.cu .cpp .h格式文件，其中.cu和对应的.h文件都是这样设置，目的就是让NVCC编译器来编译cuda代码。
    在这里插入图片描述
    得到如下界面，我们把项类型设置为CUDA C/C++，点击确认。
    在这里插入图片描述
    然后编译一下：
    在这里插入图片描述
    编译成功如下图：
    在这里插入图片描述

三、从yolov6源码中导出onnx文件

可以直接从网盘下载onnx文件[weiyun]:weiyun or google driver ，你也可以自己下载仓库，然后按照下面指令手动导出onnx文件，下载yolov6源码：

# 下载yolov6源码
git clone https://github.com/meituan/YOLOv6
# 切换版本为6.3.0
git checkout  0.3.0

安装 yolov6环境

pip install -r requirements.txt

命令行进入yolov6源码根目录，用以下指令导出onnx模型文件

# 640
python ./deploy/ONNX/export_onnx.py --weights yolov6n.pt  --img 640 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6s.pt  --img 640 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6m.pt  --img 640 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6l.pt  --img 640 --dynamic-batch  --simplify
# 1280
python ./deploy/ONNX/export_onnx.py --weights yolov6n6.pt  --img 1280 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6s6.pt  --img 1280 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6m6.pt  --img 1280 --dynamic-batch  --simplify
python ./deploy/ONNX/export_onnx.py --weights yolov6l6.pt  --img 1280 --dynamic-batch  --simplify

四、利用tensorrt编译onnx模型

将上一个章节中导出onnx模型放到任意路径。进入到tensorrt根目录下bin文件里，里面有个tensorrt官方提供的模型编译工具，即：trtexec.exe 如下图：
在这里插入图片描述
然后使用，以下指令编译onnx模型，需要注意：参数 --onnx 和 --saveEngine 可以设置为自定义路径，例如：

 --onnx=d:/Data/xxx.onnx  --saveEngine=d:/Data/xxx.trt 

# 640
./trtexec.exe   --onnx=yolov6n.onnx   --saveEngine=yolov6n.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
./trtexec.exe   --onnx=yolov6s.onnx   --saveEngine=yolov6s.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
./trtexec.exe   --onnx=yolov6m.onnx   --saveEngine=yolov6m.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
./trtexec.exe   --onnx=yolov6l.onnx   --saveEngine=yolov6l.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
# 1280
./trtexec.exe   --onnx=yolov6n6.onnx   --saveEngine=yolov6n6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280
./trtexec.exe   --onnx=yolov6s6.onnx   --saveEngine=yolov6s6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280
./trtexec.exe   --onnx=yolov6m6.onnx   --saveEngine=yolov6m6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280
./trtexec.exe   --onnx=yolov6l6.onnx   --saveEngine=yolov6l6.trt  --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280

注：如果报错（Error Code 1: Cuda Runtime (an illegal memory access was encountered “bool context = m_context->executeV2((void**)bindings)” returns false）
可能是爆显存了，降低batch-size就行了

五、编译执行yolov6-tensorrt工程

下载源码并编译

git clone https://github.com/FeiYull/tensorrt-alpha

仿造 2.3.4 新建工程与设置 中新建、设置vs2019工程；其中，yolov6需要将如下图多个文件添加到工程中：

  • 红色框内文件来自TensorRT-Alpha/utils/
  • 蓝色框内文件来自TensorRT-Alpha/yolov6/
  • 绿色框内文件来自TensorrRT安装路径下：TensorRT-8.4.2.4.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.2.4\samples\common\logger.cpp
    win10下yolov6 tensorrt模型部署_第2张图片
    如下图，yolov6项目编译成功，从下面编译信息可以看到，exe文件所在路径为：
  • D:\my_code_trt\TensorRT-Alpha-VS2019\TensorRT-Alpha\x64\Release\yolov6.exe
已启动生成…
1>------ 已启动生成: 项目: yolov6, 配置: Release x64 ------
1>正在生成代码
1>0 of 1033 functions ( 0.0%) were compiled, the rest were copied from previous compilation.
1>  0 functions were new in current compilation
1>  0 functions had inline decision re-evaluated but remain unchanged
1>已完成代码的生成
1>yolov6.vcxproj -> D:\my_code_trt\TensorRT-Alpha-VS2019\TensorRT-Alpha\x64\Release\yolov6.exe
========== 生成: 成功 1 个，失败 0 个，最新 0 个，跳过 0 个 ==========

以下是命令行执行指令，需要说明的是执行推理任务，支持图片、视频、摄像头

## 640
# infer image
./app_yolov6.exe  --model=../../data/yolov6/yolov6n.trt --size=640  --batch_size=1  --img=../../data/6406401.jpg  --show --savePath=../
# infer video
./app_yolov6.exe  --model=../../data/yolov6/yolov6n.trt     --size=640 --batch_size=2  --video=../../data/people.mp4  --show 
# infer camera
./app_yolov6.exe  --model=../../data/yolov6/yolov6n.trt     --size=640 --batch_size=2 --cam_id=0  --show
## 1280
# infer video
./app_yolov6.exe  --model=../../data/yolov6/yolov6s6.trt --size=1280  --batch_size=2  --video=../../data/people.mp4  --savePath=../

这里给个示范，例如我要在命令行使用yolov6推理一张图：

.\yolov6.exe --model=D:/ThirdParty/TensorRT-8.4.2.4/bin/yolov6s.trt --size=640  --batch_size=1  --img=d:/Data/2.jpg  --show --savePath=d:/

效果如下图：

下面是yolov6推理视频效果，可以自己玩一玩：

yolov6 tensorrt cuda模型推理加速部署TensorRT-Alpha《YunNan-Stree》

六、结束语

都看到这里了，觉得可以请点赞收藏，有条件的去仓库点个star，仓库：https://github.com/FeiYull/tensorrt-alpha
在这里插入图片描述

你可能感兴趣的:(TensorRT-Alpha,YOLO高级篇,YOLO,目标检测,c++,python,计算机视觉,windows)

  • 【数据集】——1 花花 Show Python pyecharts—从0到精通信息可视化数据分析python
    解锁数据可视化的魔法钥匙——pyecharts实战指南在这个数据为王的时代，每一次点击、每一次交易、每一份报告背后都隐藏着无尽的故事与洞察。但你是否曾苦恼于如何将这些冰冷的数据转化为直观、吸引人的视觉盛宴？欢迎来到《pyecharts图形绘制大师班》在这里，你将不再受限于单调的表格和图表，而是学会如何运用pyecharts这一强大的Python数据可视化库，将复杂的数据转化为令人惊叹的交互式图形。
  • C#使用实体类Entity Framework Core操作mysql入门：从数据库反向生成模型2 处理连接字符串 初级代码游戏 dotnet和C#数据库mysqlEntityFramework
    初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C++的，可以在任何平台上使用。源码指引：github源码指引_初级代码游戏的博客-CSDN博客本文接上一篇：C#使用实体类EntityFrameworkCore操作mysql入门：从数据库反向生成模型-C
  • python的subprocess模块 weixin_34075551 shellpython
    subprocess模块是python从2.4版本开始引入的模块。主要用来取代一些旧的模块方法，如os.system、os.spawn*、os.popen*、commands.*等。subprocess通过子进程来执行外部指令，并通过input/output/error管道，获取子进程的执行的返回信息。常用方法：subprocess.call()：执行命令，并返回执行状态，其中shell参数为Fa
  • 2018.9月Flutter优质开源项目 weixin_34408624 移动开发python
    2019独角兽企业重金招聘Python工程师标准>>>2018.9月Flutter优质开源项目转载于:https://my.oschina.net/coderminer/blog/2218697
  • Python计算【15】 sakura_sea 物理数学与计算python
    文章目录t分布理论基础python参考文献t分布理论基础通常用于样本量较小或总体标准差未知的情况下，进行假设检验和构建置信区间。t分布是一类对称且形状接近正态分布的概率分布，随自由度（(df)）的增加逐渐趋近于标准正态分布。t=Xˉ−μS/n
  • 深入理解Python中的subprocess模块 一休哥助手 pythonpython网络
    目录subprocess模块简介常用函数执行外部命令管道通信子进程管理错误处理实际应用示例最佳实践subprocess模块简介
  • Python subprocess模块总结 bytxl python与GAE
    subprocess最简单的用法就是调用shell命令了,另外也可以调用程序,并且可以通过stdout,stdin和stderr进行交互。subprocess的主类复制代码代码如下:subprocess.Popen(args,bufsize=0,executable=None,stdin=None,stdout=None,stderr=None,preexec_fn=None,close_fds=
  • 汉字编码原则及0XA1与0X80代表的含义。（汉字编码原则为转发） 爱吃甜食_ C++C++基础细节
    字符串转GB2312编码后，若码值小于0XA1，则表示这不是一个汉字。字符串转GB2321编码后，若高位码值小于0X80，则表示此字符串不是由两个部分拼接而成。（Windows中，中文简体字符集的编码是同时用1个字节和2个字节来表示的。当高位是0x00～0x7f时，为一个字节，高位为0x80以上时用2个字节表示）网上得到字符串对应的编码都是直接转unsignedchar，若是使用UNICODE，则
  • Python——Pickle库 Devin01213
    pickle是python语言的一个标准模块，安装python后已包含pickle库，不需要单独再安装。那么为什么需要序列化和反序列化这一操作呢？1.便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中，当需要读取文件的时候，从硬盘中读取数据，然后再将其反序列化便可以得到原始的数据。在Python程序运行中得到了一些字符串、列表、字典等数据，想要长久的保存下来，方便以后
  • Pathlib操作文件IN Python Louis yeap pythonpython开发语言pathlib文件
    系列文章目录文章目录目录系列文章目录文章目录前言一、Pathlib是什么？二、使用步骤前言pathlib是Python标准库中用于操作文件和目录路径的模块，自Python3.4起引入。它提供了一种面向对象的方式处理路径，使路径操作更加简洁、可读和跨平台。pathlib取代了传统模块如os.path和部分shutil的功能，成为推荐的路径操作工具。一、Pathlib是什么？pathlib是Pytho
  • Async协程保姆级教学 Louis yeap python大数据python开发语言协程async
    目录编辑前言二、Async协程使用步骤1.导入标准库2.协程三、协程的应用场景1.网络IO2.数据库IO3.文件IO4.异步任务调度5.Web服务6.设备和串口IO7.队列和管道总结前言介绍：Python协程的概念源于生成器（Generator）。但它通过asyncio和事件循环，进一步扩展了生成器的功能，从而支持异步非阻塞操作。允许程序在执行过程中暂停（挂起），然后在需要时恢复运行。与传统的线程
  • 垃圾回收机制 Louis yeap 算法pythongo
    系列文章目录文章目录目录系列文章目录文章目录前言一、垃圾回收算法二、golang垃圾回收算法三、python垃圾回收算法前言垃圾回收（GarbageCollection,GC）是一种自动管理内存的技术，用于动态分配内存的编程语言中。当程序运行时，会创建大量的对象和变量，这些对象占用内存。在程序的某些阶段，一些对象不再被需要，或者不再被引用，这些对象占用的内存就可以被释放，以便其他对象使用。垃圾回收
  • 计算机视觉：解锁未来智能的钥匙及其代码实践 我的运维人生 计算机视觉人工智能运维开发技术共享
    计算机视觉：解锁未来智能的钥匙及其代码实践在当今这个数据爆炸的时代，计算机视觉作为人工智能的一个重要分支，正以前所未有的速度推动着科技的边界。它不仅让机器“看懂”世界，更在自动驾驶、医疗影像分析、智能制造、安防监控等众多领域展现出巨大的应用潜力。本文将深入探讨计算机视觉的核心技术、最新进展，并通过一个具体的代码案例，展示如何在实践中应用这些技术，旨在为读者提供一个理论与实践相结合的全面视角。一、计
  • python pickle 模块的使用 weixin_30305735 pythonjson数据结构与算法
    用于序列化的两个模块json：用于字符串和Python数据类型间进行转换pickle:用于python特有的类型和python的数据类型间进行转换json提供四个功能：dumps,dump,loads,loadpickle提供四个功能：dumps,dump,loads,loadpickle可以存储什么类型的数据呢？所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
  • Python中Pickle库 SteveKenny Pythonpython开发语言后端
    文章目录简介函数dumpsloadsdumpload简介Python中有个序列化过程叫作pickle，它能够实现任意对象与文本之间的相互转化，也可以实现任意对象与二进制之间的相互转化。也就是说，pickle可以实现Python对象的存储及恢复。pickle模块的应用很简单，只有四个方法dumps()：将Python中的对象序列化成二进制对象，并返回loads()：读取给定的二进制对象数据，并将其转
  • 《向量数据库指南》——MoE应用：解锁深度学习新境界的钥匙 大禹智库 《实战AI智能体》《向量数据库指南》深度学习人工智能向量数据库大禹智库低代码MoE模型
    在深度学习的广阔天地里，混合专家（MoE）模型如同一把锐利的钥匙，正逐步解锁着各种复杂应用场景的新境界。作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者，我深感MoE模型在推动AI技术向前发展中所扮演的重要角色。今天，我将带大家深入探讨MoE模型在自然语言处理、计算机视觉以及多模态学习等领域的应用，并巧妙引导大家通过《向量数据库指南》获取更多干货和深度实战经验。一、自然语言处理
  • AcWing-789. 数的范围-【二分】【小数二分】 superkcl2022 #AcWing数据结构二分法
    文章目录题目C++自定义二分小数二分题目给定一个按照升序排列的长度为n的整数数组，以及q个查询。对于每个查询，返回一个元素k的起始位置和终止位置（位置从0开始计数）。如果数组中不存在该元素，则返回-1-1。输入格式第一行包含整数n和q，表示数组长度和询问个数。第二行包含n个整数（均在1∼10000范围内），表示完整数组。接下来q行，每行包含一个整数k，表示一个询问元素。输出格式共q行，每行包含两个
  • python中的序列化 fate252 Pythonpython序列化picklejson
    序列化（picking）把不方便存储或不可传输的对象转换为可存储或可传输的数据的过程称之为序列化。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把从磁盘或网络得到的序列化数据重建为对象的过程称之为反序列化（unpickling）。序列化和反序列化实际是为了通用存储或传输而编码和解码的过程。举例：网络游戏mabi洛奇的存档功能，当每次不想玩的时候就可以存档到服务器
  • Rust：高性能与安全并行的编程语言 大梦百万秋 知识学爆python开发语言
    引言在现代编程世界里，开发者面临的最大挑战之一就是如何平衡性能与安全性。在许多情况下，C/C++这样的系统级编程语言虽然性能强大，但其内存管理的复杂性导致了各种安全漏洞。为了解决这些问题，Rust作为一种新的系统级编程语言进入了人们的视野。Rust不仅保留了C/C++的高效性能，同时引入了强大的内存管理机制，确保了内存安全。今天的这篇博客将深入介绍Rust的核心特性，并探讨为什么Rust是未来高效
  • Selenium自动化测试框架 入门与使用 Future_yzx selenium测试工具
    目录1.Selenium简介2.使用Selenium2.1Java使用Selenium2.2Python使用Selenium2.3支持的浏览器及WebDriver3.ChromeDriver的安装3.1查看本机Chrome版本3.2匹配对应的ChromeDriver并下载3.3配置ChromeDriver路径3.4在服务器（如CentOS）上安装ChromeJava中使用Selenium的代码示例
  • python selenium清除缓存_python 解决selenium 中的 .clear()方法失效问题 许吴倩 pythonselenium清除缓存
    最近在使用selenium做一个数字货币的自动化脚本时，遇到一个问题就是okex网站的input使用clear()方法居然无法清空，但是后来试了好多次发现方法是可以使用的，而且这个网站修改input的value也没用，必须在文本框里修改才行，本次的目的就是要清除输入框的默认值，然而clear()没有反应，最后还是用了别的方法解决了问题，那就是使用鼠标双击事件，全选后输入内容。fromseleniu
  • Django SimpleUI运维管理系统搭建教程 ivwdcwso 开发运维sqlite数据库DjangoSimpleUIDjangopython开发
    DjangoSimpleUI运维管理系统搭建教程本教程将详细介绍如何从零搭建一个基于DjangoSimpleUI的运维管理系统。一、环境准备1.安装Python和相关依赖#安装Python3.8+sudoaptinstallpython3.8python3.8-dev#安装虚拟环境pip3installvirtualenv#创建并激活虚拟环境virtualenvvenvsourcevenv/bin
  • Robot Framework 测试总结 Change is good 测试框架和工具robotframework
    在2014年结识robotframework，缘于一个偶然的机会。一个测试前辈推荐了robotframework。Robotframework是python语言的测试框架。简单的看了一下介绍，觉得不错，很适合新手入门。而且测试部门的领导也很支持引入开源的自动化测试工具。RobotFramework是一个开源的测试自动化框架，用于验收测试和验收测试驱动开发。它遵循不同的测试用例样式——关键字驱动、行
  • python-unittest-selenium执行用例实例/执行多个用例 Change is good pythonpythonselenium开发语言
    我们在做selenium测试的时候呢，经常会碰到一些需要执行多个用例的情况，也就是多线程执行py程序，我们前面讲过单个的py用例怎么执行和生产html报告，下面给大家介绍下多个用例怎么执行并自动生成html报告。一、写好每个测试用例，如我_register/_boot/_check/_buy/_longin/，我这里写了六条用例，当然每个用例下还是有分支的测试点。上面是一个例子，其他的不截图出来了
  • python 连接数据库之jaydebeapi SmartManWind
    让python通过jdbc连接数据库1、安装visualcppbuildtools_full.exe链接：https://pan.baidu.com/s/1MLxNJfWNGuKIxgNYkJgUnw密码：3etc2、pipinstallJayDeBeApihttps://pypi.org/project/JayDeBeApi/3、测试代码importjaydebeapiurl='jdbc:ora
  • selenium clear（）方法清除文本框内容 Change is good seleniumpython测试工具
    在使用Selenium进行Web自动化测试时，清除文本框内容是一个常见的需求。这可以通过多种方式实现，取决于你使用的是哪种编程语言（如Python、Java等）以及你的具体需求。以下是一些常见的方法：1.使用clear()方法clear()方法是Selenium提供的一个非常直接的方法来清除文本框的内容。这个方法会删除文本框中的所有内容，并将其设置为空字符串。python：fromselenium
  • conda创建新虚拟环境——从无到有 S.T.A.R. 深度学习tensorflowanaconda
    自己租的GPU最近有点鱼的记忆，base配什么环境自己都忘了，所以自己开始学习如何创建并且配置一个新环境，当然这一切建立在andonate3安装完的前提下自己的配置：Linux系统，Xshell编译器创建环境condacreate-nyourEnvnamepython=3.6激活环境condaactivateyourEnvname就可以看到命令行的base换成了你的环境名可以开始installco
  • python 分布式集群_Python搭建Spark分布式集群环境 小国阁下 python分布式集群
    前言ApacheSpark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark最大的特点就是快，可比HadoopMapReduce的处理速度快100倍。本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。本教程采用Spark2.0以上版本(比如Spark2.0.2、Spark2.1.0等)搭建集群，同样适用于搭建Spark1.6.2
  • 【Python数据分析】Pandas_Series如何转变为DataFrame Root_Smile 【Python数据分析】python数据分析pandas
    1.使用pd.DataFrame()构造函数可以使用pd.DataFrame()构造函数将Series转换为DataFrame。在构造函数中，将Series作为一个列传递给DataFrame，并且可以通过指定列名来为DataFrame的列命名。代码示例：importpandasaspddata=[10,20,30,40,50]index=['A','B','C','D','E']series=pd
  • miniforge选择 躺平小菜菜 python
    一、介绍说明Miniforge是一款Python环境和包管理工具，相比Anaconda，推荐使用Miniforge的原因主要有以下三个方面。首先，miniforge集成了Anaconda的核心工具：conda。conda是一个包和环境管理工具，因此，miniforge里面的conda和Anaconda里面的conda完全一样；你能用Anaconda做的安装、升级、删除包等功能，miniforge都
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他