zyw2002
zyw2002

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境

文章目录

  • 版本说明
    • 版本信息汇总
    • 版本制约关系
      • CUDA驱动及CUDA Toolkit最高对应版本
      • cuda 和cudnn 的版本匹配
      • CUDA Toolkit和PyTorch对应版本
      • tensorflow-gpu 与cudnn、cuda、python的匹配
  • 一. 服务器购买和配置
  • 二、安装显卡驱动
    • 2.1 自动安装方式
    • 2.2 手动安装方式
    • 2.3 debug记录
  • 三、安装cuda
    • 3.1 安装cuda
    • 3.2 配置cuda相关的环境变量
    • 3.3 不同cuda版本间的切换
  • 四、安装cudnn
  • 五、安装Anaconda
  • 六. 安装pytorch和Tensorflow
    • 6.1 创建虚拟环境
    • 6.2 安装pytorch
    • 6.3 安装tesorflow
    • 6.4 安装下载其他第三方库
    • 6.5 安装cmake-3.15.3
  • 七、安装spconv
    • 7.1 安装sponv
    • 7.2 debug记录
  • 八、安装OpenPCDet
  • 九、安装open3d

版本说明

版本信息汇总

本篇博客安装的版本信息汇总如下表

名称 版本 查看命令
服务器 腾讯云GPU计算型GN7, 8核32G
Ubuntu18.04
python 3.7.13 python -V
CUDA Driver API 418.39 nvidia-smi
CUDA Runtime API 10.1 nvcc -V
cudnn 7.6.5 cat /usr/local/cuda/include/cudnn.h
torch 1.7.1+cu101 import torch; print(torch.__version__); print(torch.cuda.is_available())
torchvision 0.8.2+cu101 import torchvision; print(torchvision.__version__);
torchaudio 0.7.2 import torchaudio;print(torchaudio.__version__)
cmake 3.15.3 cmake --version
spconv 1.2.1
pcdet
vtk 8.1.2
open3d 0.9.0

版本制约关系

CUDA驱动及CUDA Toolkit最高对应版本

在这里插入图片描述
更多匹配组合可以到cuda官网上去查看

使用nvidia-smi查询驱动版本。
例如如下图，我的driver版本是418.39, 可安装的cuda toolkit 的最高版本是10.1
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第1张图片

注：驱动是向下兼容的，其决定了可安装的CUDA Toolkit的最高版本。

cuda 和cudnn 的版本匹配

在这里插入图片描述
更多匹配组合可以到cudnn官网上去查看（一会也会在这个网站上下载cudnn）

CUDA Toolkit和PyTorch对应版本

在这里插入图片描述
更多匹配组合可以到pytorch官网上查看
如下图所示，v1.7.1表示的是pytorch版本号。
然后复制红框中的代码（对应的是cuda10.1），粘贴到终端下载。其中上面一个是cpu版本，下面一个是gpu版本（带有cu标志）
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第2张图片

tensorflow-gpu 与cudnn、cuda、python的匹配

在这里插入图片描述
更多匹配组合可以到tensorflow官网上查看

一. 服务器购买和配置

我选择腾讯云目前的主流机型GPU计算机型GN7，其中搭载一颗Tesla T4 GPU。

为啥要买服务器？ 因为我的电脑是windows系统，然后我也懒得去装双系统。其次vm上运行的ubuntu虚拟机不能装navida驱动！

在这里插入图片描述

此处一定要注意选择是GPU型的服务器！！ （博主第一次没有看清楚，买的CPU版本的云服务器，安装了半天的显卡驱动装不上，浪费了好长时间呜呜）
GPU型的服务器分为计算型和渲染型。其中渲染型主要用于3d图像渲染。计算型多适用于一般的深度学习计算等。
具体的型号选择如下表腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第3张图片

二、安装显卡驱动

腾讯云官网教程

2.1 自动安装方式

强烈推荐这个方法！！ ( 本人因为忘记选择自动安装,被迫又手动安装了一遍wuwu,详见方法2.2)
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第4张图片

2.2 手动安装方式

  • 执行以下命令，并输入 root 用户密码，切换至 root 用户。
su
  • 执行以下命令，查看当前系统中是否已安装 dkms。
dpkg -l | grep -i dkms

返回结果如下图，则表示已安装 dkms。
在这里插入图片描述

若返回结果为空，则表明未安装 dkms，执行以下命令进行安装。
apt-get install dkms

  • 前往 Official Drivers 页面，按需选择 GRID 驱动类型。
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第5张图片

这个版本选择也是个坑，，这个型号要和自己购买的云服务器上的型号对应

  • 查找结果如下，然后点击download
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第6张图片

  • 如有填写个人信息的页面可选择直接跳过，当出现以下页面时，右键单击 AGREE&DOWNLOAD 并选择菜单中的复制链接地址。如下图所示：
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第7张图片

  • 使用 wget 命令，粘贴上一步 中复制的链接地址，下载安装包。

wget https://us.download.nvidia.com/tesla/418.226.00/NVIDIA-Linux-x86_64-418.226.00.run
  • 执行以下命令，修改安装包权限。请将命令中的 xxx 替换为您实际的驱动版本号。
chmod +x NVIDIA-Linux-x86_64-418.226.00.run
  • 由于 NVIDIA 动的安装需要依赖 gcc 和 linux-kernel-headers，请依次执行以下命令，检查当前系统中是否已安装 gcc 和 kernel-devel 包。
dpkg -l | grep -i gcc
dpkg -l | grep -i linux-headers

返回结果如下，则表示已安装 gcc 和 kernel-devel。
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第8张图片
若返回结果为空，则表明未安装，执行以下命令进行安装。
sudo apt-get install gcc linux-kernel-headers

  • 执行命令安装驱动程序，根据提示进行后续操作。请将命令中的 xxx 替换为您实际的驱动版本号。
sudo sh NVIDIA-Linux-x86_64-xxxx.run --ui=none --disable-nouveau --no-install-libglvnd --dkms -s
  • 安装完成后，执行以下命令进行验证。
    nvidia-smi
    如返回信息类似下图中的 GPU 信息，则说明驱动安装成功。
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第9张图片
    从上图中可以看出，当前设备独显驱动版本为：418.39

2.3 debug记录

Linux安装NVIDIA驱动报错An NVIDIA kernel module ‘nvidia-drm‘ appears to already be loaded in your kernel…
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第10张图片

  • 解决方案：卸载旧版本，再安装新版本，以消除冲突
# 卸载旧版本
sudo nvidia-uninstall
# 重启
reboot
# 安装新版
sudo sh NVIDIA......
# 查看
nvidia-smi

三、安装cuda

3.1 安装cuda

  • 选择合适的cuda版本
    根据前两步的查询结果安装对应版本的CUDA。独显驱动版本为：435.21，根据下表可以看出我们需要安装10.2.89以下版本的CUDA，这里我选择安装了10.1版本的CUDA
    下图的完整链接
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第11张图片
  • 下载安装包
    官网下载地址
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第12张图片
    在CUDA安装包所在的文件夹下打开终端，执行如下命令进行安装：
chmod +x ./cuda_10.1.105_418.39_linux.run
sudo ./cuda_10.1.105_418.39_linux.run

注意这个文件名，前面的cuda_10.1.105代表cuda的版本，后面的418.39代表的对应的NVIDIA驱动的版本

安装过程中在建立软链接时需要注意一下，如果你是第一次安装cuda，那么毫无疑问输入y（yes），但是如果你是安装额外版本的cuda，是否选择y（yes）就要看你的具体需求而定，简言之，就是如果你希望启用当前安装的cuda版本，就选y，如果你只是想安装这个版本，而暂时还不想启用该版本时，就选n

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第13张图片

3.2 配置cuda相关的环境变量

  • 添加环境变量
vim ~/.bashrc #修改配置文件（如果你用的是zsh，则需要修改 ~/.zshrc文件）

#在文件结尾处添加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

在这里插入图片描述

  • 保存文件并退出，然后在终端输入以下命令刷新环境变量：
    source ~/.bashrc
  • 在终端输入以下命令，如果显示下图中的结果，则说明CUDA安装成功
    nvcc -V
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第14张图片

3.3 不同cuda版本间的切换

在安装了多个cuda版本后，可以在/usr/local/目录下查看自己安装的cuda版本，如下图所示
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第15张图片
这里，cuda-10.1和cuda-11.2就是我们安装的两个cuda版本了，而cuda是一个软链接，它指向我们指定的cuda版本

sudo rm -rf cuda
sudo ln -s /usr/local/cuda-9.1 /usr/local/cuda

四、安装cudnn

  • 下载cudnn
    官方下载链接
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第16张图片

  • 解压tar zxvf cudnn-10.1-linux-x64-v7.6.5.32.tgz
    腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第17张图片

  • 下载完成后解压并进入该文件夹下，执行如下命令，进行相关文件的复制：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/ 
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ 
sudo chmod a+r /usr/local/cuda/include/cudnn.h 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

在这里插入图片描述

  • 打开终端，输入以下命令，查看CUDNN是否安装成功：
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第18张图片
依次输出7、6、5，即为CUDNN7.6.5版本。

五、安装Anaconda

  • 先安装一些必备的库
$ sudo apt-get install python3 python3-pip python3-dev git libssl-dev libffi-dev build-essential

​ - 然后从官网里面下载Anaconda的安装脚本

$ wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh

​- 然后给脚本赋予执行权限

$ chmod +x Anaconda3-2020.11-Linux-x86_64.sh

​ 然后运行安装脚本即可

$ ./Anaconda3-2020.11-Linux-x86_64.sh

这里不建议使用root权限安装，如果你自己使用的用户就不是root账户的话
这里如果出现找不到conda命令的情况可能需要手动修改shell的环境配置

$ sudo vim ~/.bashrc

​ 然后就修改为类似这样的实际安装路径

export PATH="/home/ubuntu/anaconda3/bin:$PATH"

​ 然后刷新重新运行

$ source ~/.bashrc

六. 安装pytorch和Tensorflow

6.1 创建虚拟环境

  • 创建虚拟环境openpcdet
conda create -n openpcdet python=3.7

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第19张图片

  • 进入该虚拟环境
conda activate openpcdet

在这里插入图片描述

6.2 安装pytorch

  • 方法1：运行官网命令

注：安装的是gpu版本，安装之后可以测试一下，torch是否能调用cuda。
安装命令，建议去官网复制粘贴，不容易出现cuda和torch版本不匹配的问题。

如下图，从官网上复制对应版本的命令，然后复制到终端运行。
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第20张图片

pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
  • 方法2

如果方法1比较慢的话，可以先从官网上下载轮子
官网下载地址

具体选择如下：
cu表示gpu版本的；
101表示cuda的版本是10.1；
torch-1.7.1表示torch的版本号；
cp37表示对应的python版本是3.7
linux表示安装在linux系统上。
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第21张图片
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第22张图片
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第23张图片
然后把下载好的文件通过xftp软件传输到服务器上。
腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第24张图片
切换路径到这两个whl文件所在的文件夹下，然后再pip install 文件名

pip install torch-1.7.1+cu101-cp37-cp37m-linux_x86_64.whl
pip install torchvision-0.8.2+cu101-cp37-cp37m-linux_x86_64.whl
pip install torchaudio-0.7.2-cp37-cp37m-linux_x86_64.whl

6.3 安装tesorflow

  • 安装tensorflow

如果不安装tensorflow，则无法使用tensorboard、tensorboardX这些可视化工具

我这里选择的是和cuda10.1相匹配的 tensorflow-gpu==2.2.0

pip install tensorflow-gpu==2.2.0

6.4 安装下载其他第三方库

pip install + 如下的文件名

numpy
numba
tensorboard
tensorboardX
easydict
pyyaml
scikit-image
tqdm
SharedArray
vtk==8.1.2
mayavi==4.7.3
PyQt5

6.5 安装cmake-3.15.3

先从百度网盘上下载cmake压缩包，然后上传到服务器上

cmake百度网盘下载链接：
链接：https://pan.baidu.com/s/1d4IuDzmnIWeu8Mz9pUXx5A
提取码：9unt
–来自百度网盘超级会员V4的分享

tar -xvzf cmake-3.15.3.tar.gz
cd cmake-3.15.3
./bootstrap    #执行引导文件
#该命令执行需要一定时间，请耐心等待。成功执行结束之后，末尾提示:CMake has 	#bootstrapped.  Now run make.
make
sudo make install
cmake --version
cd ..
rm -rf cmake-3.15.3  #清理安装源代码
pip install cmake==3.15.3

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第25张图片

七、安装spconv

7.1 安装sponv

  • 安装spconv
    从百度网盘上下载spconv-1.2.1,并上传到云服务器上。

spconv-1.2.1 百度网盘下载链接
链接：https://pan.baidu.com/s/1ERxzmrvinvo53Y__Wba4hg
提取码：j3o5
–来自百度网盘超级会员V4的分享

unzip spconv-1.2.1.zip
cd spconv-1.2.1
python setup.py bdist_wheel
cd dist
pip install spconv-1.2.1-cp37-cp37m-linux_x86_64.whl

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第26张图片

验证是否安装成功

python
import spconv

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第27张图片

7.2 debug记录

  • debug1

报错如下：

/usr/include/c++/7/bits/basic_string.tcc:1067:16: error: cannot call member function 
‘void std::basic_string<_CharT, _Traits, _Alloc>::_Rep::_M_set_sharable() [with _CharT = char16_t; _Traits = std::char_traits<char16_t>; _Alloc = std::allocator<char16_t>]’
 without object
       __p->_M_set_sharable();

解决办法：将/usr/include/c++/7/bits/basic_string.tcc:1067:16中

sudo gedit /usr/include/c++/7/bits/basic_string.tcc

将__p->_M_set_sharable() 改为 (*__p)._M_set_sharable()

  • debug2

报错如下：

OSError: /home/ubuntu/anaconda3/envs/openpcdet/lib/python3.7/site-packages/spconv/libspconv.so: 
undefined symbol: _ZN6caffe28TypeMeta21_typeMetaDataInstanceIdEEPKNS_6detail12TypeMetaDataEv

检查自己的pytorch版本是否安装的正确。
如果不正确，需要卸载之前的版本，安装新的pytorch版本。
然后需要重新安装spconv, 运行如下命令

pip install spconv-1.2.1-cp37-cp37m-linux_x86_64.whl  --force-reinstall

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第28张图片

八、安装OpenPCDet

  • 安装OpenPCDet
git clone https://ghproxy.com/https://github.com/open-mmlab/OpenPCDet.git
cd OpenPCDet
python setup.py develop
  • 验证pcdet是否安装成功
python 
import pcdet

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第29张图片

九、安装open3d

  • 安装open3d
conda install -c open3d-admin open3d==0.9.0
pip install open3d-python
  • 验证是否安装成功
python
import open3d

腾讯云Ubuntu18.04配置OpenPCDet深度学习环境_第30张图片

你可能感兴趣的:(#,代码实现——3D目标检测,深度学习,腾讯云,pytorch)

  • 3D UNet和Swin-UNETR 学無芷境 计算机视觉
    3DUNet和Swin-UNETR都是用于医学图像分析的深度学习网络，它们对三维（3D）数据进行特征提取和分割。3DUNet3DUNet是UNet架构的一个变体，专门设计用于处理三维医学图像数据。UNet最初是为二维（2D）图像分割任务设计的，具有典型的编码器-解码器结构。3DUNet扩展了这种架构，以便更好地处理具有深度信息的体积数据，如CT或MRI扫描。主要特点：编码器：逐渐下采样图像，提取并
  • 3DUnetCNN 项目常见问题解决方案 魏纯漫
    3DUnetCNN项目常见问题解决方案3DUnetCNNPytorch3DU-NetConvolutionNeuralNetwork(CNN)designedformedicalimagesegmentation项目地址:https://gitcode.com/gh_mirrors/3d/3DUnetCNN项目基础介绍3DUnetCNN是一个基于PyTorch的3DU-Net卷积神经网络（CNN）
  • 推荐3D UNet实现：深度学习3D体素数据语义分割的利器！ 滑辰煦Marc
    推荐3DUNet实现：深度学习3D体素数据语义分割的利器！去发现同类优质开源项目:https://gitcode.com/在这个快速发展的深度学习时代，3DUNet已经成为3D图像处理领域中不可或缺的工具，尤其在医疗影像分析和3D物体识别等任务上展现出强大的潜力。这个开源项目为我们提供了一个高效、灵活的3DUNet实现，支持Tensorflow、PyTorch和Chainer三种主流深度学习框架。
  • 3D U-Net CNN医学图像分割项目教程 尤辰城Agatha
    3DU-NetCNN医学图像分割项目教程3DUnetCNNPytorch3DU-NetConvolutionNeuralNetwork(CNN)designedformedicalimagesegmentation项目地址:https://gitcode.com/gh_mirrors/3d/3DUnetCNN1.项目介绍3DU-NetCNN是由Ellisdg开发的Python实现，专门用于医学图像
  • 目前主流游戏引擎的分析报告 游戏开发88 cocoscreatorunity游戏引擎
    前言游戏引擎之争就像编程语言之争一样，在游戏开发圈永远是一个火爆的话题，目前市面上主流的一些游戏引擎，我们来给他们做一些比较，了解他们的历史，特点,为了严谨，备注一下写这个文章的时间编写时间是2021年4月20日。目前国内主流在用的游戏引擎有,Unity,Cocos,Laya,UE4,白鹭,接下来我们一起来分析这些引擎的特点。1:国民3D引擎UnityUnity,使用C#或Lua语言开发。国民3D
  • 通过Java代码实现图片的放大和缩小
    在多模态模型的架构上，ChatGPT的绘图能力主要依赖以下几个核心组件：跨模态编码器（Cross-ModalEncoder）：跨模态编码器的作用是将文本和图像的特征进行对齐。GPT可以将用户输入的文本描述转换为文本特征表示，然后利用跨模态编码器将这些特征映射到图像特征空间。这种方式确保模型能够理解描述性语言中不同细节是如何与图像特征对应的。
  • 大数据最新医学图像分割 3D nnUNet全流程快速实现_医学图像分割步骤 2401_84182020 程序员大数据
    第一步：选择一个你能找的路径位置（这很重要），在这个位置打开终端，输入gitclonehttps://github.com/MIC-DKFZ/nnUNet.git，将nnUNet的代码下载到这个位置第二步：终端内定位到下载的nnUNet文件夹cdnnUNet，或者直接在对应位置打开终端第三步：开始安装，pipinstall-e.2数据整理2.1数据存放形式首先，nnUNet有自己的一套数据文件夹的
  • 锐捷路由器网关RG-NBR6135-E和锐捷交换机 Ruijie Reyee RG-ES224GC 电脑登录web方法 zh7314 硬件工程
    2025年1月17日22:29:35最近淘了点东西，准备在家里搞一套深度学习的服务器，先把网关和交换机搞到了锐捷路由器网关RG-NBR6135-E电脑登录web方法在拿到机器的时候，如果不是全新建议拿根牙签，差入reset5-10秒,灯光会全部闪几下，重置机器，因为有些机器会配置的ip和网段无法访问默认的web服务ip，在机器上面的默认配置单配置参考：https://baijiahao.baidu
  • 3DUnet实现3D医学影像的有效分割 Andrew_Xzw python深度学习githubopencv计算机视觉分割
    最近涉及到了3D医学影像的分割，网络上相关的实现比较少，因此进行实现记录。3DUnet实现3D医学影像的有效分割1.配置代码环境2.配置数据集以及模型文件3.训练4.预测1.配置代码环境这里介绍一个很好的开源项目，git为：https://github.com/ellisdg/3DUnetCNN.git。安装环境为：nibabel>=4.0.1numpy>=1.23.0#torch>=1.12.0
  • Android wifi热点开关代码记录 峥嵘life androidandroid
    Androidwifi热点开关代码记录一、前言wifi和热点开关的代码可以用WifiManager也可以调用ConnectivityManager的接口实现。下面记录一下。二、代码实现1、wifi开关//wifi开关publicstaticvoidsetWifiState(Contextcontext,booleanisSetWifiEnable){WifiManagermWifiManager=
  • PyTorch机器学习与深度学习技术方法 Teacher.chenchong 机器学习python开发语言
    近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。Python基础知识串讲1、Python环境搭建（Python软件下载、安装与版本选择；PyCharm下载、安装；Python之HelloW
  • 深度学习模块C2f代码详解 你是狒狒吗 目标检测人工智能计算机视觉pytorchYOLO神经网络
    C2f是一个用于构建卷积神经网络（CNN）的模块，特别是在YOLOv5和YOLOv8等目标检测模型中。这个模块是一个改进的CSP（CrossStagePartial）Bottleneck结构，旨在提高计算效率和特征提取能力。下面是对C2f类的详细解释：类定义和初始化Python复制classC2f(nn.Module):“”“FasterImplementationofCSPBottleneckw
  • python线条加粗_python 加粗 weixin_39765057 python线条加粗
    广告关闭腾讯云11.11云上盛惠，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！背景知识：docx文件的结构分为三层，1、docment对象表示整个文档；2、docment包含了paragraph对象的列表，每个paragraph对象用来表示文档中的一个段落；3、一个paragraph对象包含run对象的列表，一个run对象就是style相同的一段文本。问题描述：
  • 计算机文秘办公文员,计算机WORD文秘EXCEL文员PPT办公软件培训 Mike昊 计算机文秘办公文员
    【1】、电脑办公软件300元：Office[Word、Excel、PowerPoint]+WPS[文字、表格、演示]。【2】、平面艺术设计900元：Photoshop、CorelDRAW、Illustrator。【3】、建筑装饰设计900元：AutoCAD、3DsMAX、Vray。自由安排时间，随时可以学习，长期有效，可反复学习。————————————————————办公软件培训，办公应用培训，
  • Python 对海表面温度进行EOF分解与前n模态合成 我有一个梦想——人在家中葛优躺 pythonmatplotlib
    一、EOF分解数据来源：来自NOAA的2017-2021年0.25°×0.25°的日平均OISST数据（海表面温度数据）。关于EOF的理解：利用2017-2020年4年数据进行EOF分解，2021年1月1日的数据来做合成检验。对长度是1461的二维海表面温度数据进行分解，分解得到的时间序列一共1461组长度1461的时间序列，一共1461个二维空间模态。按照方差大小从前到后。代码实现：import
  • 华为 Ascend 平台 YOLOv5 目标检测推理教程 Lunar* 目标检测华为YOLO目标检测
    1.背景介绍随着人工智能技术的快速发展，目标检测在智能安防、自动驾驶、工业检测等领域中扮演了重要角色。YOLOv5是一种高效的目标检测模型，凭借其速度和精度的平衡广受欢迎。华为Ascend推理框架（ACL）是AscendCANN软件栈的核心组件，专为AscendAI加速硬件（如Atlas300I）设计，可实现高性能的深度学习推理。在本文中，我们将介绍如何基于华为AscendACL推理框架对YOLO
  • nodejs版本管理，使用 nvm 删除node版本，要删除 Node.js 的某个版本详细操作 m0_74825108 node.js
    要删除Node.js的某个版本并保持NodeVersionManager(nvm)的管理整洁，可以按以下步骤操作：步骤1：查看已安装的Node.js版本nvmls这会列出你通过nvm安装的所有Node.js版本。输出类似于：->v18.17.1v16.20.2v14.21.3default->v18.17.1带箭头(->)的是当前使用的版本。步骤2：卸载某个版本使用以下命令卸载特定版本：nvmun
  • 机器学习和深度学习的概念 你好呀我是裤裤 深度学习笔记机器学习深度学习人工智能
    MachineLearning机器学习，可以看作是找一个函数。这个函数是人类找不到的，所以交给机器来找。DifferenttypesofFunctions**Regression：**函数的输出是一个数值forexample：**Classification：**给出选项，让机器去选择。forexample：检测一个邮件是不是垃圾文件，就可以通过这个来做。选项是两个：垃圾文件or非垃圾文件。下面，
  • Pytorch实现：LSTM-火灾温度预测 骑猪玩狗 pytorchlstm人工智能
    本文为365天深度学习训练营中的学习记录博客原作者：K同学啊前期工作语言环境：Python3.9.18编译器：JupyterLab深度学习环境：Pytorch1.12.11.设置GPUimporttorchimporttorch.nnasnnimporttorchvisionfromtorchvisionimporttransforms,datasetsimportos,PIL,pathlibde
  • 深度学习项目--基于LSTM的火灾预测研究(pytorch实现) 羊小猪~~ RNNLSTM神经网络案例机器学习/数据分析案例深度学习lstmpytorch人工智能机器学习rnngru
    本文为365天深度学习训练营中的学习记录博客原作者：K同学啊前言LSTM模型一直是一个很经典的模型，这个模型当然也很复杂，一般需要先学习RNN、GRU模型之后再学，GRU、LSTM的模型讲解将在这两天发布更新，其中：深度学习基础–一文搞懂RNN深度学习基础–GRU学习笔记(李沐《动手学习深度学习》)这一篇：是基于LSTM模型火灾预测研究，讲述了如何构建时间数据、模型如何构建、pytorch中LST
  • LargeAD：用于自动驾驶的大规模跨传感器数据预训练 硅谷秋水 自动驾驶计算机视觉机器学习自动驾驶人工智能机器学习计算机视觉
    25年1月来自新加坡国立大学、南京航空航天、德国Bremerhaven技术大学、上海AI实验室、香港科技大学和香港大学的论文“LargeAD:Large-ScaleCross-SensorDataPretrainingforAutonomousDriving”。视觉基础模型(VFM)的最新进展彻底改变2D视觉感知，但它们在3D场景理解方面的潜力，特别是在自动驾驶应用中的潜力仍未得到充分探索。Lar
  • Rabbitmq源码分析，重复消费问题的redis或数据库代码实现 xweiran rabbitmq分布式java架构jvm数据结构后端
    目录底层源码解析自定义唯一id算法MessageProperties类的相关实现自定义消息ID生成器配置和使用Rabbitmq是怎么判断是不是重复消息的呢？通过Redis的幂等性处理消息消费者实现分布式锁实现的重复检测完整的消息处理流程基于数据库实现Mapper接口消息处理服务RabbitMQ消息消费者底层源码解析RabbitMQ判断重复消息主要通过消息的唯一标识（MessageId）和幂等性处理
  • 昇腾NPU推理YOLOV10目标检测（C++） weixin_51923349 c++ffmpegopencv
    1.准备工作基础环境：需要安装NPU固件驱动，CANN的包在昇腾官网下载，安装最新版就可以了。C++环境搭建链接：cplusplus/environment/catenation_environmental_guidance_CN.md·Ascend/samples-Gitee.com按照上面的链接，需要安装：presentagent,opencv,ffmpeg+acllite其中ffmpeg和o
  • 【零基础入门unity游戏开发——unity通用篇36】向量（Vector3）的基本操作和运算（基于unity6开发介绍） 向宇it unity游戏引擎3dc#开发语言
    考虑到每个人基础可能不一样，且并不是所有人都有同时做2D、3D开发的需求，所以我把【零基础入门unity游戏开发】分为成了C#篇、unity通用篇、unity3D篇、unity2D篇。【C#篇】：主要讲解C#的基础语法，包括变量、数据类型、运算符、流程控制、面向对象等，适合没有编程基础的同学入门。【unity通用篇】：主要讲解unity的基础通用的知识，包括unity界面、unity脚本、unit
  • 每天五分钟深度学习框架pytorch：基于vgg块搭建VGG卷积神经网络 每天五分钟玩转人工智能 深度学习框架pytorch深度学习pytorchcnnVGG卷积神经网络
    本文重点前面我们使用pytorch搭建了vgg块，本文我们使用vgg块搭建卷积神经网络VGG16，我们先来看一下vgg16的模型结构是什么样的：搭建vgg16importtorchfromtorchimportnndefvgg_block(num_convs,in_channels,out_channels):net=[nn.Conv2d(in_channels,out_channels,kern
  • 探索极致AI性能：昇腾NPU与PyTorch的完美融合 —— Ascend Extension for PyTorch 尤琦珺Bess
    探索极致AI性能：昇腾NPU与PyTorch的完美融合——AscendExtensionforPyTorch去发现同类优质开源项目:https://gitcode.com/项目简介在人工智能领域，高效灵活的框架与强大的硬件加速器是实现先进算法的关键组合。AscendExtensionforPyTorch插件，即torch_npu，正是这样一个解决方案，它无缝对接PyTorch框架，将华为昇腾AI处
  • 深度学习 Pytorch 张量（Tensor）的创建和常用方法 白白糖 深度学习pytorchpython深度学习pytorch人工智能
    1张量的基本创建及其类型和Numpy中的array一样，张量的本质也是结构化地组织了大量的数据。并且在实际操作中，张量的创建和基本功能也与其非常类似。1.1张量(Tensor)函数创建方法张量的最基本创建方法和Numpy中创建Array的格式一致。#Numpy创建数组importnumpyasnp#导入numpya=np.array([1,2,3])importtorch#首次使用,导入torch
  • PyTorch 神经协同过滤 (NCF) 推荐系统教程 陌北v1 pytorchpythonNCF神经协同过滤
    目录教程概述1.神经协同过滤模型概述NCF模型的主要组成部分：2.数据加载与预处理3.定义神经协同过滤模型4.训练模型5.模型评估6.推荐物品7.完整示例8.总结在本教程中，我们将使用PyTorch实现一个神经协同过滤（NeuralCollaborativeFiltering，简称NCF）推荐系统。神经协同过滤是一种基于深度学习的推荐系统模型，通过学习用户和物品的嵌入表示来预测用户对物品的评分，进
  • 【大模型LoRa微调】Qwen2.5 Coder 指令微调【代码已开源】 FF-Studio 大语言模型开源
    本文需要用到的代码已经放在GitHub的仓库啦，别忘了给仓库点个小心心~~~https://github.com/LFF8888/FF-Studio-Resources第001个文件哦~一、引言：大语言模型与指令微调1.1大语言模型发展简史随着深度学习的飞速发展，特别是Transformer架构在自然语言处理（NLP）领域的成功，大语言模型（LLM,LargeLanguageModel）成为近年来
  • 深入浅出广度优先搜索（BFS）：从原理到 Python 代码实现 纪至训至 算法python
    引言在图论和计算机科学中，广度优先搜索（Breadth-FirstSearch，简称BFS）是一种用于遍历或搜索图或树结构的算法。它从给定的起始节点开始，以广度优先的方式逐层探索图的节点，直到找到目标节点或遍历完整个图。BFS在许多实际问题中都有广泛应用，如路径规划、迷宫求解、社交网络分析等。本文将详细介绍BFS的原理，并通过一个Python代码示例，即使用BFS查找二维网格中从起点到终点的最短路
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他