pytorch数据预处理第9页

Windows的python配置pytorch、torchvision、NVIDIA（英伟达）、cuDNN进行gpu加速计算

相信很多小伙伴在跑深度学习神经网络的时候用cpu跑又慢又占内存，本文将介绍如何将自己电脑增加gpu跑模型的路线，方便加速计算。废话不多说，下面咱们直接开始：一、python配置建议下载的python版本为3.5到3.10之间，因为大多数用于gpu加速计算的torch都在这个版本区间。一般常用的是python3.6或者3.8。下面我们就以python3.8为基础环境进行配置，其他版本下面操作类似。如

苏俗·2024-02-14 04:04

数据分析（一）：美国某公司购物数据报告

目录美国某公司购物数据报告一、引言二、数据概览三、数据整理3.1数据预处理3.2数据导入四、客户特征分析4.1客户性别分布4.2客户地址分布4.3客户与平台关联月数分布五、购物行为分析5.1交易日期分布

不期而遇__·2024-02-14 03:28

ubuntu22.04下使用conda安装pytorch(cpu及gpu版本)

本文介绍了conda下安装cpu、gpu版本的pytorch；并介绍了如何设置镜像源ubuntu环境安装pytorch的CPU版本与GPU版本系统：ubuntu22.04显卡：RTX3050依赖工具：miniconda

丰色木夕·2024-02-14 03:14

BERT开源代码分析（一）——dataset数据加载模块

dataset模块pytorch版本的BERT的源码链接我将会为大家梳理代码，解读代码。

时光诺言·2024-02-14 01:23

pytorch：.cuda() & .cpu() & .data & .numpy()

下面将将tensor转成numpy的几种情况1.GPU中的Variable变量：a.cuda().data.cpu().numpy()2.GPU中的tensor变量：a.cuda().cpu().numpy()3.CPU中的Variable变量：a.data.numpy()4.CPU中的tensor变量：a.numpy()总结：.cuda()是读取GPU中的数据.data是读取Variable中的

不太聪明的亚子·2024-02-14 00:39

数据分析之数据预处理、分析建模、可视化

数据分析过程涉及多个步骤，包括数据预处理、分析建模和可视化。本文将详细探讨这三个核心步骤，以帮助您更好地理解和应用数据分析。

m1chiru·2024-02-14 00:26

手把手教你完成深度学习人脸识别系统

目录前言一、系统总流程设计二、环境安装1.创建虚拟环境2.安装其他库三、模型搭建1.采集数据集2.数据预处理3.构建模型和训练五、摄像头测试六、界面搭建报错了并解决的方法总结前言随着人工智能的不断发展，

挂科边缘(毕业版)·2024-02-13 21:40

在VSCode、Linux环境编译并调试Mindspore源码

前言本文记录一下自己在windows环境下编译pytorch源码所经过程和踩过的坑。

Qwesh157·2024-02-13 20:05

聊聊规则引擎的调研及实现全过程

诉求从硬件采集到的数据提供的形式多种多样,会有库直连,MQtt传输,其他设备网关传输，接口API传输等多种形式,且传输的数据结构不具备通用性，即数据运行时为变化状态,进行的操作包含数据预处理、逻辑判断、

沈二到不行·2024-02-13 17:29

PyTorch深度学习实战（26）——多对象实例分割

PyTorch深度学习实战（26）——多对象实例分割0.前言1.获取并准备数据2.使用Detectron2训练实例分割模型3.对新图像进行推断小结系列链接0.前言我们已经学习了多种图像分割算法，在本节中

盼小辉丶·2024-02-13 16:31

onnx基础

它使得不同的人工智能框架（如PyTorch、MXNet、Tensorflow）可以采用相同格式存储模型数据并交互。

whyte王·2024-02-13 14:31

【深度学习】S1 预备知识 P2 数据预处理

目录准备工作创建数据集读取数据集处理缺失值处理连续数据缺失值处理离散数据缺失值转换为张量格式在应用深度学习技术解决实际问题时，数据的预处理步骤至关重要。在Python的各种数据分析工具中，我们选择了pandas库来进行这一工作，因为它能与张量兼容。在本篇博文中，我们将概述如何使用pandas对原始数据进行预处理，并将其转换成张量格式。准备工作本节博文通过调用PythonPandas库实现操作，需要

脚踏实地的大梦想家·2024-02-13 13:18

Windows安装DeepSpeed

解决方案需要提前安装：PyTorch，版本最好>=1.9CUDA或ROCm编译器，如nvcc或hipcc安装VisualStudio，如2019自行编译pythonsetup.pybdist_

XerCis·2024-02-13 12:30

【COMP337 LEC1】

DataPreprocessingPhase数据预处理1.Featureextraction特征提取1.Anobjectisdescribedbyacollectionofattributes一个对象可以由一组特征来描述

WINNER505·2024-02-13 08:06

大规模单位实时寻路

转自：https://www.cnblogs.com/xiaohutu/p/10504586.html总结下来就是结合以下技术对AI进行处理：十字链表找最近的敌方单位,RVO避障，优化后的jps，地图数据预处理

july32·2024-02-13 08:49

如何开发一个属于自己的人工智能语言大模型？

数据预处理：在训练模型之前，你需要对数据进行预处理。这可能包括清理文本、去除停用词、进行词干提取、分词等。选择模型结构：你需要选择一个适合处理文本数据的模型结构。一种常见的选择

super_journey·2024-02-13 06:40

pytorch中创建Tensor张量的几种方法

以下所有例子没有打印输出，要验证结果请自行打印1，将python列表和numpy数组转换为pytorch张量importnumpyasnpimporttorcha=torch.tensor([1,2,3,4

CrystalheartLi·2024-02-13 05:33

【PyTorch】PyTorch中张量(Tensor)计算操作

PyTorch深度学习总结第五章PyTorch中张量(Tensor)计算操作文章目录PyTorch深度学习总结前言一、张量比较大小1、torch.allclose()2、torch.eq()和torch.equal

咸鱼鲸·2024-02-13 05:32

2022-03-23

#知识##校园学习##NLP##自然语言处理##人工智能专业建设##文本数据预处理##tokenize

跨象乘云·2024-02-13 05:32

Pyramid Stereo Matching Network

https://s3.eu-central-1.amazonaws.com/avg-kitti/data_scene_flow.zipThisrepositorycontainsthecode(inPyTorch

Songger·2024-02-13 04:09

书生·浦语大模型第四课作业

1.安装#如果你是在InternStudio平台，则从本地clone一个已有pytorch2.0.1的环境：/root/share/install_conda_env_internlm_base.shxt

查里王·2024-02-13 00:59

pytorch 之 torch.squeeze() 和 torch.unsqueeze()用法

第一块：squeeze(),主要是对数据的维度进行压缩，去掉元素数为1的那个维度，使用方式：a.squeeze(N)ortorch.squeeze(a,N)，去掉a的第N维度，以此来实现数据a的维度压缩；unsqueeze()与squeeze()函数功能相反，其功能是对数据维度进行扩充，使用方式：a.unsqueeze(N)ortorch.unsqueeze(a,N)，在数据a的第N维度上增加一个

Allard_c205·2024-02-12 23:43

pip install opencv-python安装报错

目录前言报错解决方法检查是否成功安装前言我需要用pytorch进行深度学习和研究，所以安装的是opencv-python。在安装OpenCV之前，我已经安装好python和numpy。

玄嫇·2024-02-12 21:38

[论文精读]Community-Aware Transformer for Autism Prediction in fMRI Connectome

Community-AwareTransformerforAutismPredictioninfMRIConnectome(arxiv.org)论文代码：GitHub-ubc-tea/Com-BrainTF:TheofficialPytorchimplementationofpaper"Community-AwareTransformerforAutismPred

夏莉莉iy·2024-02-12 21:31

快速构建 Tensorflow GPU 开发环境（Ubuntu / macOS）- 2023年

文章目录安装Anaconda/Miniconda安装NividaGPU驱动安装cudatoolkit和cudnn设置环境变量安装Tensorflow测试GPU是否开启成功AppleM1/M2安装GPU支持PytorchGPU

Ryan HUST·2024-02-12 13:05

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so:undefinedsymbol:_ZN3c106detail1pytorch_quantization

szZack·2024-02-12 12:46

（CTC解码）Modeified prefix-search decoding algorithm

最近写CTC，然后需要一个解码部分，看见这篇文章，网上pytorch版的CTC解码部分基本上都是基于这个版本，但是对于代码并不是很容易理解，研究了一下，顺便记录下来。

ZhengkunTian·2024-02-12 08:06

《动手学深度学习(PyTorch版)》笔记8.6

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.6ConciseImplementationofRNNimporttorchfrom

南七澄江·2024-02-12 08:03

《动手学深度学习(PyTorch版)》笔记8.7

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.7BackpropagationThroughTime通过时间反向传播（backpr

南七澄江·2024-02-12 08:03

Pytorch 复习总结 1

Pytorch复习总结，仅供笔者使用，参考教材：《动手学深度学习》本文主要内容为：Pytorch张量的常见运算、线性代数、高等数学、概率论。

ScienceLi1125·2024-02-12 08:02

《动手学深度学习(PyTorch版)》笔记8.5

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.5ImplementationofRNNfromScratch8.5.1ModelD

南七澄江·2024-02-12 08:00

pytorch常用激活函数笔记

1.relu函数：公式：深层网络内部激活函数常用这个importmatplotlib.pyplotaspltdefrelu_fun(x):ifx>=0:returnxelse:return0x=np.random.randn(10)y=np.arange(10)plt.plot(y,x)fori,tinenumerate(x):x[i]=relu_fun(t)plt.plot(y,x)2.sigm

守护安静星空·2024-02-12 08:59

日记：ImportError: TensorBoard logging requires TensorBoard version 1.15 or above

项目场景：学习pytorch跑项目的时候出现的，使用fromtorch.utils.tensorboardimportSummaryWriter或者其他可能用到tensorboard的问题描述：出现以下

超厂长·2024-02-12 04:05

Pytorch底层源码解读（一）概览

前言作为最受欢迎的深度学习框架，Pytorch如今已拥有极大的用户群体以及开发者。

firework_97df·2024-02-12 04:08

PyTorch 中文手册学习

1.Tensorpytorch中数据类型Tensors创建一个5*3矩阵，只分配空间，未初始化x=torch.empty(5,3)或者x=torch.Tensor(5,3)0-1分布，全0，特定数值，全

赵小闹闹·2024-02-12 03:50

yolov8 1650TI训练报错

objecthasnoattribute‘values’GTX16xx用户的大坑，基本上每个GTX16xx用户使用YOLO系列算法，都会遇到这些问题这个没办法，唯一的解决办法是使用cuda10.2的配置https://download.pytorch.org

Dakchueng·2024-02-12 02:06

pytorch对图片的张量进行操作

文章目录前言代码展示前言代码importnumpyasnpimporttorchimporttorchvisionimportosfromPILimportImagefrommatplotlibimportpyplotasplt,transformsimporttorchvision.transformsastransformsphoto=Image.open('./data/hymenopter

RDSunday·2024-02-11 23:07

PyTorch入门3——张量索引、张量拼接

PyTorch入门3——张量索引、张量拼接张量索引简单行、列索引列表索引范围索引布尔索引多维索引张量拼接torch.cat函数的使用torch.stack函数的使用张量索引在操作张量时，经常需要进行获取或者修改张量元素值的操作

1379号程序员·2024-02-11 23:37

【pytorch】nn.utils.rnn.pad_sequence的使用

目录错误使用说明样例代码错误Thesizeoftensora(3)mustmatchthesizeoftensorb(5)atnon-singletondimension1在使用nn.utils.rnn.pad_sequence时,遇到如上错误,原因是使用方式错误.使用说明用padding_value填充可变长度张量列表pad_sequence沿新维度堆叠张量列表，并将它们垫成相等的长度。例如，如

安安爸Chris·2024-02-11 22:48

Mamba 环境安装踩坑问题汇总及解决方法

yyywxk·2024-02-11 21:51

pytorch的安装及其在pycharm中的使用

1.首先配置Anaconda虚拟环境在AnacondaPrompt中输入condacreate-npytorchpython==3.72.在该环境中安装pytorch因为前面已经安装了cuda10.0.130

Kerin637·2024-02-11 18:55

Stable Diffusion WebUI 绘画【官方教程】

huggingface大模型配置环境介绍目前平台集成了StableDiffusionWebUI的官方镜像，该镜像中整合如下资源：StableDiffusionWebUI版本：v1.7.0Python版本：3.10.6Pytorch

·2024-02-11 18:27

点云——噪声（代码）

这篇之前写的，主要是对P2B点云跟踪进行复现以及学习记录，里面也包含了一些对点云的理解P2B论文复现——点云学习记录_etw_pytorch_utils.git-CSDN博客对PTT代码是更为熟悉

江河地笑·2024-02-11 17:18

phpy ：PHP 与 Python 互调用库，为 PHP 引入 Python 生态，PHP 也可以写 AI 了

包括当下非常流行的PyTorch、transformers、TensorFlow等AI库，以及Numpy、Pandas、Scikit等科学计算库，还可以使用PyQt、wxPython等图形界面库。

·2024-02-11 17:07

机器学习 - 似然函数：概念、应用与代码实例

通过详尽的定义、举例和Python/PyTorch代码示例，文章旨在提供一个全面而深入的理解。关注TechLead，分享AI全维度知识。

·2024-02-11 17:05

Unet+ResNet 实战分割项目、多尺度训练、多类别分割

1.介绍传统的Unet网络，特征提取的backbone采用的是vgg模型，vgg的相关介绍和实战参考以前的博文：pytorch搭建VGG网络VGG的特征提取能力其实是不弱的，但网络较为臃肿，容易产生梯度消失或者梯度爆炸的问题

听风吹等浪起·2024-02-11 17:35

PyTorch版本说明与安装

PyTorch版本说明与安装PyTorch可以看作是Python的一个库，准确地说，它是一个深度学习框架，提供了许多用于构建、训练和部署神经网络模型的功能和工具。

YuanDaima2048·2024-02-11 13:52

《动手学深度学习(PyTorch版)》笔记8.3

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.3LanguageModelsandtheDataset假设长度为TTT的文本序列中

南七澄江·2024-02-11 07:15

《动手学深度学习(PyTorch版)》笔记8.4

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.4RecurrentNeuralNetworks对nnn元语法模型，单词xtx_tx