数据处理训练第6页

1.1PaddleTS_环境配置：一个易用的深度时序建模的Python库

PaddleTS的主要特性包括：设计统一数据结构，实现对多样化时序数据的表达，支持单目标与多目标变量，支持多类型协变量封装基础模型功能，如数据加载、回调设置、损失函数、训练过程控制等公共方法，帮助开发

pythonQA·2025-03-20 01:27

【大模型科普】AIGC技术发展与应用实践（一文读懂AIGC）

大模型是千亿参数的深度神经网络（如ChatGPT），经海量数据训练后能完成文本生成、图像创作等复杂任务，显著提升效率，但面临算力消耗、数据偏见等挑战。

·2025-03-20 01:36

pandas 读取某一单元格的值_07-Pandas Excel新建/读取/填充（一）

正因为Pandas在数据处理方面有着独特的优势，所有掌握pandas库处理excel格式的数据就显得十分必要。

扇贝编程·2025-03-20 01:51

SelectDB 实时分析性能突出，宝舵成本锐减与性能显著提升的双赢之旅

BOCDOP宝舵早期基于TiDB构建实时数仓，随着数据量增长，在数据处理效率、OLAP能力扩展、功能支持、成本与资源方面存在一定优化空间。

SelectDB技术团队·2025-03-20 00:11

数据增强：扩充数据集提升模型泛化能力

一个泛化能力强的模型能够在未见数据上表现良好，而过拟合的模型则会在训练数据上表现出色，但在新数据上表现糟糕。

AI天才研究院·2025-03-19 23:06

数据增强：扩充数据集，提升模型的鲁棒性

数据增强：扩充数据集，提升模型的鲁棒性1.背景介绍1.1数据集的重要性在机器学习和深度学习领域中,数据集是训练模型的基础。高质量的数据集对于构建准确、鲁棒的模型至关重要。

AI天才研究院·2025-03-19 23:05

Pandas完全指南：数据处理与分析从入门到实战

2.1Series创建与操作2.2DataFrame创建三、数据查看与基本操作3.1数据预览3.2索引与选择3.3数据排序四、数据清洗实战4.1处理缺失值4.2处理重复值4.3数据类型转换4.4字符串处理五、数据处理进阶

xiaoyu❅·2025-03-19 23:35

NLP高频面试题（三）——普通RNN的梯度消失和梯度爆炸问题

普通RNN（循环神经网络）的梯度消失和梯度爆炸问题是指在训练深层或长序列的RNN模型时出现的两种典型问题：一、梯度消失（VanishingGradient）梯度消失是指在反向传播过程中，梯度逐层传播时变得越来越小

Chaos_Wang_·2025-03-19 23:34

关于使用python进行处理雷达数据笔记

好久不见，甚是想念本人深知这段时间鸽了一篇博（上一篇博），后续会补上的，今天想写一下关于使用python进行TI雷达接收回波数据处理的一些常见问题和解决方法。

六毛驴·2025-03-19 22:31

vscode连接远程服务器docker里的容器--使用remote ssh

欢仔要学习·2025-03-19 22:28

PyCINRAD读取探测中心天气雷达拼图系统v3产品

PyCINRADPyCINRAD号称国内最强大的雷达数据处理工具，支持多种CINRAD雷达数据格式，兼容性强，横扫CMA雷达基数据和产品，国内首个支持“探测中心拼图3.0”。

pysoer·2025-03-19 22:28

PyCINRAD 安装和配置指南

dataandvisualize.项目地址:https://gitcode.com/gh_mirrors/py/PyCINRAD1.项目基础介绍和主要编程语言项目基础介绍PyCINRAD是一个开源的气象雷达数据处理和可视化库

颜欢钰Edith·2025-03-19 22:56

使用TensorFlow、OpenCV和Pygame实现图像处理与游戏开发

安装TensorFlowTensorFlow是一个基于数据流图的开源机器学习框架，提供了丰富的工具和库来构建和训练各种深度

UwoiGit·2025-03-19 22:25

机器学习流程—数据预处理清洗

文章目录机器学习流程—数据预处理清洗定义问题数据预处理数据加载与展示重复数据处理数据类型空值处理无关特征删除数据分布删除异常值生成标签和特征数据分割机器学习流程—数据预处理清洗数据处理是将数据从给定形式转换为更可用和更理想的形式的任务

不二人生·2025-03-19 21:50

MMScan数据集：首个最大的多模态3D场景数据集，包含层次化的语言标注

数据集的建立，不仅推动了3D场景理解的研究进展，还为训练和评估多模态3D感知模型提供了宝贵的资源。

·2025-03-19 21:28

深度革命：ResNet 如何用 “残差连接“ 颠覆深度学习

更令人震撼的是，ResNet将神经网络的深度推至152层，彻底打破了"深层网络无法训练"的魔咒。这场革命的核心，正是一个简单

安意诚Matrix·2025-03-19 20:46

Apache storm

Apachestorm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。它是一个流数据框架，具有很高的摄取率，无状态。

赵世炎·2025-03-19 19:09

A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第9部分——应用

应用尽管预训练为大型语言模型（LLMs）赋予了强大的基础能力，但在部署于专业领域时，LLMs仍经常遇到持续的限制，包括上下文长度受限、容易产生幻觉（hallucination）、推理能力欠佳和固有的偏见

王金-太想进步了·2025-03-19 19:31

Apache Storm：实时数据处理的闪电战

文章目录ApacheStorm原理拓扑结构数据流处理容错机制官网链接基础使用安装与配置编写拓扑提交与运行高级使用状态管理窗口操作多语言支持优点高吞吐量低延迟可扩展性容错性总结ApacheStorm是一个开源的分布式实时计算系统，它允许你以极高的吞吐量处理无界数据流。Storm被广泛用于实时分析、在线机器学习、连续计算等多种场景。本文将深入探讨ApacheStorm的原理、基础使用、高级特性及其优点

Aaron_945·2025-03-19 18:01

计算机毕业设计之基于Hadoop的热点新闻分析系统的设计与实现

本文拟采用PyCharm开发工具，django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。

微信bishe69·2025-03-19 18:31

Python常用的库讲解（易懂版）

importnumpyasnp#创建一个numpy数组arr=np.array([1,2,3,4,5])print(arr)Pandas：数据处理库，提供数据结构和数据分析工具，特别适合处理结构化数据。

不辉放弃·2025-03-19 18:30

matlab数据处理：创建网络数据

%创建网格数据[X,Y]=meshgrid(x_data,y_data);如x_data=[1234]X=1234123412341234XY_data=[X(:),Y(:)];%将X和Y合并成一个向量X(:)表示将矩阵排成一列XY_data=1111222233334444

见你背影·2025-03-19 18:56

Yolov8训练自己的数据集(脱离ultralytics库)

比如在使用v8的时候需要安装ultralytics库，然后再调用YOLO进行训练或者预测，那么就有这几个问题：问题1：安装了ultralytics库后如何使用YOLO呢

爱吃肉的鹏·2025-03-19 17:22

迁移学习基础知识

简介使用迁移学习的优势：1、能够快速的训练出一个理想的结果2、当数据集较小时也能训练出理想的效果。注意：在使用别人预训练的参数模型时，要注意别人的预处理方式。

zhooooooou·2025-03-19 16:44

迁移学习入门

迁移学习1迁移学习的概念预训练模型定义:简单来说别人训练好的模型。

EmbodiedTech·2025-03-19 16:14

HarmonyNext实战：基于ArkTS的高性能数据流处理系统开发

本文将深入探讨如何使用ArkTS构建一个高性能的数据流处理系统，重点讲解流式数据处理、并发模型、内存管理以及性能优化等高级主题。

·2025-03-19 16:17

Java8中如何使用Stream对列表进行去重？

去重是数据处理中一个常见的需求，今天我们就来聊聊如何使用Stream对列表进行去重。这个过程其实并不复杂，只要掌握一些基本的操作，就能轻松实现。首先，大家可能会问，什么是Stream？

上官美丽·2025-03-19 16:09

Dify知识库构建流程及示例

3.向量化（Embedding）嵌入模型：调用预训练

cqbelt·2025-03-19 14:54

MNIST数据集&手写数字识别

它提供了一种基于数据流图的编程模型，用于构建和训练机器学习模型。TensorFlow的核心概念是张量（Tensor）和流图（Graph）。

Zoro｜·2025-03-19 13:18

基于Geopandas的地理空间数据可视化与分析方法研究

Python的Geopandas库为地理空间数据处理和可视化提供了强大的支持，它基于pandas并集成了shapely、fiona等多个库，能够方便地进行地理数据的读取、处理和展示。

一键难忘·2025-03-19 13:18

Codeforces Round 995 (Div. 3)

在这第iii天，如果Monocarp准备训练，那么他将完成aia_iai题，同样的，如果Stereocarp也在这天准备训练，那么他将完成bib_ibi题。

polarours·2025-03-19 13:17

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

Spark、Storm、Flink虽然也是大数据处理相关技术，但

苍曦·2025-03-19 12:43

laravel基础

-模型model，用于数据处理-视图view，用于显示数据-控制器controller，接收用户请求

m0_65977885·2025-03-19 12:13

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。

kkk1622245·2025-03-19 12:41

医疗影像联邦学习可解释性算法研究

本研究以跨机构医疗影像协作场景为核心，系统性探讨联邦学习框架下可解释性算法的创新路径，重点解决医疗AI模型在分布式训练中的透明度缺失问题。

智能计算研究中心·2025-03-19 11:36

【Python】测试数据生成工具 --- Faker

Faker的应用不仅限于测试，它还广泛应用于数据分析、机器学习训练集的准备以及任何需要大量样本数据的场景。Faker安装前提：已安装python、pip安装命令如下：pipinst

·2025-03-19 11:00

融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

在深度学习的背景下，NVIDIA的CUDA与AMD的ROCm框架缺乏有效的互操作性，导致基础设施资源利用率显著降低。随着模型规模不断扩大而预算约束日益严格，2-3年更换一次GPU的传统方式已不具可持续性。但是Pytorch的最近几次的更新可以有效利用异构计算集群，实现对所有可用GPU资源的充分调度，不受制于供应商限制。本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训

·2025-03-19 11:59

深度学习框架PyTorch——从入门到精通（4）数据转换

转换（Transforms）很多时候，数据并不总是以训练机器学习算法所需的最终处理形式出现。所以我们需要使用变换对数据进行一些处理，使其适合训练。

Fansv587·2025-03-19 11:01

实现短视频播放功能鸿蒙示例代码

实现思路数据处理构造BasicDataSource类，实现对数据的处理函数。classBasicDataSourceimplementsIDataSour

·2025-03-19 11:28

Java Stream 流的介绍

本文将介绍JavaStream流的基础概念、常用操作以及如何利用Stream进行集合数据处理。1.什么是Stream流Stream是Java8引入的一个新的类，它

吱屋猪_·2025-03-19 11:59

深度学习框架PyTorch——从入门到精通（5）构建神经网络

构建神经网络获取训练设备定义类模型层nn.Flattennn.Linearnn.ReLUnn.Sequentialnn.Softmax模型参数补充说明argmax神经网络是由一些层或者模块组成的，这些层和模块会对数据进行各种操作

Fansv587·2025-03-19 11:58

大语言模型的训练数据清洗策略

目录大语言模型的训练数据清洗策略1.数据去重与标准化问题解决方案示例代码（Python实现数据去重）：2.过滤有害内容问题解决方案示例代码（基于关键词过滤有害内容）：3.纠正数据不均衡问题解决方案示例代码

gs80140·2025-03-19 10:23

Megatron-LM训练框架和Deepspeed训练框架最主要的异同和优劣是什么

核心异同点并行策略Megatron-LM核心：以张量并行（TensorParallelism）和流水线并行（PipelineParallelism）为主，结合数据并行。张量并行通过切分模型层（如注意力头、MLP块）到不同设备，利用NVLink高速通信提升效率。流水线并行将不同层分配到不同设备，通过P2P通信协调。DeepSpeed核心：ZeRO优化技术（ZeroRedundancyOptimize

强化学习曾小健·2025-03-19 09:15

OctoTools：一个具有复杂推理可扩展工具的智体框架

现有方法使用外部工具增强大语言模型(LLM)，但仅限于专业领域、有限的工具类型或需要额外的训练数据。本文的OctoTools，是一个无需训练、用户友好且易于扩展的

三谷秋水·2025-03-19 09:09

深度学习框架PyTorch——从入门到精通（5）自动微分

使用torch.autograd自动微分张量、函数和计算图计算梯度禁用梯度追踪关于计算图的更多信息张量梯度和雅可比乘积在训练神经网络时，最常用的算法是反向传播。

Fansv587·2025-03-19 06:20

一文读懂stm32和51单片机的区别

二、硬件架构2.1内核51单片机：采用8位的8051内核，数据处理

对error说不·2025-03-19 06:20

标签转换脚本 - VOC格式转COCO格式，即voc2coco，xml2json 附VOC及COCO标签格式详解

专栏目录：YOLO训练/写作脚本目录一览|涉及标签转换、数据扩充、热力图、感受野、精度曲线、数量统计等近百个脚本文件专栏地址：YOLO训练/写作脚本——丰富文章内容，增强实验信服力，助力发文！！！

Limiiiing·2025-03-19 04:57

标签转换脚本 - VOC格式转YOLO格式，即voc2yolo，xml2txt 附VOC及YOLO标签格式详解