大规模预训练语言模型第5页

关于forward函数

在训练和验证过程中都会被调用。特点必须实现：在PyTorch中，forward函数是模型的核心部分，必须显式定义。灵活性高：可以根据模型需要，自由定义forward函数的内容，包括各种计算操作。

oioz·2025-03-23 04:52

如何解决MySQL 的深度分页问题？

尤其是在处理大规模数据时，如何高效地进行分页查询成为了开发者需要重点关注的问题。

运维小雅·2025-03-23 04:49

使用 Argilla 进行大语言模型数据管理与监控

技术背景介绍Argilla是一个开源的数据管理平台，专为大语言模型（LLMs）设计。它旨在通过快速的数据管理以及结合人类和机器的反馈，帮助开发者构建更强大的语言模型。

qahaj·2025-03-23 03:16

Flink Cdc TiDB详解

TiDB本身是分布式数据库，而Flink是流处理引擎，两者的结合适合需要高吞吐、低延迟的大规模数据处理场景[7][8]。

24k小善·2025-03-23 03:44

LLM：软件测试的颠覆性力量

LLM：软件测试的颠覆性力量关键词：大语言模型（LLM）、软件测试、人工智能、测试自动化、测试效率、质量保证、测试革新1.背景介绍在当今快速发展的软件行业中，测试一直是确保产品质量的关键环节。

AI天才研究院·2025-03-23 03:41

卷积神经网络Batch Normalization的作用

BN的作用相当于给每一层装了一个自动温度调节器，实时将输入数据调整到标准温度（均值为0，方差为1），保证每层都能均匀受热，训练更稳定。2.让模型训练“少

arron8899·2025-03-23 03:11

使用Dall-E生成图像：文本到图像的魔力

核心原理解析Dall-E利用大型语言模型（LLM）从用户提供的文本描述中提取详

shuoac·2025-03-23 03:11

深入了解盘古大模型：技术、应用与未来

随着人工智能技术的迅猛发展，预训练大模型已成为AI领域最前沿、最热门的研究方向之一。

Hardess-god·2025-03-23 02:10

【人工智能之大模型】阐述生成式语言模型的工作机理...（二）

【人工智能之大模型】阐述生成式语言模型的工作机理…（二）【人工智能之大模型】阐述生成式语言模型的工作机理…（二）文章目录【人工智能之大模型】阐述生成式语言模型的工作机理...

985小水博一枚呀·2025-03-23 02:09

NLP高频面试题（七）——GPT和Bert的mask有什么区别？

GPT和BERT的Mask机制对比：核心区别与优化策略在NLP领域，GPT和BERT是最具代表性的预训练语言模型之一。

Chaos_Wang_·2025-03-23 02:35

知识图谱中NLP新技术

以下从核心技术突破、应用场景创新及未来趋势三个层面，系统梳理知识图谱中NLP的最新进展：一、核心技术突破基于预训练模型的图谱构建与增强预训练语言模型与知识嵌入融合：以BERT、KEPLER为代表的模型通过联合优化知识嵌入

魔王阿卡纳兹·2025-03-23 02:34

算法设计与分析4（变治法）

变治法的应用：预排序思想用预排序可以简化许多问题，如检查元素唯一性，检查出现次数最多的元素等堆算法堆的定义首先它是一个完全二叉树，完全二叉树表明树的每一层都是满的，只有最后一层最右边的元素有可能缺位。

songx_99·2025-03-23 01:57

如何用Function Calling解锁OpenAI的「真实世界」交互能力？（附Node.js 实战）

如同给语言模型安装「手脚」，使其不仅能思考，还能执行具体操作。openai官方说明：https:

hongkid·2025-03-23 00:54

简单理解机器学习中top_k、top_p、temperature三个参数的作用

在机器学习中，top_k、top_p和temperature是用于控制生成模型（如语言模型）输出质量的参数，尤其在文本生成任务中常见。

无级程序员·2025-03-23 00:53

解析大模型归一化：提升训练稳定性和性能的关键技术

它可以提高模型的训练稳定性和性能，在加速收敛方面发挥了重要作用。本文将深入探讨大模型归一化的原理、常见方法及其应用场景，并结合实际案例和代码示例进行说明。

秋声studio·2025-03-23 00:19

PyTorch数据归一化处理：transforms

torchvision*torchvision.transforms：常用的图像预处理方法*torchvision.datasets：常用的数据集Dataset实现*torchvision.models：常用的CV（预训练

2401_87555420·2025-03-22 23:48

kafka生产消息失败 ...has passed since batch creation plus linger time

背景：公司要使用华为云的kafka服务，我负责进行技术预研，后期要封装kafka组件。从华为云下载了demo，完全按照开发者文档来进行配置文件配置，但是会报以下错误。

Lichenpar·2025-03-22 23:47

C++基础系列【26】排序和查找算法

游戏开发入门级选手《C++20高级编程》《C++23高级编程》等多本书籍著译者更多原创精品文章，首发gzh，见文末记得订阅专栏，以防走丢C++基础系列专栏C语言基础系列专栏C++大佬养成攻略专栏C++训练营排序与查找算法的重要性不用过多介绍了吧

程序喵大人·2025-03-22 23:15

深入解析深度学习中的过拟合与欠拟合诊断、解决与工程实践

二、核心概念与通熟易懂解释简单而言，欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在

古月居GYH·2025-03-22 22:43

CBNet--一种新的目标检测的复合骨干网体系结构

一、Introduction一般来说，在一个典型的基于CNN的目标检测器中，使用主干网络来提取检测对象的基本特征，该网络通常是为图像分类任务而设计的，并在ImageNet上预训练。

weixin_45963617·2025-03-22 22:43

ModuleNotFoundError: No module named ‘h5py‘

h5py是一个用于处理HDF5二进制数据格式的Python接口，广泛用于大规模存储和操纵数据。解决方案：安装h5py要解决这个问题，你需要在你的Python环境中安装h5py。

Hardess-god·2025-03-22 22:40

深入探讨盘古大模型的高精度多尺度能力

一、盘古模型概述盘古模型是华为推出的中文预训练大模型系列，拥有数十亿甚至千亿级的参数规模。它以Transformer架构为基础，通过海量文本数据进行训练，表现出优异的自然语言理解和生成能

Hardess-god·2025-03-22 22:40

使用Ollama部署开源大模型

Ollama是一个简明易用的本地大模型运行框架,可以一键启动启动并运行Llama3、Mistral、Gemma和其他大型语言模型。安装MacOS，Windows用户直接在官网下载页下载安装包即可。

好好学习 666·2025-03-22 22:09

01年实习生被曝负责字节RL核心算法！系字节LLM攻坚小组成员

用上该算法后，Qwen2.5-32B模型只经过RL训练，不引入蒸馏等其他技术，在AIME2024基准上拿下50分，优于相同setting下使用GRPO算法的DeepSeek-R1-Zero-Qwen，且

·2025-03-22 22:24

如何使用YOLOv8在AI-TOD数据集上进行遥感目标检测，从安装依赖项、准备数据集、配置YOLOv8、训练和评估模型以及构建GUI应用程序展示检测

如何使用YOLOv8在AI-TOD数据集上进行遥感目标检测，从安装依赖项、准备数据集、配置YOLOv8、训练和评估模型以及构建GUI应用程序展示检测文章目录1.安装依赖2.数据准备3.配置YOLOv83.1

计算机C9硕士_算法工程师·2025-03-22 22:08

MSE分类时梯度消失的问题详解和交叉熵损失的梯度推导

前文请移步笔者的另一篇博客：大模型训练为什么选择交叉熵损失（Cross-EntropyLoss）：均方误差（MSE）和交叉熵损失的深入对比MSE分类时梯度消失的问题详解我们深入探讨MSE（均方误差）的梯度特性

阿正的梦工坊·2025-03-22 21:34

使用Python和LangChain构建检索增强生成（RAG）应用的详细指南

使用Python和LangChain构建检索增强生成（RAG）应用的详细指南引言在人工智能和自然语言处理领域，利用大语言模型（LLM）构建复杂的问答（Q&A）系统是一个重要应用。

m0_57781768·2025-03-22 21:33

学习111

GitHub地址browser-use智能浏览器工具，让AI像人类一样操作浏览器，实现网页自动化网页浏览与操作、多标签页管理、视觉识别与内容提取、操作记录与重复执行、自定义动作支持、主流LLM模型支持为大语言模型服务的创新

麋鹿叔叔·2025-03-22 21:31

使用LangChain实现基于LLM和RAG的PDF问答系统

目录前言一.大语言模型(LLM)1.什么是LLM？2.LLM的能力与特点二、增强检索生成(RAG)三.什么是LangChain？

张同学吧·2025-03-22 20:00

基于ChatGPT、GIS与Python机器学习的地质灾害风险评估、易发性分析、信息化建库及灾后重建高级实践

第一章、ChatGPT、DeepSeek大语言模型提示词与地质灾害基础及平台介绍【基础实践篇】1、什么是大模型？

weixin_贾·2025-03-22 20:59

AI 赋能应急管理：ChatGPT、DeepSeek、Grok 的应用探索

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注1.引言随着人工智能（AI）技术的快速发展，大语言模型（LLM）在应急管理领域的应用逐步扩大。

一ge科研小菜菜·2025-03-22 20:58

一文说清楚什么是预训练（Pre-Training）、微调（Fine-Tuning），零基础小白建议收藏！！

前言预训练和微调是现代AI模型的核心技术，通过两者的结合，机器能够在处理复杂任务时表现得更为高效和精准。预训练为模型提供了广泛的语言能力，而微调则确保了模型能够根据特定任务进行细化和优化。

小城哇哇·2025-03-22 20:26

PXE系统

通常，PXE用于企业环境，尤其是大规模部署操作系统时，能够实现无盘工作站的启动以及批量系统安装。通过PXE，用户无需使用U盘、光盘等物理媒介，只需要一台支持网络启动的计算机和一个配置好的P

惟贤箬溪·2025-03-22 19:54

anythingLLM 使用教程

一、anythingLLM简介anythingLLM是一款灵活且功能强大的语言模型，它基于先进的深度学习架构构建，旨在为用户提供多样化的自然语言处理服务。

惟贤箬溪·2025-03-22 19:24

GitHub项目推荐--基于LLM的开源爬虫项目

以下是一些基于大语言模型（LLM，LargeLanguageModel）的开源爬虫项目，它们结合了自然语言处理（NLP）技术与爬虫的功能，能在一定程度上提升爬取的智能化和精度。

惟贤箬溪·2025-03-22 19:24

深度解析大模型推理框架：原理、应用与实践

一、大模型推理框架简介大模型推理框架是指一种基于深度学习技术的推理框架，主要用于解决大规模数据集下的复杂问题。该框架通过对海量数据进行高效的训练和推理，能够快速地对各种复杂场景进行分析

百度_开发者中心·2025-03-22 19:24

大模型推理框架：从理论到实践的全面解析

然而，深度学习模型的训练和推理过程往往涉及大量数据和复杂计算，传统的计算框架难以满足需求。因此，大模型推理框架应运而生，成为解决这一问题的关键。

百度_开发者中心·2025-03-22 19:23

DeepSeek 部署指南 (使用 vLLM 本地部署)

DeepSeek部署指南(使用vLLM本地部署)本文档将指导您如何使用vLLM在本地部署DeepSeek语言模型。

AGI大模型资料分享员·2025-03-22 19:51

努力的搬砖人.·2025-03-22 18:16

回归任务训练--MNIST全连接神经网络（Mnist_NN）

importtorchimportnumpyasnpimportloggingfromtorch.utils.dataimportTensorDataset,DataLoaderfromtorch.utils.dataimportDataLoader#配置日志logging.basicConfig(level=logging.INFO,format='%(asctime)s-%(levelname

豆芽819·2025-03-22 18:10

LLM-Agent方法评估与效果分析

1.引言近年来，随着大型语言模型（LLM）的快速发展，基于强化学习（RL）对LLM进行微调以使其具备代理（Agent）能力成为研究热点。

·2025-03-22 18:50

《南京日报》专题报道 | 耘瞳科技“工业之眼”加码“中国智造”

在江宁开发区，机器人已不再是科幻电影里的遥远想象，他们就像人类的“同事”，在工地上忙着贴砖、刷墙、搬运、检测；在体育训练场上帮助运动员矫正姿势；在医院里帮助医生发现帕金森早期征兆，在智慧工厂里与人类分工协作

耘瞳科技·2025-03-22 17:04

大规异构集群混合并行分布式训练系统，解决算力不均衡问题 HETHUB

视频教程在这：3.2大规模异构集群，混合并行分布式系统，解释算力不均衡问题HETHUB_哔哩哔哩_bilibili一、大规模异构集群出现的原因：同一种GPU数量有限难以构建大规模集群：训练大规模模型依赖于大量的计算资源

爱串门的小马驹·2025-03-22 16:29

Q&A：备份产品的存储架构采用集中式和分布式的优劣？

很显然，以分布式存储的优点用来存放热备份数据是非常合适的，能满足大规模数据在备份与恢复时的高吞吐需求，同时也能提供并行计算的能力，提供高效的目标端数据压缩和数据重删

云祺vinchin·2025-03-22 15:22

MiniMind：完全从 0 训练自己的大模型

是B站UP主近在远方的远开源的一个微型语言模型，改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。

三花AI·2025-03-22 15:49

MiniMind：3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

哈罗·沃德·2025-03-22 15:19

minimind2学习：（1）训练

1、数据下载参考：https://github.com/jingyaogong/minimind/tree/master2、预训练训练6个epochspythontrain_pretrain.py--epochs6

溯源006·2025-03-22 14:47

Stacking算法：集成学习的终极武器

1.Stacking算法原理探秘Stacking算法的核心思想是训练多个不同的基模型，并将它们的预测结果作为新模型的输入特征，以此来

civilpy·2025-03-22 14:16

MiniMind

数据集分类：tokenizer训练集：这个数据集用于训练分词器（tokenizer），是文本处理中的一个重要步骤。它可以帮助模型更好地理解文本数据的结构。

亚伯拉罕·黄肯·2025-03-22 14:46

直方图梯度提升：大数据时代的极速决策引擎

但当数据量突破百万级时，传统梯度提升树（GBDT）面临三大致命瓶颈：训练耗时剧增：每个特征的分割点计算都需要全量数据排序内存消耗爆炸：存储排序后的特征值需要额外空间处理效率低下：无法有效利用现代CPU的多核特性而梯度提升决策树

万事可爱^·2025-03-22 14:14

推荐频道

大规模预训练语言模型