无监督预训练第2页

Meta：基于数据关系的LLM高效预训练

标题：Data-EfficientPretrainingwithGroup-LevelDataInfluenceModeling来源：arXiv,2502.14709摘要数据高效的预训练已显示出提高缩放定律的巨大潜力

大模型任我行·2025-03-01 12:37

一文速通MongoDB

无模式设计：MongoDB不要求事先定

C__C..·2025-03-01 12:33

大模型训练与微调（4）——Top-k 和 Top-p 采样策略介绍

大模型训练与微调（4）——Top-k和Top-p采样策略介绍**一、Top-k采样****1.核心思想****2.数学实现****3.示例****4.特点****二、Top-p（Nucleus）采样**

John_今天务必休息一天·2025-03-01 12:33

单卡挑战千亿模型！深度求索MoE架构实战指南：从理论到开源工具全解析

引言：为什么需要单GPU训练千亿参数模型？随着大模型参数规模突破千亿级别，训练成本与算力需求呈指数级增长。传统密集架构（DenseModel）在单卡训练中面临显存不足、计算效率低等问题。

小诸葛IT课堂·2025-03-01 11:27

super的使用

3.super.的调用的是由在子类构造的时候使用了super()的无参或者有参构造出来的父类。

一天八小时·2025-03-01 11:57

利用 AWS API Gateway 和 Lambda 节省成本的指南

AWSAPIGateway和Lambda组合提供了一种无服务器（Serverless）的解决方案，能够显著降低基础设施成本，简化管理，并提升应用的可扩展性。

fxrz12·2025-03-01 11:51

电力场效应晶体管（Power MOSFET）

1.电力MOSFET电力场效应晶体管，简称电力MOSFET，是利用电场效应来控制半导体中电流的电力半导体器件，它是一种单极性电压控制器件，不但有自关断能力，而且有驱动功率小、工作频率高、无二次击穿现象、

嵌入式老牛·2025-03-01 09:40

数据结构之【无头单向非循环链表】(C语言实现)

下面将无头单向非循环链表简称为单链表头指针：指向链表第一个节点的指针链表为空时，头指针也为空要实现单链表，就是要实现单链表的增删查改一、无头单向非循环链表的c语言实现1.准备工作#include#include

zl_dfq·2025-03-01 09:04

代码随想录算法训练营day47（0215）

开始单调栈，我记得这个第一题我某次笔试就遇到过1.每日温度题目739.每日温度给定一个整数数组temperatures，表示每天的温度，返回一个数组answer，其中answer[i]是指对于第i天，下一个更高温度出现在几天后。如果气温在这之后都不会升高，请在该位置用0来代替。示例1:输入:temperatures=[73,74,75,71,69,72,76,73]输出: [1,1,4,2,1,1

Lazy.land·2025-03-01 08:00

yolov5-训练好的模型部署的几种方式-ONNX

ONNX所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。

黄晓魚·2025-03-01 08:30

Stable Diffusion（SD）系列模型及关联算法深度解析

一、‌基础模型架构演进‌SDv1.5‌‌核心架构‌：基于LatentDiffusionModel（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作‌

Liudef06·2025-03-01 08:59

聚类算法(K-means)代码实现(鸢尾花数据集)

目录一、前言二、代码实现1.随即给定初始点并返回，其点个数就是K值2.得到当前每一个样本到K个中心点的距离，得到每个样本距离最近的那个中心点并返回中心点3.更新中心点并返回4.进行训练（迭代）返回最后一次的中心点和簇类中的样本

乔大将军·2025-03-01 08:59

全方位解析：大语言模型评测方法的综合指南

自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。

大模型玩家·2025-03-01 08:28

Java:动态代理

动态代理的特点是无侵入式的给代码增加额外的功能。

葡萄_成熟时_·2025-03-01 07:26

大语言模型原理与工程实践：手把手教你训练 7B 大语言模型自动化训练框架

大语言模型原理与工程实践：手把手教你训练7B大语言模型自动化训练框架关键词：大语言模型、7B模型、自动化训练、深度学习、神经网络、自然语言处理、分布式计算文章目录大语言模型原理与工程实践：手把手教你训练

AI天才研究院·2025-03-01 07:24

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）目录顺序如下国内外，垂直领域大模型Agent和指令微调等训练框架开源指令，预训练，rlhf，对话，agent训练数据梳理

代码讲故事·2025-03-01 07:54

OpenCV 入门（六） —— Android 下的人脸识别

OpenCV入门系列：OpenCV入门（一）——OpenCV基础OpenCV入门（二）——车牌定位OpenCV入门（三）——车牌筛选OpenCV入门（四）——车牌号识别OpenCV入门（五）——人脸识别模型训练与

tmacfrank·2025-03-01 07:53

【ES6】let 和 const 详解

文章目录一、let和const共同点1.不重复声明2.无变量提升3.作用域限制4.暂时性死区二、let和const不同点1.声明时区别2.赋值时区别一、let和const共同点我们以前都是使用var关键字来声明变量的在

一颗不甘坠落的流星·2025-03-01 07:52

ES6的let和const，一篇文章就够了

注意let声明变量不会进行变量提升无法在声明之前使用let声明的变量let声明的变量不容许重复声明预解析阶段会对let声明的变量锁定所有其他在同一个域下的声明都会报错let会开启块级作用域基础特性if(

小常--·2025-03-01 07:52

【读书笔记】《What is Mathematics》第一章：自然数

我数学渣锻炼自己解决问题的能力数据结构逻辑训练为将来转行数据科学做底子（也许永远都不会转）考研（emmm想考一个非全日制玩一玩，感觉非全日制很适合工科学生）嗯，有了以上的理由，所以一定要坚持下去✊为什么是这本书

还没入门的大菜狗·2025-03-01 07:21

BERT模型深入理解——自然语言处理的里程碑

BERT创新性地使用预训练+微调模式，先用预训练在大量无标注的语料中进行自监督学习，学习到语言的通用规律，然后在少量有标注的数据中进行有监督学习，适配更精细化的任务。这种模式一直影响到最新的大模型结

cufewxy2018·2025-03-01 06:47

怎样通过人机融合智能去除“机器幻觉”？

机器幻觉指的是人工智能模型在处理信息时，做出错误的、非理性的判断或预测，这种现象往往源于模型在训练数据中的偏差、不完全信息或过度依赖某些特定模式。

人机与认知实验室·2025-03-01 06:45

深度学习-【完整代码+数据集】逻辑回归预测乳腺癌检测案例

，做过高程，项目经理，架构师主要内容：Java项目开发、Python项目开发、大学数据和AI项目开发、单片机项目设计、面试技术整理、最新技术分享收藏点赞不迷路关注作者有好处文末获得源码机器学习分为：有监督学习

编程千纸鹤·2025-03-01 06:14

【附源码】基于opencv+pyqt5搭建的人脸识别系统

文章目录前言一、人脸检测二、人脸识别1.训练识别器2.识别人脸三、界面相关1.Qlabel展示图片2.表格跟随内容而增加和减少3.选择图片文件4.警告框四、源码获取总结前言人脸识别技术作为人工智能领域的一颗璀璨明珠

~啥也不会~·2025-03-01 06:12

如何在CentOS使用Docker搭建MinIO容器并实现无公网ip远程访问本地服务

文章目录前言1.Docker部署MinIO2.本地访问MinIO3.Linux安装Cpolar4.配置MinIO公网地址5.远程访问MinIO管理界面6.固定MinIO公网地址前言MinIO是一个开源的对象存储服务器，可以在各种环境中运行，例如本地、Docker容器、Kubernetes集群等。它兼容AmazonS3API，因此可以与现有的S3工具和库无缝集成。MinIO的设计目标是高性能、高可用

秋说·2025-03-01 05:31

计算机视觉与机器学习之文档解析与向量化技术加速多模态大模型训练与应用——文件向量化大模型！

目录前言1、TextIn文档解析技术1.1、文档解析技术1.2、目前存在的问题1.2.1、不规则的文档信息示例1.3、合合信息的文档解析1.3.1、合合信息的TextIn文档解析技术架构1.3.2、版面分析关键技术Layout-engine1.3.3、文档树提取关键技术Catalog-engine1.3.4、双栏1.3.5、非对称双栏1.3.6、双栏+表格1.3.7、无线表格1.3.8、合并单元格

知世不是芝士·2025-03-01 04:57

GitHub每日最火火火项目（2.28）

olmocr项目介绍：olmocr是由allenai开发的一款用于将PDF文件线性化，以适配大语言模型（LLM）数据集和训练的工具包。在大语言模型的训练过程中，数据的格式和预处理极为关键。

FutureUniant·2025-03-01 03:50

深入理解PyTorch模型训练所需的数据集

在PyTorch中，模型训练的核心是数据集（Dataset）。数据集是模型训练的基础，它提供了模型训练所需的所有输入数据和对应的标签。理解数据集的结构、加载方式以及如何预处理数据是成功训练模型的关键。

mosquito_lover1·2025-03-01 03:20

【deepseek】deepseek-r1本地部署-第三步：下载模型

其中1.5B轻量级，适合无独显的环境；8B适合带独显的环境；32B的超大杯适合专业开发环境，其推算准度比gpt弱10%。

Evenurs·2025-03-01 02:45

人类驾驶的人脑两种判断模式（反射和预判）--＞自动驾驶两种AI模式

另一种模式是物理时空图式推理模式，判断是基于预判预测，人脑把物理世界的物理动态时空规则（规律）图像已经编码为脑内符号（语言或图式）系统，通过预判预测的思维链推理过程（语言符号或物理时空图式的推理运算，映射推理出了物理世界的后续时空图像

liron71·2025-03-01 02:14

YOLOv9与YOLOv8创新点差异概述：

这意味着模型在训练过程中可能更加关注梯度信息的质量和流向，从而更有效地进行参数

奔强的程序·2025-03-01 02:42

华为机试(python)：链表

HJ48从单向链表中删除指定值的节点输入一个单向链表和一个节点的值，从单向链表中删除等于该值的节点，删除后如果链表中无节点则返回空指针。链表的值不能重复。

Mia~~·2025-03-01 01:10

华为机试 (10/4)

删除链表指定节点输入一个单向链表和一个节点的值，从单向链表中删除等于该值的节点，删除后如果链表中无节点则返回空指针。importjava.io.

科比的缪斯·2025-03-01 01:38

DeepSeek 最新发布 DeepEP：一款用于 MoE 模型训练和推理的开源 EP 通信库

采用Mixture-of-Experts（MoE）架构的大型语言模型在没有相应计算量增加的情况下显著提升了模型容量。然而，这种方法也引入了一些挑战，尤其是在GPU之间的通信方面。在MoE模型中，对于任何给定的token，只有一部分专家是活跃的，因此在设备之间高效地交换数据至关重要。传统的全对全（all-to-all）通信方法可能会造成瓶颈，增加延迟，并导致GPU资源利用不足。在对延迟敏感的场景中，

强哥之神·2025-03-01 01:37

项目沟通管理成功的关键密码，你掌握了吗？

项目沟通管理涵盖确保项目信息得以及时、恰当地规划、收集、生成、存储、检索、管理、控制、监督与最终处置的全部流程。

洋洋科创星球·2025-03-01 00:35

使用YOLOv8训练自己的数据集：详细教程

使用YOLOv8训练自己的数据集：详细教程引言YOLOv8是Ultralytics团队开发的新一代目标检测算法，以其高效的性能和简洁的API而闻名。

zru_9602·2025-02-28 22:52

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

微调像DeepSeek-R1这样的大规模人工智能模型可能需要大量资源，但借助正确的工具，在消费级硬件上进行高效训练是可行的。

硅基创想家·2025-02-28 22:51

谈谈DeepSeek-v3在算力约束下的出色工作

在算力约束下的出色工作原创渣Bzartbot2024年12月28日22:52上海寒冷的周末,加完班挤点时间读个论文吧.Deepseek-v3仅用了2048块H800GPU就超越了Llama3405B模型,要知道Meta训练

强化学习曾小健·2025-02-28 22:19

PyTorch 常见的损失函数：从基础到大模型的应用

PyTorch常见的损失函数：从基础到大模型的应用在用PyTorch训练神经网络时，损失函数（LossFunction）是不可或缺的“裁判”。

阿正的梦工坊·2025-02-28 22:19

DeepSeek五天开源5大杀器实测：训练成本砍半+推理速度起飞，算法圈已疯（附删库跑路教程）

算法圈惊呼：训练成本腰斩，AGI进度条拉爆！根本学不完，学不完速删祖传代码，GitHub星链已就位：https://github.com/deepseek-aiDay1：FlashMLA（

AI仙人掌·2025-02-28 22:18

Rust 中的 Vec＜u8＞类型

指定了向量元素的具体类型，这里是无符号8位整数（Unsigned8-bitInteger），即单个字节。

星河繁·2025-02-28 20:40

目标检测YOLO实战应用案例100讲-面向无人机图像的小目标检测

目录知识储备YOLOv8无人机拍摄视角小目标检测数据集结构环境部署说明安装依赖模型训练权重和指标可视化展示训练YOLOv8PyQt5GUI开发主窗口代码main_window.py使用说明无人机目标跟踪一

林聪木·2025-02-28 19:00

【EI复现】基于深度强化学习的微能源网能量管理与优化策略研究（Python代码实现）

本文目录如下：目录1概述2运行结果2.1有/无策略奖励2.2训练结果12.2训练结果23参考文献4Python代码、数据、文章1概述文献来源：根据微电网或微能源网是否与主电网相连接，可将其分为并网型和独立型

@橘柑橙柠桔柚·2025-02-28 19:58

基于深度学习的SSD口罩识别项目完整资料版（视频教程+课件+源码+数据）

算法原理回顾.mp403数据集收集.mp404自定义数据集.mp405生成anchors.mp406展示anchors.mp407计算iou值.mp408计算target.mp409定义模型.mp410模型训练

AI方案2025·2025-02-28 18:54

2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

A.通过低秩矩阵间接影响模型行为B.会直接修改原始模型权重✅C.支持参数回退操作D.训练效率高于全参微调解析：LoRA通过添加额外参数而非修改原权重实现微调当训练过程中出现

admin皮卡·2025-02-28 17:12

支持向量机（Support Vector Machine，SVM）详细解释（带示例）

目录基本概念线性可分情况线性不可分情况工作原理示例Python案例代码解释基本概念支持向量机是一种有监督的机器学习算法，可用于分类和回归任务。

浪九天·2025-02-28 16:37

清华大学《DeepSeek与AI幻觉》（无套路免费分享）

随着人工智能技术的飞速发展，以DeepSeek为代表的国产大模型正逐渐成为各行各业的重要工具。然而，AI在生成内容时常常会出现“幻觉”——即生成与事实不符、逻辑断裂或脱离上下文的内容。清华大学新闻与传播学院与人工智能学院联合推出的这篇教程《DeepSeek与AI幻觉》，系统性地讲解了AI幻觉的成因、评测方法及应对策略，旨在帮助用户更好地理解和使用AI工具。《DeepSeek与AI幻觉》：https

xiecoding.cn·2025-02-28 16:03

基于Python实现的【机器学习】小项目教程案例

以下是一个基于Python实现的【机器学习】小项目教程案例，结合的经典案例与最佳实践，涵盖数据预处理、模型训练与评估全流程，并附详细代码说明与结果分析：案例1：鸢尾花分类（SVM算法）数据集：IrisDataset

xinxiyinhe·2025-02-28 16:03

深入详解人工智能机器学习：强化学习

与监督学习不同的是，强化学习不依赖于给定的输入输出对，而是通过试探和反馈不断改进决策策略。强化

猿享天开·2025-02-28 15:58

【AI论文】SongGen：用于文本到歌曲生成的单阶段自回归Transformer模型

现有方法通常采用多阶段生成流程，导致训练和推理过程繁琐。在本文中，我们提出了SongGen，一个完全开源的单阶段自回归Transformer模型，专为可控歌曲生成而设计。

东临碣石82·2025-02-28 15:58

推荐频道

无监督预训练