Mini

MiniMind：完全从 0 训练自己的大模型

是B站UP主近在远方的远开源的一个微型语言模型，改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。其目标是把上手LLM的门槛无限降低，直接从0开始训练一个极其轻量的语言模型，最低仅需2G显卡即可推理训练！

三花AI·2025-03-22 15:49

MiniMind：3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

MiniMind：3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！

哈罗·沃德·2025-03-22 15:19

minimind2学习：（1）训练

1、数据下载参考：https://github.com/jingyaogong/minimind/tree/master2、预训练训练6个epochspythontrain_pretrain.py--epochs6

溯源006·2025-03-22 14:47

MiniMind

数据集分类：tokenizer训练集：这个数据集用于训练分词器（tokenizer），是文本处理中的一个重要步骤。它可以帮助模型更好地理解文本数据的结构。Pretrain数据：这是用于预训练模型的数据集，它可以帮助模型学习语言的基本结构和特征。SFT数据：SFT（SupervisedFine-Tuning）数据集，用于监督式微调，可以提高模型在特定任务上的性能。DPO数据1和DPO数据2：这两个数

亚伯拉罕·黄肯·2025-03-22 14:46

LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混

LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混合精度优化

一个处女座的程序猿·2025-03-22 14:43

VMWare Centos7虚拟机安装并运行MongoDB

虚拟机：CentOS-7-x86_64-Minimal-2009MongoDB：mongodb-linux-x86_64-rhel70-5.0.5运行起来#Step1.安装依赖yuminstalllibcurlopenssl-y

Jay_Wooz·2025-03-22 10:37

普通大众航拍、娱乐、户外、创作等情况对无人机的筛选推荐

HubsanX4特点：价格低廉：适合预算有限或初次体验用户续航短：约5-10分钟功能简化：无专业摄像头，主打基础飞行乐趣适合场景：儿童娱乐、新手练习操控2.中端级（1000-3000元）推荐机型：大疆DJIMini2SE

yychen_java·2025-03-22 07:36

BT-Basic函数之首字母M

BT-Basic函数之首字母M文章目录BT-Basic函数之首字母Mmassstorageismergemeterminimumwaitmodulepinassignmentmsecmsimsi$massstorageismassstorageis

可可南木·2025-03-22 00:30

GitHub霸榜神器！NextChat领衔DeepSeek全栈开发范式

项目概况与生态定位NextChat（原ChatGPT-Next-Web）是GitHub上斩获81.2K星标的现象级开源项目，定位为"轻量级AI助手终端"，支持DeepSeek、Claude、GPT-4、Gemini

大禹智库·2025-03-21 20:57

SpringBoot整合阿里云、腾讯云、minio、百度云、华为云、天翼云、金山云、七牛云、移动云、网易数帆等等有关于S3协议下文分布式对象存储接口

前提：在可运行的SpringBoot的项目内引用以下JAR包整个工具的代码都在Gitee或者Github地址内gitee：solomon-parent:这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodbgithub：GitHub-ZeroNing/solomon-parent:这个项目主要是总结了工作上遇到

java初学者分享·2025-03-21 16:18

谷歌：对比学习将LLM转为嵌入模型

标题：GeminiEmbedding:GeneralizableEmbeddingsfromGemini来源：arXiv,2503.07891摘要在本报告中，我们介绍了Gemini嵌入，这是一种最先进的嵌入模型

大模型任我行·2025-03-21 13:59

Flink启动任务

Python机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Flink前言StreamExecutionEnvironmentLocalExecutorMiniClusterStreamGraph

swg321321·2025-03-21 12:18

Adam-mini：深度学习内存效率新突破

标题：Adam-mini：深度学习内存效率新突破文章信息摘要：Adam-mini优化器在深度学习领域展现出突破性潜力，尤其在内存效率和计算性能上表现卓越。

XianxinMao·2025-03-21 08:42

实测 Gemini 2.0 Flash 图像生成：多模态 AI 的创作力边界

近日，Google发布了Gemini2.0Flash的实验性图像生成功能（Gemini2.0Flash(ImageGeneration)Experimental）。

·2025-03-21 03:54

华为OD机试九日集训第2期 - 按算法分类，由易到难，循序渐进，提升编程能力和解题技巧，从而提高机试通过率

数据结构与算法大纲五、华为OD九日集训第1期第1天、逻辑分析第2天、队列第3天、双指针第4天栈第5天滑动窗口第6天、二叉树第7天、并查集第8天、矩阵第9天、贪心算法六、国内直接使用满血ChatGPT4o、o1、o3-mini-high

哪吒·2025-03-21 02:48

【sglang】sglang出现如下报错sglang/srt/server.py“, line 631, in _wait_and_warmup assert res.status_code

mostrecentcalllast):[2025-03-1110:17:39]Initializationfailed.warmuperror:Traceback(mostrecentcalllast):File"/miniconda

深度求索者·2025-03-20 23:24

效果媲美GPT4V的多模态大型语言模型MiniCPM-V-2_6详细介绍

MiniCPM-V-2.6概述1.1模型背景MiniCPM-V-2.6是由nuoan开发的一款达到GPT-4V级别的多模态大型语言模型（MLLM）。

我就是全世界·2025-03-20 19:54

OpenBayes 教程上新丨单卡A6000轻松部署Gemma 3，精准识别黄仁勋演讲实拍

月12日晚间，谷歌发布了「单卡大魔王」Gemma3，号称是能在单个GPU或TPU上运行的最强模型，真实战绩也证实了官方blog所言非虚——其27B版本击败671B的满血DeepSeekV3，以及o3-mini

·2025-03-20 18:00

vue中实现element-ui dialog的弹窗拖拽+水平方向伸缩+最小化+展开/收缩

value}=binding;//弹框可拉伸最小宽高letminWidth=400;letminHeight=300;//初始非全屏letisFullScreen=false;//初始非最小化letisMinimum

胡八一、·2025-03-20 13:39

taro-vue2 如何使用国密加解密

val.charCodeAt());returndecodeURIComponent(escape(String.fromCharCode(...strBuffer)));constsm2=require('miniprogram-sm-cry

周亚鑫·2025-03-20 09:01

gorgor在码农·2025-03-20 00:45

Mininet树形拓扑解析

在Mininet中，tree,depth,fanout用于定义树形拓扑的参数，其中：depth：树的深度（层数），包括根节点所在的层。fanout：每层节点的分叉数（每个节点连接的子节点数量）。

漫谈网络·2025-03-19 22:59

GPT-4o mini小型模型具备卓越的文本智能和多模态推理能力

GPT-4omini是首个应用OpenAI指令层次结构方法的模型，这有助于增强模型抵抗越狱、提示注入和系统提示提取的能力。这使得模型的响应更加可靠，并有助于在大规模应用中更安全地使用。

FlowUs息流使用宝典·2025-03-19 14:55

24B参数模型碾压gpt4o-mini！推理速度超快！vLLM本地部署Mistral-Small 3.1+全方位测试多模态大模型！超越Gemma3.1，最适合企业项目的大模型！中文OCR能力也不弱

本篇笔记所对应的视频https://www.bilibili.com/video/BV1Q9XLYiEwD/MistralAI最新推出的MistralSmall3.1模型无疑是近期科技界的一大亮点。这款由法国AI实验室MistralAI开发的开源多模态模型，以其卓越的性能和灵活性，为开发者、企业和研究人员带来了全新的可能性。凭借24B参数、对文本与图像的处理能力，以及在多个关键指标上的突破，Mis

AI超元域·2025-03-19 12:14

Windows 11操作系统 ndis.sys 驱动无限蓝屏问题修复

表现为n1、待机一段时间后蓝屏2、进入操作系统正常上面会蓝屏...根据查看系统目录Minidump内的dump文件（内核）大约可以得知都是Windows11内置提供的一些虚拟网卡驱动导致的ndis.sys

liulilittle·2025-03-19 01:35

构成交替字符串需要的最小交换次数(Minimum Number of Swaps to Make the Binary...)[中等]——分析及代码（Java）

LeetCode——1864.构成交替字符串需要的最小交换次数[MinimumNumberofSwapstoMaketheBinaryStringAlternating][中等]——分析及代码[Java

江南土豆·2025-03-19 01:03

使字符串平衡的最小交换次数(Minimum Number of Swaps to Make the String Balanced)[中等]——分析及代码（Java）

LeetCode——5840.使字符串平衡的最小交换次数[MinimumNumberofSwapstoMaketheStringBalanced][中等]——分析及代码[Java]一、题目二、分析及代码

江南土豆·2025-03-18 07:43

在重构ZUI中对用户界面实现的思考

首先节省内存，这点在像arduinoprominirom32kram2k这类配置极低的单片机来说显得尤为重要。在面向过程中控件的绘制是通过函数来实现的，例如zui的text函数Text(0,0,

zanllp·2025-03-18 05:55

LLaVA-Mini用一个视觉Token革新多模态大模型

SGG_CV·2025-03-18 05:18

实战级AI变现路线：从0到3万/月的3大黄金赛道拆解

如云南菌菇）+情感共鸣点（留守老人）+产品植入位（土特产）"生成结构化选题指令示例：{"prompt":"生成三农领域爆款选题，输出JSON结构"}日产能200+选题，筛选率15%分镜工业化生产使用Gemini2.0flash

zhz5214·2025-03-18 02:56

Pytorch Dataloader入门

dataloader.py#L71PytorchDatasettutorial:tutorials/beginner/basics/data_tutorial.html理论：在训练模型时，我们通常希望：以“mini-batch

gy-7·2025-03-17 21:16

实现一个轻量级 C++ 单元测试框架

如何实现一个轻量级C++单元测试框架——MiniTest在C++项目开发中，单元测试是保证代码质量的重要手段。

獨梟·2025-03-17 20:38

MinIo前后端实现

这几天想玩玩Minio，整体来说简单使用起来不复杂（当然也有可能是我配置的太少了）Minio下载我是通过Dokcer在虚拟机上下载的（Docker真好用啊）拉取Minio镜像dockerpullminio

陌路物是人非·2025-03-17 19:34

[QMT量化交易小白入门]-二十二、deepseek+cline+vscode,让小白使用miniQMT量化交易成为可能

本专栏主要是介绍QMT的基础用法，常见函数，写策略的方法，也会分享一些量化交易的思路，大概会写100篇左右。QMT的相关资料较少，在使用过程中不断的摸索，遇到了一些问题，记录下来和大家一起沟通，共同进步，自己淋过雨了，希望大家都有一把伞。文章目录相关阅读DeepSeek新用户注册cline集成指令测试相关阅读小白也能做量化：零门槛QMT、Ptrade免费送量化交易入门：如何在QMT中配置Pytho

python自动化工具·2025-03-17 12:10

P=NP问题

-**NP类（NondeterministicPolynomialTime）**：包含所有

太翌修仙笔录·2025-03-17 09:48

Google Gemini 大模型技术架构剖析

▼最近直播超级多，预约保你有收获近期直播：《从原理到实践教你做出一个Gemini/ChatGPT》—1—Gemini技术架构剖析Google新的多模态模型家族Gemini，它在文本、图像、音频、视频等方面具有卓越的能力

musicml·2025-03-17 08:15

深入解析两大AI模型的架构与功能

其中，Google的Gemini和OpenAI的ChatGPT作为两大代表性模型，各自在技术和应用上展现出了卓越的性能。

草莓屁屁我不吃·2025-03-17 08:12

小语言模型（SLM）技术解析：如何在有限资源下实现高效AI推理

尽管大语言模型（LLM）如GPT-4、GeminiUltra等在复杂任务中表现惊艳，但其高昂的算力成本、庞大的参数量（通常超过千亿）和依赖云端的特性，使得实际落地面临诸多瓶颈。

硅基打工人·2025-03-16 22:52

Advanced Embedded Systems Design

AdvancedEmbeddedSystemsDesignCE323/860WeiyongSiMiniprojectCE323/CE860AdvancedEmbeddedSystemsDesignAssignmentTheassignmentisworth30%

·2025-03-16 21:37

关于stable diffusion的lora训练在linux远程工作站的部署

可以利用miniconda或者anaconda建立虚拟环境来解决。

回天一梦·2025-03-16 19:02

UE中：运行时（伪）无限细分网格

先看效果：UE：运行时（伪）无限细分网格实际代码如下：InfiniteGrid.h#pragmaonce#include"CoreMinimal.h"#include"GameFramework/Actor.h

Dawn·张·2025-03-16 18:00

Miniconda 安装及使用

文章目录前言1、Miniconda简介2、Linux环境说明2.1、安装2.2、配置2.3、常用命令2.4、常见问题及解决方案前言在Python中，“环境管理”是一个非常重要的概念，它主要是指对Python

achi010·2025-03-16 15:32

【云原生之kubernetes实战】在k8s环境中高效部署minio对象存储（详细教程）

【云原生之kubernetes实战】在k8s环境中高效部署minio对象存储（详细教程）前言一、minio介绍1.1MinIO简介1.2主要特点1.3主要使用场景二、相关知识介绍2.1本次实践存储介绍2.2k8s

江湖有缘·2025-03-16 14:57

第四章：高级特性与最佳实践 - 第四节 - Tailwind CSS CSS 提取和打包优化

CSS提取策略MiniCssExtractPlugin配置//webpack.config.jsconstMiniCssExtractPlugin=require('mini-css-extract-plugin

·2025-03-16 12:27

YOLO11 环境安装

1.安装Anaconda/Miniconda在Ubuntu中安装MinicondaAnaconda/Minicondapip配置清华镜像源Anaconda/Miniconda基本操作命令2.创建python

你喜欢喝可乐吗？·2025-03-16 12:13

添加 ChatGPT/Grok/Gemini 到浏览器搜索引擎

添加ChatGPT/Grok/Gemini到浏览器搜索引擎添加ChatGPT/Grok/Gemini到浏览器搜索引擎如何添加步骤1:打开浏览器设置步骤2:添加新搜索引擎步骤3:保存设置注意事项添加ChatGPT

YiYueHuan·2025-03-16 12:13

带大家vue + springboot/springcloud +minio(可选) 实现文件分片上传和断点续传介绍，问题，原理及前后端完整源码 (模式2:后台集群部署模式）

回顾与介绍本文承接上文《vue+springboot/springcloud+minio(可选)实现文件分片上传和断点续传介绍，问题，原理及前后端完整源码(模式1:后台单点部署模式）》本篇主要针对后台是集群模式下部署时的分片上传方案本篇基于

峡谷电光马仔·2025-03-16 12:39

WinSW 安装 Jar 为服务

utm_source=bbsseo2.sample-minimal.xmlhttps://github.com/winsw/winsw/releases/download/v2.12.0/sample-minimal.x

baihb1024·2025-03-16 08:16

oracle数据库监听日志满了（4G）处理步骤

如果是windows服务器，且数据库安装在D盘，可参考如下路径：D:\app\Administrator\di

cyhysr·2025-03-16 03:43

《今日AI-人工智能-编程日报》-源自2025年2月28日

国产模型Kimi发布k1.6版本：国产模型Kimi发布的k1.6版本，在编程任务评测中超越GPTo3-mini，首次登顶榜首。其“快思考”架构使响应速度提升至秒级，部署成本下降40%。企业动态贵州广电

小亦编辑部·2025-03-15 22:59

推荐频道