LLaMA

Ollama实战指南：本地大模型一键部署与高效使用（2024最新版）

人民广场吃泡面·2025-03-31 17:23

5月6（信息差）

一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%https://hub.baai.ac.cn/view/36857LeetCode周赛超越80%人类选手，推理性能超Llama3-70B

Eqwaak00·2025-03-31 03:48

Orpheus-TTS 介绍，新一代开源文本转语音

以下从技术架构、核心优势、应用场景、对比分析、开发背景及最新进展等多维度展开深入解析：一、技术架构与核心设计基于Llama-3b的混合架构Orpheus-TTS采用Llama-3b作为基础架构，结合混合专家

魔王阿卡纳兹·2025-03-30 23:25

大模型 | 三大智能体平台Dify、Coze、FastGPT对比分析

今天给大家介绍3个最主流的智能体平台：一、DifyDify是一个开源的大语言模型应用开发平台，支持GPT、Mistral、Llama3等数百种模型。

大模型面试·2025-03-30 08:05

Ollama入门指南：部署与实战最新模型（DeepSeek-V3、Qwen2.5、Llama3）

一、Ollama核心优势与适用场景Ollama通过简化模型部署流程，支持开发者快速调用DeepSeek-V3（开源MoE模型）、Qwen2.5-Max（阿里编程旗舰模型）、Llama3（Meta基础模型

AndrewHZ·2025-03-30 02:32

LLama-Factory使用教程

本文是github项目llama-factory的使用教程注意，最新的llama-factory的github中训练模型中，涉及到本文中的操作全部使用了.yaml配置。

NLP小讲堂·2025-03-29 20:53

LLaMA-Factory实战推理

LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory安装环境gitclonehttps://github.com/hiyouga/LLaMA-Factory.gitcdLLaMA-Factory

GoAI·2025-03-29 20:21

Ubuntu LLaMA-Factory实战

一、UbuntuLLaMA-Factory实战安装：CUDA安装CUDA是由NVIDIA创建的一个并行计算平台和编程模型，它让开发者可以使用NVIDIA的GPU进行高性能的并行计算。首先，在https://developer.nvidia.com/cuda-gpus查看您的GPU是否支持CUDA保证当前Linux版本支持CUDA.在命令行中输入uname-m&&cat/etc/*release，应

张3蜂·2025-03-29 19:20

【人工智能】从 Llama 到 DeepSeek：开源大模型的演进与技术对比

本文从Meta的Llama系列开始，追溯开源大模型的演进历程，重点剖析其技术架构、训练方法和性能表现，并深入对比DeepSeek系列模型的创新之处。Llama奠定了

蒙娜丽宁·2025-03-29 19:19

使用llama.cpp量化模型

本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行4bit量化可以大幅减少大语言模型的内存占用，并提高推理效率。

LLM挣扎学员·2025-03-28 08:05

AI大模型全攻略：原理 · 部署 · Prompt · 场景应用

AI大模型（LargeLanguageModels,LLM）通常指参数规模在数十亿甚至千亿级别的深度神经网络模型，如GPT、Claude、BERT、LLaMA、Baichua

滴答滴答滴嗒滴·2025-03-28 04:05

【transformer理论+实战（三）】必要的 Pytorch 知识

+实战（三）】必要的Pytorch知识【Transformer理论+实战（二）】Lora本地微调实战--deepseek-r1蒸馏模型【Transformer理论+实战（一）】Transformer&LLaMA

造夢先森·2025-03-28 02:23

利用Ollama部署Llama 3/deepseek-r1模型，只需5行代码即可实现对话

文章目录1.前言2.通过Ollama在本地运行Llama3和deepseek-r13.通过ollama的pythonapi与大模型对话4.部分LLM参数4.1Temperature调节推理能力和创造力4.2TestingSeed

Lins号丹·2025-03-27 20:41

Deepseek V3、豆包、百度秒哒在AI人工智能无代码编程方面的差异分析?

技术背景与核心优势对比工具名称DeepseekV3豆包百度秒哒技术架构参数量：671B（实际激活37B）创新点：MLA（多头潜在注意力）与DeepSeekMoE结构支持上下文长度128k训练成本低（仅需Llama3.1

gzgenius·2025-03-27 16:39

LLM实践（二）——基于llama-factory的模型微调

目录SFT的lora微调1、环境部署2、准备数据与配置3、创建微调配置文件：yaml配置文件4、Lora微调：基于lora微调的yaml配置文件启动lora微调5、启动模型：基于llama-factory

lucky_chaichai·2025-03-27 09:44

大模型微调方法解析

随着大模型（如DeepSeek、LLaMA、QwQ等）的广泛应用，如何高效地通过微调（Fine-tuning）让通用模型适配垂直领域任务，成为行业关注的核心问题。

西木风落·2025-03-26 15:03

Aider + Llama 3.1：无需编码开发全栈APP

Llama3.1在代码生成方面的卓越表现在代码生成领域，Llama3.1的表现尤为出色，几乎成为了开源模型中的佼佼者。

七哥的AI日常·2025-03-26 03:06

国产670亿参数的DeepSeek：超越Llama2，全面开源

这款模型不仅在多项中英文公开评测榜单上超越了700亿参数的Llama2，而且在推理、数学和编程能力方面表现突出。

努力犯错·2025-03-26 02:51

使用LangChain和中文羊驼2.0搭建离线版的ChatPDF

了解如何使用llama.cpp量化大模型的方法。了解如何使用深度学习中常用的向量数据库。为了让更多的同学看懂，我会尽量写的小白一点。如果你是有经验的

大模型常客·2025-03-25 18:49

模型量化的原因和方法

优化模型参数以适应有限内存环境为了使具有大量参数（例如Llama3.1的4050亿个参数）的大型语言模型在合理内存的设备上高效运行，需要对模型进行一系列优化。

潇湘馆记·2025-03-25 06:27

视频知识库初步设想

下面是测试例子：入参:{"model":"deepseek-ai/DeepSeek-R1-Distill-Llama-8B","messages":[{"role":"system","content"

cainiaojunshi·2025-03-24 23:05

英伟达开源超强模型Nemotron-70B；OpenAI推出Windows版ChatGPT桌面客户端

Niemotron-70B的开发基于Llama-3.1，且开源数据集加强其训练效果。分析指出，英伟达的策略是

go2coding·2025-03-24 14:55

使用 Baseten 部署和运行机器学习模型的指南

无论是开源模型如Llama2和Mistral，还是专有或经过微调的模型，Baseten都能在专用GPU上运行。技术背景介绍Baseten提供了一种不同

shuoac·2025-03-24 03:17

OpenManus 架构的详细技术实现

一、OpenManus架构的详细技术实现1.核心分层架构的深度解析底层：LLM层模型选择与适配：OpenManus允许用户替换底层LLM（如mPLUG-Owl3、Qwen、Llama等），通过统一接口调用模型

大势下的牛马·2025-03-22 22:12

使用Ollama部署开源大模型

Ollama是一个简明易用的本地大模型运行框架,可以一键启动启动并运行Llama3、Mistral、Gemma和其他大型语言模型。安装MacOS，Windows用户直接在官网下载页下载安装包即可。

好好学习 666·2025-03-22 22:09

MiniMind：完全从 0 训练自己的大模型

是B站UP主近在远方的远开源的一个微型语言模型，改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。

三花AI·2025-03-22 15:49

llama源码学习·model.py[3]ROPE旋转位置编码(2)旋转角度生成代码

一、源码注释defprecompute_freqs_cis(dim:int,end:int,theta:float=1000.0):'''预先计算频率和复数的cosine和sine值，用于后续的PositionalEncodingdim:维度end:一个序列的最大长度或位置的最大值theta:用于计算频率的超参数，默认值为1000.0'''#生成一个等比数列，即频率（frequencies），这种

小杜不吃糖·2025-03-22 15:19

llama-factory 微调 Qwen2.5-3B-Instruct

0、资源链接官方readme:https://github.com/hiyouga/LLaMA-Factory/blob/v0.9.1/README_zh.md官方文档:https://llamafactory.readthedocs.io

coco_1998_2·2025-03-22 14:16

Deepseek-R1-Distill-Llama-8B + Unsloth 中文医疗数据微调实战

内容参考至博客与Bin_Nong1.环境搭建主要依赖的库(我的版本)：torch==2.5.1unsloth==2025.2.15trl==0.15.2transformers==4.49.0datasets=3.3.1wandb==0.19.62.数据准备-medical_o1_sft_Chinese经过gpt-o1的包含cot(思考过程)的中文医疗问答数据，格式与内容如下:"Question"

LuckyAnJo·2025-03-22 08:47

大模型最新面试题系列：微调篇之微调基础知识

需存储所有参数的梯度（如GPT-3175B模型全量微调需约2.3TB显存）PEFT：以LoRA为例，仅需存储低秩矩阵参数（7B模型使用r=16的LoRA时显存占用减少98%）实战经验：在A10080GB显存下，全量微调LLaMA

人肉推土机·2025-03-22 05:42

【AI 天才研究院】从 MoE 架构到 AGI：DeepSeek 将给未来带来哪些影响？

具体而言，DeepSeekMoE架构实现了：仅用大约40%的计算量，便达到了与LLaMA2-7B差不多的效果。

AI天才研究院·2025-03-21 22:40

OpenBayes 教程上新丨单卡A6000轻松部署Gemma 3，精准识别黄仁勋演讲实拍

日晚间，谷歌发布了「单卡大魔王」Gemma3，号称是能在单个GPU或TPU上运行的最强模型，真实战绩也证实了官方blog所言非虚——其27B版本击败671B的满血DeepSeekV3，以及o3-mini、Llama

·2025-03-20 18:00

GGUF量化模型技术解析与DeepSeek-R1-Distill-Llama-8B选型指南

```markdown#【完全指南】GGUF量化技术与DeepSeek-R1模型选型：从入门到部署##什么是模型量化？（小白扫盲版）###1.1量化就像"模型减肥术"-**传统模型**：每个参数用32位浮点数（好比高清无损图片）-**量化模型**：用4-8位整数存储（类似手机压缩照片）-**核心原理**：`FP32→Int8/Int4`的数学映射，保留关键特征###1.2为什么要量化？|对比项|原

每天三杯咖啡·2025-03-20 16:29

Transformers模型版本和lm_eval老版本冲突问题ImportError: cannot import name ‘initialize_tasks‘ from ‘lm_eval.task

Transformers模型版本和lm_eval老版本冲突问题1问题背景在LLM评测的时候，要用lm_eval模型，而对于像是llama3/Mistrual等比较新的模型，较低的Transformers

neverwin6·2025-03-20 02:58

KV 缓存简介

KV缓存是Transformer架构（如GPT、LLaMA等大模型）在自回归生成任务（如文本生成）中，用于加速推理过程的核心技术。

dev.null·2025-03-19 17:49

使用LoRA微调LLaMA3

使用LoRA微调LLaMA3的案例案例概述在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用HuggingFace的Transformers库来完成这个过程。

想胖的壮壮·2025-03-19 16:12

llama.cpp 和 LLM（大语言模型）

llama.cpp和LLM（大语言模型）的介绍，以及两者的关联与区别：1.LLM（LargeLanguageModel，大语言模型）定义：LLM是基于深度学习技术（如Transformer架构）构建的超大参数量的自然语言处理模型

这个懒人·2025-03-18 14:12

LLaMA-Factory 微调训练

LLaMA-Factory微调训练该框架功能，标注-微调-导出-合并-部署，一整条流程都有，而且训练时消耗的gpu算力也会小一些一，安装（推荐在linux中训练，win可以用wsl+docker）gitclonehttps

zsh_abc·2025-03-18 14:40

llama-factory微调

大模型微调实操--llama-factoryllama-factory环境安装前置准备英伟达显卡驱动更新地址下载NVIDIA官方驱动|NVIDIAcuda下载安装地址CUDAToolkit12.2Downloads

AI Echoes·2025-03-18 13:05

部署微调框架LLaMA-Factory

LLaMAFactory1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐2.LLaMAFactorygithub链接hiyouga/LLaMA-Factory:

高原魔女·2025-03-18 00:40

ChatGPT智能聊天机器人实现

智能聊天机器人的完整开发指南，包含技术选型、核心代码逻辑和推荐学习资源：—云端平台整理一、技术架构与工具核心模型基座模型：HuggingFaceTransformers库（如GPT-2/GPT-3.5TurboAPI/LLaMA2

云端源想·2025-03-17 14:57

AI大模型学习路线：从入门到精通的完整指南【2025最新】

引言近年来，以GPT、BERT、LLaMA等为代表的AI大模型彻底改变了人工智能领域的技术格局。它们不仅在自然语言处理（NLP）任务中表现卓越，还在计算机视觉、多模态交互等领域展现出巨大潜力。

AI大模型-大飞·2025-03-17 10:27

主流开源大模型能力对比矩阵

模型名称核心优势主要局限Llama2/3✅多语言生态完善✅Rotary位置编码✅GQA推理加速⚠️数据时效性差⚠️隐私保护不足Qwen✅千亿参数规模✅中文语境优化✅复杂文本生成⚠️需高性能硬件⚠️领域知识需二次训练

时光旅人01号·2025-03-16 12:09

LLaMA-Factory 训练数据默认使用 instruction、input、output 三个 key

在LLaMA-Factory进行SFT（Directivesupervisionfine-tuning指令监督微调）时，训练数据的格式非常重要，因为大模型依赖标准化的数据结构来学习指令-响应模式。

背太阳的牧羊人·2025-03-16 08:43

linux（ubuntu）中Conda、CUDA安装Xinference报错ERROR: Failed to build (llama-cpp-python)

一、常规办法llama-cpp-python依赖CMake、Make和g++来编译，所以可能是缺少依赖或者环境配置不对。按照以下步骤排查问题并解决：1.确保Python版本符合要求llama

小胡说技书·2025-03-16 03:12

大模型火爆 2025：LLaMA、Qwen、DeepSeek 核心原理+就业秘籍，快速入门 AI 工程师

以下是详细拆解，让小白也能掌握：LLaMA系列模型核心原理详解：什么是LLaMA？：LLaMA是一个基于人工智能的语言模型，像一个超级聪明的聊天机器人，能理解和生成人类语言。

weixin_40941102·2025-03-16 03:38

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于jsonl文件中读取新词列表(新中文词汇)→for循环去重实现词表的扩展(中文标记的新词汇)→保存新的分词模型

一个处女座的程序猿·2025-03-15 18:38

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件