LLaMA

Mixture of Experts（MoE）学习笔记

不过在这之后开源社区并没有对MoE架构进行很多的探索，更多的工作还是聚焦在预训练新的大模型，在Llama2或其他模型上做Fine-tune，以及扩展大模型的ContextLength。12月8号

南七小僧·2025-02-03 12:44

最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

Meta发布Llama3系列模型，号称「最强大的开源大模型」，震撼科技圈！毫不夸张地说，AI大模型正在颠覆程序员的价值！

大模型应用·2025-02-02 21:11

本地部署LLM工具大比拼：谁才是你的智能之选？

Python_金钱豹·2025-02-02 21:10

国产大模型 DeepSeek，能跟 ChatGPT 一战，还不用梯子，确定不试试？

集成显卡·2025-02-02 21:38

什么是LLM？看这一篇就够了！

GPT、LLaMA、M

Python程序员罗宾·2025-02-02 14:50

在Windows上用Llama Factory微调Llama 3的基本操作

这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客也可以参考LlamaFactory的Readme：GitHub-hiyouga

蛐蛐蛐·2025-02-02 13:16

【llm对话系统】大模型 Llama 源码分析之并行训练方案

Llama作为当前最流行的开源大模型之一，其训练代码中采用了多种并行技术。本文将深入Llama的训练代码，分析其并行训练方案，主要关注参数并行和部分结构参数共享。

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

本文将深入分析LoRA的原理，并结合Llama源码解读其实现逻辑，最后探讨LoRA的优势。2

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。Transformer的核心组件是自注意力(Self-Attention)机制，它允许模型捕捉输入序列中不同位置之间的关系。然而，标准的自注意力机制的计算复杂度与序列长度的平方成正比，这使得它在处理长序列时效率低下。为了解决这个问题，FlashAttention被提出，它是一种高

kakaZhui·2025-02-02 13:43

llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3

llama.cppLLM_CHAT_TEMPLATE_DEEPSEEK_31.`LLAMA_VOCAB_PRE_TYPE_DEEPSEEK3_LLM`2.

Yongqiang Cheng·2025-02-02 12:10

【明明安装flash-attn成功，但是import的时候报错】

Thismodelingfilerequiresthefollowingpackagesthatwerenotfoundinyourenvironment:flash_attn.明明安装flash-attn成功，但是import的时候报错问题描述：运行Llama2

厂泉心·2025-02-02 12:07

【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比

1.引言近年来，大型语言模型(LLM)取得了令人瞩目的进展，其中Llama、Qwen和ChatGLM是三个备受关注的开源模型。

kakaZhui·2025-02-02 07:54

开源LLMs导览：工作原理、顶级LLM列表对比

4.1BERT4.2LLaMA(LargeLanguageModelM

万俟淋曦·2025-02-01 23:11

深入探索Llama.cpp：在LangChain中使用llama-cpp-python

深入探索Llama.cpp：在LangChain中使用llama-cpp-python随着大语言模型（LLMs）的普及，开发者需要更有效的方法来部署和使用这些模型。

dfvcbipanjr·2025-02-01 16:10

使用Ollama本地化部署DeepSeek

多模型支持：兼容多种开源模型，如LLaMA、DeepSeek等。高效管理：提供命令行工具，方便用户下载

·2025-02-01 16:48

Llama大型语言模型原理详解

Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。

摆烂大大王·2025-01-31 11:40

中国Deepseek超Llama 4触发Meta

恐慌模式始于DeepseekV3，它在性能测试中已经超过了Llama4。更让人尴尬的是

极道Jdon·2025-01-31 08:13

开源大模型（LLM）下载

1、找到对应的模型文件，比如Meta-Llama-3-8B，然后找到下载入口2、点击模型下载，有2种下载方式，这里我们通过git下载（注意由于模型文件一般都比较大，直接使用gitclone下载时会有问题

baidu_20834545·2025-01-31 06:25

【llm对话系统】大模型源码分析之llama模型的long context更长上下文支持

1.引言Llama模型的一个重要特性是支持长上下文处理。本文将深入分析Llama源码中实现长上下文的关键技术点，包括位置编码(positionembedding)的外推方法、注意力机制的优化等。

kakaZhui·2025-01-30 12:57

Llama 3：开源大模型的里程碑式突破

标题：Llama3：开源大模型的里程碑式突破文章信息摘要：Meta通过Llama3展现了开源LLM的重大突破：采用超大规模训练数据和多阶段训练方法（SFT、rejectionsampling、PPO和DPO

XianxinMao·2025-01-30 08:50

【深度分析】Deepseek为什么会这么爆火？

这场看似技术跃迁的盛宴，实则是算力霸权崩塌的末日钟声——当中国团队用1/10的显卡数量训练出性能碾压Llama3的模型，硅谷引以为傲的暴力堆料范式正在沦为数字时代的蒸汽机车。

精通代码大仙·2025-01-30 06:35

如何评价deepseek上线的deepseek-V3模型？怎么使用？

该模型在多项评测中表现出色，超越了Qwen2.5-72B和Llama-3.1-405B等开源模型，并与世界顶尖的闭源模型如GPT-4o和Claude-3.5-Sonnet相媲美。

百态老人·2025-01-30 01:36

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

本文将深入探讨LLaMA模型中使用的RotaryEmbedding（旋转式嵌入）位置编码方法，并对比传统的Transformer位置编码方案，分析其设计与实现的优势。1.传

kakaZhui·2025-01-29 23:17

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。

大模型柳儿·2025-01-29 18:03

为什么提到各种本地化部署模型软件时总要提到 llama.cpp?

为什么提到各种本地化部署模型软件时总要提到llama.cpp?llama.cpp是一个完整的开源项目，而不是单独的.cpp文件。

风雅GW·2025-01-29 18:00

Llama.cpp与Python的完美结合：快速入门指南

Llama.cpp与Python的完美结合：快速入门指南引言在现代AI的浪潮中，Llama.cpp提供了一种便捷的方法，将大型语言模型(LLM)集成到您的项目中。

nseejrukjhad·2025-01-29 17:29

Llama-CPP-Python 教程

Llama-CPP-Python教程项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpp-python1.项目介绍Llama-CPP-Python是一个Python

胡寒侃Joe·2025-01-29 17:27

RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术

RAG：AI大模型联合向量数据库和Llama-index，助力检索增强生成技术在大模型爆发的时代，快速准确地从大量数据中检索出有价值的信息变得至关重要。

AI学习不迷路·2025-01-29 10:21

A7. Jenkins Pipeline自动化构建过程，可灵活配置多项目、多模块服务实战

此时我们在构建之前也要执行不可用的镜像清除操作；4.本地LLama大模型服务地址，如何以容器部署时作

smart_ljh·2025-01-29 02:01

A6.Springboot-LLama3.2服务自动化构建（三）——编写Pipeline构建仓库初始化脚本

下面我们接着上一篇文章《A5.Springboot-LLama3.2服务自动化构建（二）——Jenkins流水线构建配置初始化设置》继续往下分析，编写Pipeline构建脚本。

smart_ljh·2025-01-29 00:50

Ollama 可以设置的环境变量

Llama3.1是Meta（Facebook的母公司）发布的一系列最先进的开源大语言模型。Llama3

刘贤松·2025-01-28 22:02

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory

心心喵·2025-01-28 20:14

llamafactory0.9.0微调qwen2vl

LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factory·GitHubEfficientlyFine-Tune100+LLMsinWebUI

Kun Li·2025-01-28 15:07

实验踩坑 flash_attn_2_cuda undifiend symol

报错RuntimeError:Failedtoimporttransformers.models.llama.modeling_llamabecauseofthefollowingerror(lookuptoseeitstraceback

崩溃李·2025-01-28 00:51

探索Llama 3.1：深入理解其多语言与长上下文处理能力

摘要Llama3.1，一款先进的语言模型，以其庞大的参数量和卓越的性能而闻名。

技术猿18870278351·2025-01-27 08:00

对话小羊驼vicuna

文章目录1.gpu租用2.公网网盘存储实例/数据3.登录实例4.预训练模型下载5.llama、alpaca、vicuna的前世今生6.对话Vicuna（1）llama-2-7b-hf（2）vicuna-

Always_Shine·2025-01-27 01:44

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1/Firefly-LLaMA2

伊织产研·2025-01-27 00:07

Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理

原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch了解在CPU上部署Meta*Llama3时如何减少模型延迟2024

lichunericli·2025-01-27 00:37

Llama3本地部署的解决方案

本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。文

herosunly·2025-01-27 00:36

如何使用Llama-2-7b-chat-hf模型进行对话生成

如何使用Llama-2-7b-chat-hf模型进行对话生成Llama-2-7b-chat-hf项目地址:https://gitcode.com/mirrors/NousResearch/Llama-2

娄泳含·2025-01-27 00:36

探索Llama Recipes：Meta Llama模型的实用示例库

现在，有了llama-recipes这个开源项目，开发者可以轻松上手并充分利用这些模型。本文将引导您了解这个项目，它的技术优势，适用场景以及鲜明特点。项目

郁英忆·2025-01-27 00:05

深入解析vLLM：加速大模型推理的高效框架

深入解析vLLM：加速大模型推理的高效框架引言在现代深度学习应用中，大型语言模型（如GPT、GLM、LLaMA、Qwen等）的推理速度和资源利用率成为关键挑战。

秋声studio·2025-01-27 00:34

Hugging Face Transformers and Meta Llama

`src/transformers/models/llama`2.MetaLlama2.1.Llama32.2.Llama22.3.LlamaCookbook:TheOfficialGuidetobuildingwithLlamaMod

Yongqiang Cheng·2025-01-27 00:02

DeepSeek 公开新的模型权重

DeepSeek-V3是一款开源大语言模型，在关键基准测试中超越了Llama3.1405B和GPT-4o，尤其在编码和数学任务中成绩优异。

数据分析能量站·2025-01-24 19:22

LLaMA Pro是什么相比于lora full freeze有什么区别怎么使用

LLaMAPro是一种基于LLaMA架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。

Ven%·2025-01-24 16:58

使用Google Cloud Vertex AI进行文本和多模态生成

通过VertexAI，用户可以利用不同的基础模型，如Gemini、Palm、和Llama，来实现复杂的AI应用。

sagvWSRJHMNEB·2025-01-24 06:07

人工智能与人工计算的发展——孙凝晖院士

OpenAI公司推出一款人工智能对话聊天机器人ChatGPT，其出色的自然语言生成能力引起了全世界范围的广泛关注，2个月突破1亿用户，国内外随即掀起了一场大模型浪潮，Gemini、文心一言、Copilot、LLaMA

一位安分的码农·2025-01-24 01:26

阿里云docker镜像仓库

一、阿里云控制台搜：容器镜像服务二、选个人版,企业版收费设置命名空间andy设置仓库名例如llama三、使用1、登录dockerlogin--username=***registry.cn-hangzhou.aliyuncs.com2

Ai君臣·2025-01-24 00:52

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM3，InternLM2，Llama3.2

张登杰踩·2025-01-23 17:03

个性化的语言模型构建思路

将开源模型（如Llama3、Qwen、Falcon3…等）转变为个人专属的大语言模型，通常涉及知识库的构建、微调（fine-tuning）和模型定制等步骤。

由数入道·2025-01-23 11:19

推荐频道