Llama2

基于llama_cpp 调用本地模型（llama）实现基本推理

背景llama_cpp是一个基于C++的高性能库（llama.cpp）的Python绑定，支持在CPU或GPU上高效运行LLaMA及其衍生模型（如LLaMA2），并通过量化技术（如GGUF格式）优化内存使用

月光技术杂谈·2025-03-11 10:40

【大模型技术】LlamaFactory 的原理解析与应用

LlamaFactory是一个基于LLaMA系列模型（如LLaMA、LLaMA2、Vicuna等）的开源框架，旨在帮助开发者和研究人员快速实现大语言模型（LLM,LargeLanguageModel）的微调

大数据追光猿·2025-03-07 00:32

Chinese-Llama-2-7b 项目使用教程

Chinese-Llama-2-7b项目使用教程Chinese-Llama-2-7b开源社区第一个能下载、能运行的中文LLaMA2模型！

朱均添Fleming·2025-03-06 23:55

LLaMA（Meta开源的AI模型）与Ollama（本地运行和管理大模型的工具）简介（注意这俩虽然名字相似但没有直接联系）

**Llama2(2023年7月)**3.

Dontla·2025-03-04 04:54

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

Llama3技术剖析与部署相较于Llama2，Llama3的改变其实并不是太大。Tokenizer变成了128K的词表，使用了GQA，不在是原来的只在Llama2-70B里使用了。

中年猿人·2025-03-03 17:49

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

一、架构设计理念Llama2作为Meta开源的商用级大语言模型，其架构设计体现了三大核心原则：效率优先：在7B/13B/70B参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌

AI时代已来！·2025-03-02 14:46

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）对后(P

心心喵·2025-03-01 04:25

Ollama微调

它支持多种流行的开源大语言模型，如Llama2、Qwen2.5等。在上一篇文章中我们部署Ollama，并使用简单命令管理Ollama。接下来我们学习Ollama的高级应用。

软件不硬·2025-02-26 19:08

Meta官宣Llama3：迄今为止最强大的开源大模型

领先的性能新的8B和70B参数Llama3模型是Llama2模型的重大飞跃，为这些规模的LLM模型确立了新的先进水平。得

·2025-02-24 19:09

科普：大模型使用中的temperature 与 top-k及其它

在大语言模型（如通过Ollama运行的llama2模型）中，temperature和top-k是两个用于控制文本生成过程的重要参数，它们在功能上相互独立，但又共同影响着模型生成文本的随机性和多样性。

人工干智能·2025-02-22 23:35

大模型（含deepseek r1）本地部署利器ollama的API操作指南

它支持多种预训练的大型语言模型（如LLaMA2、Mistral、Gemma、DeepSeek等），并提供了一个简单高效的方式来加载和使用这些模型。

·2025-02-20 13:41

AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）

Ollama简介Ollama是一个开源平台，用于管理和运行各种大型语言模型(LLM)，例如Llama2、Mistral和Tinyllama。它提供命令行界面(CLI)用于安装、模型管理和交互。

surfirst·2025-02-16 04:04

DeepSeek-MoE-16b：高效稀疏架构引领大模型降本增效革命

模型定位与技术背景DeepSeek-MoE-16b是深度求索（DeepSeek）研发的混合专家模型（MixtureofExperts,MoE），参数规模160亿，旨在通过稀疏化计算架构解决传统稠密模型（如Llama2

热爱分享的博士僧·2025-02-11 18:36

Mixture of Experts（MoE）学习笔记

不过在这之后开源社区并没有对MoE架构进行很多的探索，更多的工作还是聚焦在预训练新的大模型，在Llama2或其他模型上做Fine-tune，以及扩展大模型的ContextLength。12月8号

南七小僧·2025-02-03 12:44

【明明安装flash-attn成功，但是import的时候报错】

Thismodelingfilerequiresthefollowingpackagesthatwerenotfoundinyourenvironment:flash_attn.明明安装flash-attn成功，但是import的时候报错问题描述：运行Llama2

厂泉心·2025-02-02 12:07

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1/Firefly-LLaMA2-Chinese本项目与Firefly一脉相承，专注于低资源增量预训练，既支持对Baichuan2、Qwen、InternLM等原生中文模型进行增量预训练，也可对L

伊织产研·2025-01-27 00:07

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《使用LoRA微调Llama2

109702008·2025-01-22 11:35

一文看懂llama2（原理&模型&训练）

自从Transformer架构问世以来，大型语言模型（LargeLanguageModels,LLMs）以及AIGC技术的发展速度惊人，它们不仅在技术层面取得了重大突破，还在商业应用、社会影响等多个层面展现出巨大潜力。随着ChatGPT的推出，这一技术日益走进大众视野，这也预示着一个由生成式AI塑造的未来正在加速到来。与此同时，MetaAIMetaAI在2023年推出了LLama（LargeLan

Qpeterqiufengyi·2025-01-20 07:38

BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术

团队近期发布的BladeDISC++项目，探讨在动态场景下如何优化深度学习训练任务的显存峰值，主要内容包括以下三个部分：DynamicShape场景下显存优化的背景与挑战BladeDISC++的创新解决方案Llama2

·2025-01-17 20:51

大模型实战—Ollama 本地部署大模型

AI的应用范围广泛，从自动驾驶汽车到语音助手，再到智能家居系统，都有着AI的身影，而随着Facebook开源LLama2更让越来越多的人接触到了开源大模型。

猫猫姐·2024-09-12 16:34

Langchain + Ollama

运行起来后，使用langchain加载fromlangchain.llmsimportOllamaollama=Ollama(base_url='http://localhost:11434',model="llama2

AI工程仔·2024-09-10 15:23

本地电脑大模型系列之 20 离线 AI：使用 Ollama+llama3+privateGPT+Langchain+GPT4ALL+ChromaDB 与 Pdf、Excel、CSV、PPTX、PPT、

Windows至少需要16GBRAMpython3.10和git系列文章《本地电脑搭建StreamDiffusion：用眼睛见证实时人工智能创意利用交互式高速扩散技术彻底改变图像生成》权重1，本地类《使用本地Llama2

知识大胖·2024-09-01 10:10

Code Llama: Open Foundation Models for Code论文阅读

都是基于Llama2。

yang_daxia·2024-08-27 18:46

使用LangChain和LLaMA2构建自然语言SQL查询助手

使用LangChain和LLaMA2构建自然语言SQL查询助手引言在当今数据驱动的世界中，能够轻松查询和分析数据库中的信息变得越来越重要。然而，并非所有人都精通SQL语言。

qq_37836323·2024-08-24 08:14

3月18日，每日信息差

据介绍，该平台支持广泛的AI模型，包括目前主流的Baichuan-7B、GeminiNano、Llama2和智谱

信息差Pro·2024-03-25 09:26

LLaMA 2 - 你所需要的一切资源

摘录关于LLaMA2的全部资源，如何去测试、训练并部署它。LLaMA2是一个由Meta开发的大型语言模型，是LLaMA1的继任者。

·2024-02-19 21:59

扩展说明: 指令微调 Llama 2

这篇博客是一篇来自MetaAI，关于指令微调Llama2的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调Llama2基础模型。目标是构建一个能够基于输入内容来生成指令的模型。

·2024-02-13 21:53

扩展说明: 指令微调 Llama 2

这篇博客是一篇来自MetaAI，关于指令微调Llama2的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调Llama2基础模型。目标是构建一个能够基于输入内容来生成指令的模型。

Hugging Face·2024-02-09 19:50

LLaMA 2 和 QianWen-14B

性能超越Llama2等同等尺寸模型-科技新闻-EDA365电子论坛网LLaMA2的硬件要求：LLaMA2系列模型有不同的参数量版本，如7B、13B和70B等。对于不同大小的模型，其硬件需求也有所不同。

wangqiaowq·2024-02-09 12:20

LLMs之Llama2 70B：《Self-Rewarding Language Models自我奖励语言模型》翻译与解读

LLMs之Llama270B：《Self-RewardingLanguageModels自我奖励语言模型》翻译与解读目录《Self-RewardingLanguageModels》翻译与解读Abstract5Conclusion结论6Limitations限制《Self-RewardingLanguageModels》翻译与解读地址文章地址：https://arxiv.org/abs/2401.1

一个处女座的程序猿·2024-02-08 14:11

在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）

一、说明（开放）本地大型语言模型（LLM），特别是在Meta发布LLaMA和后Llama2，变得越来越好，并且被越来越广泛地采用。在本文中，我想演示在本地（即在您的计算机上）运行此类模型的六种方法。

无水先生·2024-02-08 13:27

AI&大模型 | llama2微调手册查看ing

提示词说明[INST]>{{system_prompt}}>{{user_message}}[/INST]其中，，，>，>，[INST]，以及[/INST]是特殊token，标记着prompt中各个部分的构成。每一组和之间是一个相对完整的单元，可以理解为一个对话轮次（如果直接给一个文本作为输入，也可以看到模型的输入结果分别是以这两个BOS和EOStoken作为结尾的）。[INST]和[/INST]

ASKCOS·2024-02-06 10:31

支持534种语言，开源大语言模型MaLA-500

无论是开源的LLaMA2还是闭源的GPT系列模型，功能虽然很强大，但对语言的支持和扩展比较差，例如，二者都是以英语为主的大模型。

RPA中国·2024-02-06 10:18

LLama 2部署教程+私有模型分发

backfire007·2024-02-06 04:56

Meta开源大模型LLaMA2的部署使用

LLaMA2的部署使用LLaMA2申请下载下载模型启动运行Llama2模型文本补全任务实现聊天任务LLaMA2编程WebUI操作LLaMA2申请下载访问metaai申请模型下载，注意有地区限制，建议选其他国家申请后会收到邮件

CodeDevMaster·2024-02-06 04:25

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

先说结论全精度llama27B最低显存要求：28GB全精度llama213B最低显存要求：52GB全精度llama270B最低显存要求：280GB16精度llama27B预测最低显存要求：14GB16精度llama213B预测最低显存要求：26GB16精度llama270B预测最低显存要求：140GB8精度llama27B预测最低显存要求：7GB8精度llama213B预测最低显存要求：13GB8

海皇海皇吹·2024-02-05 20:50

七月论文审稿GPT第2.5版：微调GPT3.5 turbo 16K和llama2 13B以扩大对GPT4的优势

前言自去年7月份我带队成立大模型项目团队以来，我司至今已有5个项目组，其中第一个项目组的AIGC模特生成系统已经上线在七月官网第二项目组的论文审稿GPT则将在今年34月份对外上线发布第三项目组的RAG知识库问答第1版则在春节之前已就绪至于第四、第五项目组的大模型机器人、Agent则正在迭代中所有项目均为会对外上线发布的商用项目，而论文审稿GPT至今在过去的半年已经迭代两个版本，其中第二版的效果甚至

v_JULY_v·2024-02-05 20:19

Llama2大模型开源，大模型的Android时代来了？

就昨天凌晨，微软和Meta宣布Llama2大模型开源且进一步放开商用，一下朋友圈刷屏。

南七小僧·2024-02-04 11:49

【Llama2 windows部署详细教程】第三节 Llama2 跑起来

前面两节主要介绍了基础环境的准备，借下来就是对Llam2模型进行量化并运行起来，这个过程在实际的部署过程中也很容易出现问题。具体的部署如下：一、下载模型目前大模型主要发布在HuggingFace上提供下载，无法在上面下载的小伙伴可以在国内的ModelScope网站上下载，模型文件比较大，下载过程中需要确保网络顺畅，下载方式如下：git clone https://www.modelscope.cn

拥抱AI·2024-01-28 13:39

如何使用Hugging Face微调大语言模型（LLMs）

从ChatGPT爆发以来，后来逐步发展了众多开源大模型LLMs，如MetaAI的Llama2、MistralsMistral&Mixtral模型，TIIFalcon等。

技术狂潮AI·2024-01-27 14:14

智能体AI Agent的极速入门：从ReAct到AutoGPT、QwenAgent、XAgent

除了已经在七月官网上线的AIGC模特生成系统外，我正在并行带多个项目组第二项目组，论文审稿GPT第2版的效果已经超过了GPT4，详见《七月论文审稿GPT第2版：用一万多条paper-review数据集微调LLaMA2

v_JULY_v·2024-01-27 08:19

本周Github上有趣的11个项目

它通过统一的API简化了对OpenAI、Anthropic、Mistral、LLama2、Anyscale、GoogleGemini等的API请求。

极道Jdon·2024-01-26 16:11

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama

JasonLiu1919·2024-01-26 16:24

Code Llama：基于 Llama 2 的 AI 代码生成大模型

CodeLlama正是一个基于Llama2的AI代码生成大模型，旨在解决这一问题。

百度_开发者中心·2024-01-24 15:42

利用 Mountpoint for Amazon S3 在 Kubernetes 上加速 LLM 的训练

本文通过在EC2g5.2xl实例上完成LLaMA2的调优训练，读者可以利用较少的GPU资源学习复现本

亚马逊云开发者·2024-01-24 06:25

FinGPT Llama2 推理

文章目录InferencewithSingleTask:SentimentMakepromptsInferencewithMulti-TaskFinGPT_Inference_Llama2_13B_falcon_7B_for_Beginners.ipynbhttps://github.com/AI4Finance-Foundation/FinGPT/blob/master/FinGPT_Infer

小田_·2024-01-22 21:40

MacOS M2使用llama2

因为工作中一直用OpenAI，所以没弄过llama2，想着试一下llama2跑本地的效果，llama2官方下载地址：https://ai.meta.com/llama/官方是需要填表的，我们直接使用社区的方案

懒编程-二两·2024-01-22 06:04

开源大模型领域最重要的玩家们，在关心/担心什么

7月18日，Llama2的出现，更是直接让大模型的竞争格局变天了。开源模型作为大模型领域的「地板」，Llama2开源且有条件地开放了商业使用后，很多「水平有限」的大模型还没商用，就已过时。「接下来，会

开源社·2024-01-21 10:14

Portkey AI网关：一个用来连接多种人工智能模型的开源工具

包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、GoogleGemini等。安装体积只有45kb，处理速度提升了9.9倍，可以在多个不同的AI模型中来回切换。

AI 研习所·2024-01-20 17:48

Meta将继续开源Llama 3；Runway多动态刷头Multi Motion Brush

Meta已经在LLaMA基础上训练、开源了LLaMA2，拥有70亿、130亿、340亿和700亿四种参数，并且这一代终于允许商业化，成为整个生成式AI开源界应用最多的大

go2coding·2024-01-19 15:05

推荐频道

Llama2

基于llama_cpp 调用本地模型（llama）实现基本推理

【大模型技术】LlamaFactory 的原理解析与应用

Chinese-Llama-2-7b 项目使用教程

LLaMA（Meta开源的AI模型）与Ollama（本地运行和管理大模型的工具）简介（注意这俩虽然名字相似但没有直接联系）

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

Ollama微调

Meta官宣Llama3：迄今为止最强大的开源大模型

科普：大模型使用中的temperature 与 top-k及其它

大模型（含deepseek r1）本地部署利器ollama的API操作指南

AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）

DeepSeek-MoE-16b：高效稀疏架构引领大模型降本增效革命

Mixture of Experts（MoE）学习笔记

【明明安装flash-attn成功，但是import的时候报错】

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

一文看懂llama2（原理&模型&训练）

BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术

大模型实战—Ollama 本地部署大模型

Langchain + Ollama

本地电脑大模型系列之 20 离线 AI：使用 Ollama+llama3+privateGPT+Langchain+GPT4ALL+ChromaDB 与 Pdf、Excel、CSV、PPTX、PPT、

Code Llama: Open Foundation Models for Code论文阅读

使用LangChain和LLaMA2构建自然语言SQL查询助手

3月18日，每日信息差

LLaMA 2 - 你所需要的一切资源

扩展说明: 指令微调 Llama 2

扩展说明: 指令微调 Llama 2

LLaMA 2 和 QianWen-14B

LLMs之Llama2 70B：《Self-Rewarding Language Models自我奖励语言模型》翻译与解读

在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）

AI&大模型 | llama2微调手册查看ing

支持534种语言，开源大语言模型MaLA-500

LLama 2部署教程+私有模型分发

Meta开源大模型LLaMA2的部署使用

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

七月论文审稿GPT第2.5版：微调GPT3.5 turbo 16K和llama2 13B以扩大对GPT4的优势

Llama2大模型开源，大模型的Android时代来了？

【Llama2 windows部署详细教程】第三节 Llama2 跑起来

如何使用Hugging Face微调大语言模型（LLMs）

智能体AI Agent的极速入门：从ReAct到AutoGPT、QwenAgent、XAgent

本周Github上有趣的11个项目

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

Code Llama：基于 Llama 2 的 AI 代码生成大模型

利用 Mountpoint for Amazon S3 在 Kubernetes 上加速 LLM 的训练

FinGPT Llama2 推理

MacOS M2使用llama2

开源大模型领域最重要的玩家们，在关心/担心什么

Portkey AI网关：一个用来连接多种人工智能模型的开源工具

Meta将继续开源Llama 3；Runway多动态刷头Multi Motion Brush