LLaMa 第3页

本地大模型编程实战(09)自制聊天机器人(3)

包括：使用LangGraph构建聊天机器人自动裁剪聊天历史管理聊天会话的方法以流的方式输出回复我们将同时使用llama3.1和deepseek做演示。

火云牌神·2025-03-01 15:52

借助知识图谱和Llama-Index实现基于大模型的RAG

幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数据库适合基于相似性的操作，知识图谱旨在捕捉和分析复杂的关系和依赖关系。对于LLM中的幻觉问题，知识图谱是一个比向量数据库更好的解决方案。知识图谱为L

爱吃牛油果的璐璐·2025-03-01 08:32

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）对后(P

心心喵·2025-03-01 04:25

【deepseek】deepseek-r1本地部署-第三步：下载模型

二、操作1、LMStudio开发模式切换模式名字PowerUser2、下载模型模型名字DeepSeek-R1-Distill-Llama-8B-GGUF3、下载完成三、总结按需选择合适的bit的模型，否则会跑不动

Evenurs·2025-03-01 02:45

谈谈DeepSeek-v3在算力约束下的出色工作

DeepSeek-v3在算力约束下的出色工作原创渣Bzartbot2024年12月28日22:52上海寒冷的周末,加完班挤点时间读个论文吧.Deepseek-v3仅用了2048块H800GPU就超越了Llama3405B

强化学习曾小健·2025-02-28 22:19

【llm对话系统】大模型源码分析之 LLaMA 模型的 Masked Attention

然而，在自回归（autoregressive）模型中，例如LLaMA，我们需要对注意力进行屏蔽（Masking），以防止模型“偷看”未来的信息。

kakaZhui·2025-02-28 20:03

Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）

前置条件在开始之前，请确保你的系统满足以下要求：操作系统：Ubuntu20.04/22.04（或支持Docker的Linux系统）。硬件：NVIDIAGPU（例如RTX4090）。内存：16GB+系统内存，GPU需12GB+显存（RTX4090有24GB）。存储：15GB+可用空间（用于源码、镜像和模型文件）。网络：需要互联网连接以下载源码和依赖。软件：已安装并运行Docker。已安装NVIDIA

田猿笔记·2025-02-28 09:37

自编大模型系列之 01 使用 Python 从头构建 LLaMA 3 编写您自己的十亿参数LLM（教程含源码）

LLaMA3是继Mistral之后最有前途的开源模型之一，可以解决各种任务。我之前在Medium上写过一篇博客，介绍如何使用LLaMA架构从头开始创建一个具有超过230万个参数的LLM。

知识大胖·2025-02-27 10:33

Ollama微调

它支持多种流行的开源大语言模型，如Llama2、Qwen2.5等。在上一篇文章中我们部署Ollama，并使用简单命令管理Ollama。接下来我们学习Ollama的高级应用。

软件不硬·2025-02-26 19:08

大模型是如何蒸馏像Qwen-7B，Llama-3 这种小模型的？

1.Qwen-7B和Llama-3的所属公司Qwen-7B：属于阿里巴巴，是“通义千问”系列的开源模型，由阿里云团队研发。

闫哥大数据·2025-02-26 03:12

深入探索 llama-cpp-python：在 LangChain 中启用本地 LLM 推理

Llama.cpp是一个用于推理许多LLM模型的开源库，它的Python绑定——llama-cpp-python提供了在Python中更加便捷的接口。

aehrutktrjk·2025-02-26 02:06

llama-cpp-python本地部署并使用gpu版本

使用带编译的命令安装llama库#首选GGML_CUDA后续LLAMA_CUBLAS将删除CMAKE_ARGS="-DGGML_CUDA=on"FORCE_CMAKE=1pipinstallllama-cpp-python

i__chen·2025-02-26 02:03

部署 Llama 3.1 405B：分步指南,深入研究 Llama 最新模型 Llama 3.1 4050 亿参数模型的部署。这个强大的模型需要大量的 VRAM，特别是 4 位量化版本需要 231 G

简介今天，我们将深入研究Llama最新模型Llama3.14050亿参数模型的部署。这个强大的模型需要大量的VRAM，特别是4位量化版本需要231GB。

知识大胖·2025-02-25 02:47

DeepSeek-R1秘籍轻松迁移，只需原始数据0.3% | 邱锡鹏团队联合出品

以Llama2-7B为例

·2025-02-24 19:13

Meta官宣Llama3：迄今为止最强大的开源大模型

4月18日，Meta在官方博客官宣了Llama3，标志着人工智能领域迈向了一个重要的飞跃。此版本具有经过预训练和指令微调的语言模型，具有8B(80亿)和70B(700亿)参数，可以支持广泛的用例。

·2025-02-24 19:09

垂类大模型微调（二）：使用LLaMA-Factory

上一篇博文和大家一起安装了LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；一、训练集准备1.1介绍训练集结构这里演示对Qwen2.5

CITY_OF_MO_GY·2025-02-24 07:00

LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录

前言上篇文章记录了使用lora微调llama-1b，微调成功，但是微调llama-8b显存爆炸，这次尝试使用qlora来尝试微调参数体量更大的大语言模型，看看64G显存的极限在哪里。

闻道且行之·2025-02-24 01:49

将 Llama 3 与 Ollama 和 Python 结合使用使用 Ollama API 访问这一领先模型

Meta最近发布的新法学硕士Llama3在人工智能领域引起了轰动。例如，请查看我对下面型号的70B版本的评论和测试。在我的测试中，Llama3令人印象深刻，但它们是使用聊天界面进行的。

知识大胖·2025-02-23 09:28

科普：大模型使用中的temperature 与 top-k及其它

在大语言模型（如通过Ollama运行的llama2模型）中，temperature和top-k是两个用于控制文本生成过程的重要参数，它们在功能上相互独立，但又共同影响着模型生成文本的随机性和多样性。

人工干智能·2025-02-22 23:35

【2024 Dec 超实时】编辑安装llama.cpp并运行llama

首先讲一下环境这是2024年12月，llama.cpp的编译需要cmake呜呜呜网上教程都是make跑的。反正我现在装的时候make已经不再适用了，因为工具的版本，捣鼓了很久。

AI．愚人自愈·2025-02-22 13:45

大模型微调

以下是在本地部署使用LLaMA-Factory导出的LoRA模型，并通过Ollama运行的步骤指南：1.准备工作已训练好的LoRA模型:确保通过LLaMA-Factory导出了LoRA适配器文件（通常是

猴的哥儿·2025-02-22 12:42

【Llama3:8b】手把手教你如何在本地部署自己的 LLM大模型

一、为什么需要本地部署属于自己的大模型？趋势：我们正处于AI人工智能时代，各行各业的公司和产品都在向AI靠拢。打造垂直领域的AI模型将成为每个公司未来的发展趋势。数据安全：在无法掌握核心算法的情况下，许多公司选择使用大公司的成熟方案。然而，这涉及到数据安全的问题。训练垂直定制化的大模型需要大量数据，而数据是公司的核心资产和基石。没有公司愿意将这些关键数据上传到外部服务器，这是公司的命脉所在。本地部

AI大模型..·2025-02-22 12:40

基于ChatGPT-4o信息检索、总结分析、论文写作与投稿、专利idea构思与交底书的撰写

AAIshangyanxiu·2025-02-22 10:26

哪种LLM量化方法最适合您？：GGUF、GPTQ 还是 AWQ

：GGUF、GPTQ还是AWQ1.GGUF：(GPT-GeneratedUnifiedFormat,GPT生成的统一格式)GGUF是GGML的后继者，由llama.cpp团队推出。

GordonJK·2025-02-22 05:38

LLM Course系列：使用 Unsloth 高效地微调 Llama 3.1

最近发布的Llama3.1为模型提供了令人难以置信的性能水平，缩小了闭源模型和开放权重模型之间的差距。

橙狮科技·2025-02-22 04:36

尝试在exo集群下使用deepseek模型：第一步，调通llama

exo是一个多机协同AI大模型集群软件，它可以将多种设备统一成一个强大的GPU，支持多种模型，并具有动态模型分区、自动设备发现等功能‌。问题实践：多机协同AI大模型集群软件exo：体验github日榜第一名的魅力！-CSDN博客在安装了exo后，一直运行没有成功，在网页运行的时候，报错让使用debug>2去调试原来可以命令行调试运行：DEBUG=9exorunllama-3.2-1b--disab

skywalk8163·2025-02-21 22:33

NVIDIA B200：高性能 AI 计算的未来

在Llama270B型号上运行推理时，B200每秒可处理11,26

知识大胖·2025-02-21 15:01

Llama都在用的RoPE有了视频版，长视频理解/检索绝佳拍档

VideoRoPE团队投稿量子位|公众号QbitAILlama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。复旦大学、上海AI实验室等提出VideoRoPE，并确定了将RoPE有效应用于视频所需的四个关键特性。在长视频检索、视频理解和视频幻觉等各种下游任务中，VideoRoPE始终优于先前的RoPE变体。用三维结构保留时空关系RoPE是一种能够将相对位置信息依赖集成到s

·2025-02-21 06:19

Swift：KeyPath

官方给出的示例：classAnimal:NSObject{@objcvarname:Stringinit(name:String){self.name=name}}letllama=Animal(name:"Llama

陌上心·2025-02-21 01:52

如何将模型长度扩展到100万：Llama 3的NTK-aware插值技术解析小学生都懂的

好的，以下是对Llama3如何通过NTK-aware插值调整位置编码以扩展上下文长度到100万的详细原理解释：1.RoPE（旋转位置编码）的原理RoPE是一种用于Transformer模型的位置编码方法

从零开始学习人工智能·2025-02-21 00:41

ChatGPT和DeepSeek打造科研与办公的高效引擎

AAIshangyanxiu·2025-02-20 23:05

零基础学会asp.net做AI大模型网站/小程序十六：专栏总结

---------------------------正文----------------------------------------目录本专栏总结后续方向项目简介项目结构使用方法项目地址关键特点LLaMA

借雨醉东风·2025-02-20 20:10

华为昇腾服务器部署DeepSeek模型实战

服务器是配置了8块910B3的显卡，每块显卡有64GB显存，根据DeepSeekR1各个模型的参数计算，如果部署R1的Qwen14B版本，需要1张显卡，如果是32B版本，需要2张，Llama70B的模型需要

gzroy·2025-02-20 18:22

Docker Compose部署大语言模型LLaMa3+可视化UI界面Open WebUI

一、介绍Ollama：部署+运行大语言模型的软件LLaMa3：史上最强开源AI大模型—Meta公司新发布的大语言模型OpenWebUI：AI用户界面，可通过浏览器访问二、Docker部署docker-compose.yml

m0_74824877·2025-02-20 14:44

大模型（含deepseek r1）本地部署利器ollama的API操作指南

它支持多种预训练的大型语言模型（如LLaMA2、Mistral、Gemma、DeepSeek等），并提供了一个简单高效的方式来加载和使用这些模型。

·2025-02-20 13:41

DeepSeek和ChatGPT的全面对比

一、模型基础架构对比（2023技术版本）维度DeepSeekChatGPT模型家族LLAMA架构改进GPT-4优化版本参数量级开放7B/35B/120B闭源175B+位置编码RoPE+NTK扩展ALiBiAttention

陈皮话梅糖@·2025-02-20 12:00

KTransformers如何通过内核级优化、多GPU并行策略和稀疏注意力等技术显著加速大语言模型的推理速度？

例如，通过使用Llama和Marlin等高效内核，显著提升了计算效率。通过IntelAMX指令集优化，KTransformers在CPU端实现了更高的

魔王阿卡纳兹·2025-02-20 04:53

Meta放大招！首届生成式AI大会LlamaCon即将来袭

这一大会以Meta的生成式AI模型家族Llama命名，旨在分享Meta在开源AI领域的最新进展，帮助开发者构建出色的应用和产品。Meta表示，更多细节将在不久后公布。

·2025-02-19 15:29

LLaMA系列大模型调研与整理-llama-alpaca-lora

文章目录LLaMA大模型及其衍生模型1.LLaMA2.stanford_alpaca3.ChatDoctor4.alpaca-lora5.Chinese-LLaMA-Alpaca6.BELLE大模型综述

AI大模型-大飞·2025-02-19 02:17

大模型工具大比拼：SGLang、Ollama、VLLM、LLaMA.cpp 如何选择？

本文将深入对比SGLang、Ollama、VLLM和LLaMA.cpp四款热门大模型工具，帮助您找到最契合需求的解决方案！工具概览在开始之前，先简单了解一下这四款工具的特点：SGLang：性能卓越的

X_taiyang18·2025-02-18 23:42

Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型

Docker下使用llama.cpp部署带Functioncalling和JsonMode功能的Mistral7B模型说明：首次发表日期：2024-08-27参考：https://www.markhneedham.com

shizidushu·2025-02-18 13:59

大语言模型（LLM）如何实现上下文的长期记忆？

引言大语言模型（LargeLanguageModels,LLMs），如GPT-4、Claude和LLaMA等，已经在自然语言处理领域展现出卓越的能力。

·2025-02-18 00:06

LLaMA3大模型技术全网最全解析——模型架构与训练方法（收录于GPT-4/ChatGPT技术与产业分析）

chenweiPhD·2025-02-16 21:15

AWS上基于Llama 3模型检测Amazon Redshift里文本数据的语法和语义错误的设计方案

一、技术栈选型核心服务：AmazonRedshift：存储原始文本和检测结果AmazonBedrock：托管Llama370B模型AWSLambda：无服务计算（Python运行时）AmazonS3：中间数据存储

weixin_30777913·2025-02-16 15:30

AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）

Ollama简介Ollama是一个开源平台，用于管理和运行各种大型语言模型(LLM)，例如Llama2、Mistral和Tinyllama。它提供命令行界面(CLI)用于安装、模型管理和交互。

surfirst·2025-02-16 04:04

DataWhale 组队学习 wow-agent task2 体验总结归纳

一、Llama-index知识体验1.ReActAgent与业务自动化ReActAgent：通过ReActAgent，业务逻辑可以自动转换为代码，只要有相应的API，模型就可以调用。

菜鸟码农01·2025-02-16 02:46

大模型prompt实例：知识库信息质量校验模块

大模型应用向开发路径：AI代理工作流大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据侧总结大模型token等基本概念及参数和内存的关系大模型应用开发-华为大模型生态规划从零开始的LLaMA-Factory

写代码的中青年·2025-02-15 22:45

Windows10/11部署llama及webUi使用

前言整体是希望在windows下安装llama3:8b以及gemma:7b两个大模型，并使用open/ollama-webui来访问从目标出发，llama3和gemma都属于开源大模型，可以自行编译，但是那个步骤对于初步探索的人来说要求太高了

闲杂人等12138·2025-02-15 21:44

LLaMA-Factory 安装linux部署&conda笔记

第一行代码是我导入https://github.com/hiyouga/LLaMA-Factory.git到我的项目那里的，试过网上随便搜索过相同，估计没更新，安装了几次都运行失败，克隆了最新的就安装成功了

jayxlb2·2025-02-15 20:07

DeepSeek-R1 蒸馏 Qwen 和 Llama 架构企业级RAG知识库

以Qwen或Llama架构为

qq_25467441·2025-02-15 20:00

推荐频道

LLaMa