LLaMA 第2页

ChatGPT智能聊天机器人实现

智能聊天机器人的完整开发指南，包含技术选型、核心代码逻辑和推荐学习资源：—云端平台整理一、技术架构与工具核心模型基座模型：HuggingFaceTransformers库（如GPT-2/GPT-3.5TurboAPI/LLaMA2

云端源想·2025-03-17 14:57

AI大模型学习路线：从入门到精通的完整指南【2025最新】

引言近年来，以GPT、BERT、LLaMA等为代表的AI大模型彻底改变了人工智能领域的技术格局。它们不仅在自然语言处理（NLP）任务中表现卓越，还在计算机视觉、多模态交互等领域展现出巨大潜力。

AI大模型-大飞·2025-03-17 10:27

主流开源大模型能力对比矩阵

模型名称核心优势主要局限Llama2/3✅多语言生态完善✅Rotary位置编码✅GQA推理加速⚠️数据时效性差⚠️隐私保护不足Qwen✅千亿参数规模✅中文语境优化✅复杂文本生成⚠️需高性能硬件⚠️领域知识需二次训练

时光旅人01号·2025-03-16 12:09

LLaMA-Factory 训练数据默认使用 instruction、input、output 三个 key

在LLaMA-Factory进行SFT（Directivesupervisionfine-tuning指令监督微调）时，训练数据的格式非常重要，因为大模型依赖标准化的数据结构来学习指令-响应模式。

背太阳的牧羊人·2025-03-16 08:43

linux（ubuntu）中Conda、CUDA安装Xinference报错ERROR: Failed to build (llama-cpp-python)

一、常规办法llama-cpp-python依赖CMake、Make和g++来编译，所以可能是缺少依赖或者环境配置不对。按照以下步骤排查问题并解决：1.确保Python版本符合要求llama

小胡说技书·2025-03-16 03:12

大模型火爆 2025：LLaMA、Qwen、DeepSeek 核心原理+就业秘籍，快速入门 AI 工程师

以下是详细拆解，让小白也能掌握：LLaMA系列模型核心原理详解：什么是LLaMA？：LLaMA是一个基于人工智能的语言模型，像一个超级聪明的聊天机器人，能理解和生成人类语言。

weixin_40941102·2025-03-16 03:38

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于jsonl文件中读取新词列表(新中文词汇)→for循环去重实现词表的扩展(中文标记的新词汇)→保存新的分词模型

一个处女座的程序猿·2025-03-15 18:38

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件

一个处女座的程序猿·2025-03-15 18:38

1llama源码学习·model.py[3]ROPE旋转位置编码(1)原理

零：(导学)Transformer位置编码（1）为什么需要位置编码位置编码描述序列中实体的位置信息，为每个位置分配唯一的表示。Transformer使用智能位置编码方案，其中每个位置/索引都映射到一个向量。因此，位置编码层的输出是一个矩阵，其中矩阵的每一行表示序列的编码对象与其位置信息的总和（2）Transformer中的位置编码假设有一个长度为LLL的输入序列，并要求位置kkk为该序列中的对象，

小杜不吃糖·2025-03-15 18:07

llama源码学习·model.py[1]RMSNorm归一化

一、model.py中的RMSNorm源码classRMSNorm(torch.nn.Module):def__init__(self,dim:int,eps:float=1e-6):super().__init__()self.eps=epsself.weight=nn.Parameter(torch.ones(dim))def_norm(self,x):returnx*torch.rsqrt(

小杜不吃糖·2025-03-15 18:37

2025年开源大模型全景：语言、多模态与开发工具的前沿探索

语言类开源大模型1.Llama系列开发者：Meta发布时间：2024年7月参数量：8B、70B、405B特点：Llama系列模型以其强大的多语言支持和广泛的自然语言处理能力而闻名。

软件职业规划·2025-03-15 15:08

使用 Ollama 对 LLaMA-2 模型进行微调的详细指南

对于更大的模型（如LLaMA-213B或33B），

软件职业规划·2025-03-15 15:08

DeepSeek创始人专访：中国的AI不可能永远跟随，需要有人站到技术的前沿

训练成本估计只有Llama3.1405B模型的11分之一，后者的效果还不如它。

AIBigModel·2025-03-15 04:06

Gemma 3 发布：最强单 GPU/TPU 可运行模型，性能超 Llama-405B！

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/GoogleDeepMind再次掀起AI界的狂潮，正式推出Gemma3——一款轻量级但性

新加坡内哥谈技术·2025-03-15 04:35

大语言模型微调和大语言模型应用的区别？

1.定义与目标微调（Fine-tuning）目标：调整预训练模型（如GPT、LLaMA、PaLM）的参数，使其适应特定任务或领域。

AI Echoes·2025-03-15 04:34

LLM推理和优化（1）：基本概念介绍

一、LLM推理的核心过程：自回归生成LLM（如DeepSeek、ChatGPT、LLaMA系列等）的推理本质是自回归生成：从初始输入（如[CLS]或用户prompt）开始，逐token预测下一个词，直到生成结束符

AndrewHZ·2025-03-14 23:50

第二十八个问题-Dify、RAG-Flow、FastGPT 核心特点对比

核心特点：多模型支持：无缝集成数百种专有/开源大模型（如GPT、Llama3、Mistral），支持通过API或本地部署调用18。流程编排能力：提供Chatflow（对话类应用）和Workfl

释迦呼呼·2025-03-13 15:18

在M4 Mac Mini集群上运行DeepSeek V3 671B

台M4Pro64GBMacMini集群（总内存512GB）上运行DeepSeekv3（671B）的结果：模型首个Token时间（秒）每秒Token数DeepSeekV3671B（4位）2.915.37Llama3.1405B

强化学习曾小健·2025-03-12 22:18

如何增强机器学习基础，提升大模型面试通过概率

我的好朋友没有通过面试所以我给我的好朋友准备了这一篇学习路线随着大模型（如Transformer、GPT-4、LLaMA等）在自然语言处理（NLP）、计算机视觉（CV）和多模态任务中的广泛应用，AI行业的招聘竞争愈发激烈

weixin_40941102·2025-03-12 19:55

DeepSeek发展背景和前景

2.技术演进：2024年1月：发布首个大模型DeepSeekLLM，包含670亿参数，在2万亿token的数据集上训练，性能超越Llama270BBase。202

爱吃苹果的日记本·2025-03-12 02:18

8.3 GPTQ量化技术：4倍压缩大模型显存，精度零损失！

以LLaMA-7B模型为例：FP32精度显存占用：28GBFP16精度显存占用：14GBINT8量化后显存占用：7GBINT4量化后显存占用：3.5GB

少林码僧·2025-03-12 01:16

llama.cpp 安装与量化（mac电脑）

llama.cpp安装与量化（mac电脑）1.创建并切换至虚拟环境2.安装llama.cpp3.安装依赖4.转换模型5.创建build目录6.生成构建文件7.编译项目8.运行量化命令9.测试量化后的模型

初七i·2025-03-12 00:32

AI 问答系统实战：用 Python + Flask + LLM 打造你的智能对话机器人！

本文将手把手教你如何利用Python和Flask快速搭建一个属于自己的AI问答系统，并集成强大的语言模型（如OpenAI的GPT-3.5或HuggingFace的LLaMA）。

Leaton Lee·2025-03-11 20:57

《AI浪潮中的璀璨新星：Meta Llama、Ollama与DeepSeek的深度剖析》

《AI浪潮中的璀璨新星：MetaLlama、Ollama与DeepSeek的深度剖析》引言：AI大模型的群雄逐鹿时代在科技飞速发展的当下，AI大模型领域已成为全球瞩目的焦点，竞争激烈程度堪称白热化。从OpenAI推出的GPT系列，到谷歌的BERT、百度的文心一言等，众多巨头纷纷下场，不断推陈出新，试图在这个充满潜力的领域占据一席之地。而在这场激烈的角逐中，MetaLlama、Ollama和Deep

空云风语·2025-03-11 18:18

从零手撕 LLaMa3 项目爆火（图解+代码）

一个月前，Meta发布了开源大模型llama3系列，在多个关键基准测试中优于业界SOTA模型，并在代码生成任务上全面领先。此后，开发

机器学习社区·2025-03-11 16:27

【LLM】从零开始实现 LLaMA3

分词器在这里，我们不会实现一个BPE分词器（但AndrejKarpathy有一个非常简洁的实现）。BPE（BytePairEncoding，字节对编码）是一种数据压缩算法，也被用于自然语言处理中的分词方法。它通过逐步将常见的字符或子词组合成更长的词元（tokens），从而有效地表示文本中的词汇。在自然语言处理中的BPE分词器的工作原理如下：初始化：首先，将所有词汇表中的单词分解为单个字符或符号。例

FOUR_A·2025-03-11 15:21

Llama3.1是AI界的Linux？先部署起来再说！

前言就在昨天，Meta发布了Llama3.1，这次带来的中杯、大杯和超大杯3个版本。从纸面数据来看，Llama3.1超大杯已经能跟GPT-4Omni、Claude3.5Sonnet分庭抗礼了。

AI大模型探索者·2025-03-11 12:25

【Hugging Face】transformers 库中 model.generate() 方法：自回归模型的文本生成方法

HuggingFacemodel.generate方法model.generate是transformers库中的文本生成（TextGeneration）方法，适用于自回归模型（如GPT-2、T5、BART、LLAMA

彬彬侠·2025-03-11 11:52

linux下搭建Llama3

安装软件：Ollama，官方网站：https://ollama.com/可以再下载win、mac和linux版本linux安装命令为：curl-fsSLhttps://ollama.com/install.sh|sh由于我的机器是linux不联网机器，网上没找到下载离线方式，查看https://ollama.com/install.sh脚本发现有这句话："https://ollama.com/do

念去去~·2025-03-11 11:19

llama.cpp编译

llam.cpp编译1.下载&编译gitclonehttps://github.com/ggml-org/llama.cppcmake-S.

1nv1s1ble·2025-03-11 10:10

基于llama_cpp 调用本地模型（llama）实现基本推理

零基础实践本地推理模型基本应用：基于llama_cpp的本地模型调用。本文先安装llama_cpppython库，再编写程序，利用其调用llama-2-7b-chat.Q4_K_M.ggu模型。

月光技术杂谈·2025-03-11 10:40

llama.cpp框架下GGUF格式及量化参数全解析

`llama.cpp`框架以其出色的性能和灵活性，为这一问题提供了有效的解决方案。其中，GGUF格式和模型量化参数是实现高效推理的重要技术手段。

Black_Rock_br·2025-03-11 06:40

如何对大模型进行微调？从原理到实战全解析

微调指在预训练大模型（如GPT-3.5、LLaMA）的基础上，使用特定领域的数据进行二次训练，使模型适应新任务或领域需求。

挣扎与觉醒中的技术人·2025-03-11 05:32

AI Prompt 提示词工程入门指南：新手小白快速上手

近年来，人工智能（AI）发展迅猛，特别是大语言模型（LLMs）（如ChatGPT、Claude、Gemini、Llama等）的广泛应用，让人们可以用自然语言与AI进行互动。

机器学习司猫白·2025-03-11 02:37

从自己电脑的浏览器访问阿里云主机中运行的LLaMA-Factory webui

阿里云主机上LLaMA-Factory的webui在0.0.0.0:7860侦听，无法直接打开，需要通过代理的方法访问。

shada·2025-03-10 20:58

大语言模型引擎全解析：Transformers、vLLM、Llama.cpp等，最佳选择全攻略！

近年来，大语言模型（LLMs）如GPT、LLaMA、BERT等已经成为人工智能领域的核心驱动力。然而，如何高效地运行和优化这些模型，成为了开发者和研究者面临的重要挑战。

大模型入门教程·2025-03-10 12:29

Ollama Modelfile详解及验证

文章目录OllamaModelfile详解及验证1格式2示例2.1基础Modelfile2.2查看Modelfile2.2.1llama3.2Modelfile2.2.2Deepseek-r1:1.5bModelfile3

Karl_zhujt·2025-03-10 03:50

DeepSeek-R1的Qwen和Llama区别

好的，我现在需要回答用户关于DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70BPro和DeepSeek-R1-Distill-Qwen-

百态老人·2025-03-10 01:08

win11编译llama_cpp_python cuda128 RTX30/40/50版本

Geforce50xx系显卡最低支持cuda128，llama_cpp_python官方源只有cpu版本，没有cuda版本，所以自己基于0.3.5版本源码编译一个RTX30xx/40xx/50xx版本。

System_sleep·2025-03-10 01:02

[论文笔记] LLaMA3.1与Qwen2与Apple 技术报告中预训练方案对比

https://arxiv.org/pdf/2407.21075https://arxiv.org/pdf/2407.10671https://arxiv.org/pdf/2407.21783LLaMA3.1LLaMA3.1

心心喵·2025-03-10 01:02

使用 llama.cpp 框架进行 RWKV 模型的推理

在这里，我们将一起探索如何使用llama.cpp框架进行RWKV模型的推理，仿佛在进行一场科技的冒险之旅。准备好了吗？让我们一起揭开神秘的面纱吧！什么是llama.cpp？

步子哥·2025-03-09 16:39

深度解析DeepSeek：从技术架构到实战应用

据权威数据显示，DeepSeek-V3在多语言编程和数学推理任务中的表现已超越Llama-3.1等主流模型4，而其最新发布的DeepSeek-R1更是在苹果应用商店美区免费榜冲至第六名6。

YY...yy·2025-03-09 15:33

大模型应用开发技术：自定义状态

LlaMA3系列博客基于LlaMA3+LangGraph在windows本地部署大模型（一）基于LlaMA3+LangGraph在windows本地部署大模型（二）基于LlaMA3+LangGraph在

段智华·2025-03-09 09:21

Qwen微调-环境配置-week9

213a0fb70a2e430684155bbd06a7ff36.png#pic_center)Qwen1.5-4B微调-环境安装对Qwen1.5-4B的微调我采用LoRA微调然后合并模型的方式，之后将微调后的模型使用llama-factory

breeze281·2025-03-08 23:01

Meta 计划在 Llama 4 中引入改进的语音功能，接近双向自然对话

据英国《金融时报》3月7日报道，Meta首席产品官ChrisCox透露，Llama4将是一个“全能模型”，语音功能将是原生的1。

timer_017·2025-03-08 23:28

llama-factory生成Meta-Llama-3-8B-Instruct模型api服务

使用llama-factory完成模型的微调训练后，需要开启其api服务进行调用，参考官方https://github.com/hiyouga/LLaMA-Factory/blob/main/examples

码不动了鸭·2025-03-08 00:19

Llama3-8B+ LLaMA-Factory 中文微调

Llama3-8B+LLaMA-Factory中文微调Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！

猫猫姐·2025-03-07 23:46

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-

一个处女座的程序猿·2025-03-07 09:41

llama_deploy

本文于240924翻译整理自：https://docs.llamaindex.ai/en/stable/module_guides/workflow/deployment/文章目录一、关于`llama_deploy

伊织code·2025-03-07 09:06

Windows零门槛部署DeepSeek大模型：Ollama+7B参数模型本地推理全攻略

1.1DeepSeek模型的三大核心优势中文语境霸主：在C-Eval榜单中，7B参数版本以82.3%准确率超越Llama2-13B6硬件友好：Int4量化后仅需5.2GB存储空间，GTX1060即可运行多模态扩展

zxg45·2025-03-07 09:33

推荐频道

LLaMA