llama

Xinference如何注册自定义模型

Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048,"model_name":"custom-llama

玩人工智能的辣条哥·2024-09-16 08:10

[AI资讯·0605] GLM-4系列开源模型，OpenAI安全疑云，ARM推出终端计算子系统，猿辅导大模型备案……

AI手机PC大爆发，Arm从软硬件到生态发力，打造行业AI百宝箱GLM-4开源版本：超越Llama3，多模态比肩GPT4V，MaaS平台也大升级猿辅导竟然是一家AI公司？

老牛同学·2024-09-14 13:57

新款 GPT-4o mini、Llama 3.1、Mistral NeMo 12B 和其他 GenAI 趋势指南

2024年7月也不例外：仅在本月，我们就看到了MistralCodestralMamba、MistralNeMo12B、GPT-4omini和Llama3.1等的发布。

数云界·2024-09-13 18:53

大模型实战—Ollama 本地部署大模型

AI的应用范围广泛，从自动驾驶汽车到语音助手，再到智能家居系统，都有着AI的身影，而随着Facebook开源LLama2更让越来越多的人接触到了开源大模型。

猫猫姐·2024-09-12 16:34

【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人

打造智能聊天机器人3【Qwen2部署实战】探索Qwen2-7B：通过FastApi框架实现API的部署与调用4【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南5【Qwen2部署实战】llama.cpp

寻道AI小兵·2024-09-12 06:09

快速上手指南：在Windows系统中下载Ollama，一键启动大模型体验！

1.下载ollama官网下载安装：ollama.com2.拉取大模型llama3.1终端中输入ollamapullllama3.1，等待安装3.运行llama3.1ollamarunllama3.1接下来就可以和模型对话了退出

再不会AI就不礼貌了·2024-09-11 14:08

反射是一个新的AI模型，可以在一台性能良好的笔记本上运行并在测试中击败GPT-4o

在早期的基准测试中，这个升级版的Meta的Llama3.1-70BInstruct架构已经超越了OpenAI的GPT-4o。

AI甲子光年·2024-09-11 13:34

LLAMA Factory: 简洁高效的大语言模型训练平台

LLAMAFactory:简洁高效的大语言模型训练平台LLaMA-Factory易于使用的LLM微调框架（LLaMA,BLOOM,Mistral,百川，Qwen,ChatGLM）。

俞纬鉴Joshua·2024-09-11 08:57

llama.cpp本地部署大模型

llama.cpp是一个C++库，用于简化LLM推理的设置，它使得在本地机器上运行大模型（GGUF格式）成为可能。

张兆坤的那些事·2024-09-11 00:00

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同

第一步，同步权重ls-l/data/xxx/gpu008/MoeRemake/train/etuning/LLaMA-Factory2/models/xxx-Base-10B-200k-Llama第二步

AI生成曾小健·2024-09-10 16:33

Langchain + Ollama

运行起来后，使用langchain加载fromlangchain.llmsimportOllamaollama=Ollama(base_url='http://localhost:11434',model="llama2

AI工程仔·2024-09-10 15:23

超越传统：Reflection 70B如何革新AI语言处理

Reflection70B：AI语言模型的新里程碑AI领域迎来了革命性的变革，HyperWrite公司推出的开源AI大模型Reflection70B，以其卓越的性能在多个基准测试中超越了GPT-4o和Llama3.1

黑金IT·2024-09-10 06:31

llama_index 官方文档阅读笔记 (持续更新版)

llama0.10.17版本阅读链接:LlamaIndexv0.10.17LlamaIndex是一个基于LLM的应用程序的数据框架，它受益于上下文增强。

皮卡丘ZPC·2024-09-10 02:02

利用 Llama-Index为你的应用程序注入智能搜索

Llama-Index是一个基于大型语言模型的索引和检索工具，它允许用户快速检索和使用大量文本数据。

黑金IT·2024-09-10 01:11

从零搭建一个可离线使用的可实时更新扩展信息的智能问答系统 llamaindex&LLama3大模型&RAG

之前对一件事很好奇，为什么去年训练的大模型可以回答今天的新闻内容。答案是使用了知识扩展系统。基本原理是把参考答案和问题一同提给大模型，给他充分的参考信息做回复编辑。本文教你完成离线版本的智能问答系统搭建。有问题请直接留言最近在疯狂找下家，本人精通图形渲染和ai，求捞啊！基本架构图讲一下基本运行流程：人工准备数据转为嵌入向量存入数据库并生成索引用户提问流程：用户输入问题在索引数据库中查询匹配度较高的

千年奇葩·2024-09-09 20:06

大模型入门（一）

大模型入门（一）一、LLaMa模型介绍1）Pre-normalization2）SwiGLU激活函数3）RoPE旋转位置编码二、Alpaca模型介绍三、Vicuna模型介绍大模型入门（一）——LLaMa

pit_man·2024-09-08 05:40

微软开源 Phi-3.5 视觉模型

下面是关键总结：Phi3.5Mini:3.8B参数，性能超过Llama3.1(8B)和Mistral7B，接近MistralNeMo12B。支持多种语言，使用了包含32,000个词汇的分词器。

三花AI·2024-09-08 02:19

基于Llama 3搭建中文版（Llama3-Chinese-Chat）大模型对话聊天机器人

前面两篇博文，我们分别在个人笔记本电脑部署了Llama38B参数大模型，并使用Ollama搭建了基于Web可视化对话聊天机器人，可以在自己电脑上愉快的与Llama大模型Web机器人对话聊天了。

老牛同学·2024-09-07 22:26

LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等

尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或

汀、人工智能·2024-09-05 22:31

AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理

1.1主要模型及特性（1）MiniCPM-Llama3-V2.5：参数规模:8B性能:超越GPT-4V-1106、GeminiPro、Qwen-VL-Max和Claude3，⽀持30+种语⾔，多模态对话

AIGCmagic社区·2024-09-05 21:23

大模型--个人学习心得

架构模型，它通过驯良大量文本数据，学习语言的语法、语义和上下文信息，从而能够对自然语言文本进行建模这种模型在自然语言处理(NLP)领域具有广泛应用常见的13个大模型BERT、GPT系列、T5、Meta的Llama

挚爱清&虚·2024-09-05 12:27

LLM大模型落地-从理论到实践

学习目标熟悉主流LLM（Llama,ChatGLM,Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异

hhaiming_·2024-09-04 01:12

整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测_基于大语言模型的网络自动配置平台的设计与开发

尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。

AI大模型-搬运工·2024-09-02 07:20

llama factory微调时出现x86_64-conda-linux-gnu/bin/ld: cannot find -lcurand: No such file or directory解决方案

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。本文主要介绍了llamafactory微调时出现x

爱编程的喵喵·2024-09-01 11:18

本地电脑大模型系列之 20 离线 AI：使用 Ollama+llama3+privateGPT+Langchain+GPT4ALL+ChromaDB 与 Pdf、Excel、CSV、PPTX、PPT、

简介Ollama在Mac/Windows/Ubuntu上与llama3一起运行MAC至少需要8GBRAM，Ubuntu和Windows至少需要16GBRAMpython3.10和git系列文章《本地电脑搭建

知识大胖·2024-09-01 10:10

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

u013250861·2024-08-31 22:57

LLM - 从头实现 LLaMA3 网络与推理流程 (RMS | RoPE | GQA | SwiGLU)

CarolineSpike·2024-08-31 22:56

“全面解析！大模型面试宝典（含精选答案与策略）“

大模型（LLMs）进阶面1.llama输入句子长度理论上可以无限长吗？1.什么是LLMs复读机问题？2.为什么会出现LLMs复读机问题？3.如何缓解LLMs复读机问题？

AGI-老冉·2024-08-31 10:07

英伟达如何通过剪枝和蒸馏技术让Llama 3.1模型“瘦身“?

英伟达如何通过剪枝和蒸馏技术让Llama3.1模型"瘦身"?大家好，我是蒜鸭。今天我们来聊聊英伟达最近在大语言模型优化方面的一项有趣研究。

蒜鸭·2024-08-30 19:28

【大模型】大模型 CPU 推理之 llama.cpp

【大模型】大模型CPU推理之llama.cppllama.cpp安装llama.cppMemory/DiskRequirementsQuantization测试推理下载模型测试参考llama.cpp描述

szZack·2024-08-30 02:31

【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU

学习笔记：Ubuntu22使用模型量化工具llama.cpp部署大模型CPU+GPU前言1下载并编译llama.cpp1.1git下载llama.cpp仓库源码1.2编译源码（make）1.2.1选择一

淮序_·2024-08-30 02:00

AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

文章目录Llamp.cpp环境配置Chinese-LLaMA-Alpaca-2模型介绍模型下载转换生成量化模型Anaconda环境安装运行Llamp.cpp环境配置[email protected]

mrbone11·2024-08-30 01:00

AI视界周刊第 2 期：Llama 3.1 开源、AI 训 AI，越训越傻、AI 搜索重燃战火

✨热点聚焦里程碑——MetaLlama3.1开源：性能媲美闭源模型，支持多语言Meta公司开源Llama3.1系列开源大语言模型，包含8B、

战场小包·2024-08-28 10:03

编译运行 llama.cpp (vulkan, Intel GPU SYCL)

llama.cpp是一个运行AI(神经网络)语言大模型的推理程序,支持多种后端(backend),也就是不同的具体的运行方式,比如CPU运行,GPU运行等.但是编译运行llama.cpp并不是那么容易的

穷人小水滴·2024-08-28 05:27

大模型推理测速 (llama.cpp, Intel GPU A770)

/llama-b3617-bin-ubuntu-x64/build/bin/llama-cli--versionversion:3617(a07c32ea)builtwithcc(Ubuntu11.4.0

穷人小水滴·2024-08-28 05:57

探索GGUF：利用llama.cpp高效运行大型语言模型

探索GGUF：利用llama.cpp高效运行大型语言模型在人工智能领域，大型语言模型（LLM）的应用越来越广泛，但运行这些模型常常需要大量计算资源和复杂的配置。

Chen_Chance·2024-08-28 05:27

Code Llama: Open Foundation Models for Code论文阅读

都是基于Llama2。

yang_daxia·2024-08-27 18:46

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

herosunly·2024-08-27 10:57

Cerebras DocChat发布：基于Llama 3构建，DocChat在几小时内完成GPT-4级别的对话问答训练

Cerebras发布的DocChat标志着基于文档的对话式问答系统的一个重大里程碑。Cerebras以其在机器学习（ML）和大型语言模型（LLMs）方面的深厚专业知识而闻名，推出了DocChat系列的两个新模型：CerebrasLlama3-DocChat和CerebrasDragon-DocChat。这些模型旨在提供高性能的对话式人工智能，特别是针对基于文档的问答任务，并利用Cerebras的尖

科技大本营·2024-08-27 00:00

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型

Cc不爱吃洋葱·2024-08-26 19:12

什么是LLM？看这一篇就够了！

GPT、LLaMA、M

AI程序猿人·2024-08-26 17:03

AI初识--LLM、ollama、llama都是些个啥？

LLM全称（largelanguagemodel）也就是大语言模型什么是Ollama，它与Llama是什么关系？

才艺のblog·2024-08-25 20:51

用 Unsloth 微调 LLaMA 3 8B

用Unsloth微调LLaMA38B今年4月份，Meta公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种NLP任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。

liugddx·2024-08-25 08:05

使用LangChain和LLaMA2构建自然语言SQL查询助手

使用LangChain和LLaMA2构建自然语言SQL查询助手引言在当今数据驱动的世界中，能够轻松查询和分析数据库中的信息变得越来越重要。然而，并非所有人都精通SQL语言。

qq_37836323·2024-08-24 08:14

离线 AI：使用 Termux 从源代码在 Android 手机/Waydroid 上构建 Ollama

Android手机/WaydroidTermux的终端命令相同推荐文章《在自己笔记本上使用Llama-3生成PowerPoint—幻灯片自动化的第一步》权重1，本地类、ppt类《如何微调NLLB-200

知识大胖·2024-08-23 17:32

小琳AI课堂：Llama——NLP界的多面手

Llama:NLP界的多面手引言：大家好，这里是小琳AI课堂。今天，我们要探索的是自然语言处理（NLP）领域的一位明星——Llama。

小琳ai·2024-08-23 14:43

FastAPI部署大模型Llama 3.1

项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-InstructFastApi部署调用.mdatmaster·datawhalechina/self-llm(github.com

记得叫Mark周更·2024-08-23 14:12

transformers调用llama的方式

transformers调用llama的使用方式不同版本llama对应的transformers库版本llama2llama3Meta-Llama-3-8B-InstructMeta-Llama-3-8Bllama3.1Meta-Llama

myccver·2024-08-23 13:11

Llama开源代码详细解读（2）

FlashAttentionifis_flash_attn_available():#检查flashattention的可用性fromflash_attnimportflash_attn_func,flash_attn_varlen_funcfromflash_attn.bert_paddingimportindex_first_axis,pad_input,unpad_input#noqaFla

江安的猪猪·2024-08-23 04:45

LLM基础｜模型后量化原理、量化类型及方式、量化实现效果

xdm在尝试运行Llama-Chat-7B推理时的时候，是不是也容易遇到OOM的问题？

Sunny_AI_addict·2024-08-22 16:04

推荐频道