Llama

CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化

本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在CPU环境、CPU&GPU环境混合推理的技术方案：llama.cpp。
soulteary·2024-01-04 16:27

对比开源大语言模型的自然语言生成SQL能力

随着GPT-4、Llama2和Falcon等大型语言模型(LLM)开发的最新进展，业界和学术界对NL
数大招疯·2024-01-03 11:28

吴恩达最新短课，知识很硬核，附中英字幕

附中英字幕简介大家好我是老章，吴恩达老师忠实粉丝之前刷过他的很多课程：吴恩达新课，1.25倍速刷完了给吴恩达的最新短课加了中英文字幕最近吴老师又限时免费开放了一个短课：《构建和评估高级RAG应用程序》该课程由由llama_index
机器学习算法与Python实战·2024-01-03 07:22

1文件+2个命令，无需安装，单机离线运行70亿大模型

看了展示视频，这个框架还能直接运行Llama7B的大模型，在M2Ultral上运行流畅。但是我尝试了一下，我的M2Macmini根本跑不动，模型权重太大了。
机器学习算法与Python实战·2024-01-03 07:52

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
Teacher.chenchong·2024-01-03 06:47

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
asyxchenchong888·2024-01-03 06:16

[玩转AIGC]LLaMA2之如何微调模型

目录1、下载训练脚本2、下载模型2.1、申请下载权限2.2、模型下载3、模型微调3.1、使用单卡微调3.2、使用多卡训练：1、下载训练脚本首先我们从github上下载Llama2的微调代码：GitHub-facebookresearch
六五酥·2024-01-02 20:01

主流大语言模型集体曝出训练数据泄露漏洞

安全研究者展示了如何从Pythia或GPT-Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以
威胁情报收集站·2024-01-02 12:16

Windows CPU部署llama2量化模型并实现API接口

目录模型部署本地运行llama2使用fastapi实现API接口常用git仓库模型部署从huggingface下载模型https://huggingface.co/放在本地文件夹，如下本地运行llama2fromctransformersimportAutoModelForCausalLMllm
我只钓小鱼·2024-01-02 07:49

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
Mr.靳靳477302280·2024-01-02 00:03

开源才是大模型的未来？

一年前，ChatGPT横空出世；7个多月后，Meta宣布开源LLaMA2，并且可免费商用。这一天，也成为大模型发展的分水岭。短时间内，LLaMA2对一些闭源的大模型厂商造成了致命性的打击。
智创有术有限公司·2024-01-01 18:45

RAG LLM App开发实战

LLM（例如Llama-2-70b、gpt-4等）仅了解他们接受过训练的信息，当我们要求他们了解除此之外的信息时，他们将无法做到这一点。
xiangzhihong8·2024-01-01 16:44

用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory

LLM（大语言模型）微调一直都是老大难问题，不仅因为微调需要大量的计算资源，而且微调的方法也很多，要去尝试每种方法的效果，需要安装大量的第三方库和依赖，甚至要接入一些框架，可能在还没开始微调就已经因为环境配置而放弃了。今天我们来介绍一个可以帮助大家快速进行LLM微调的工具——LLaMAFactory，它可以帮助大家快速进行LLM微调，而且还可以在微调过程中进行可视化，非常方便。什么是LLM微调LL
Python算法实战·2023-12-31 15:01

用通俗易懂的方式讲解大模型：Llama2 部署讲解及试用方式

Llama一直被视为AI界的开源大模型中的巨擘。然而，由于其开源协议的限制性条款，商业用途的免费使用一直未能实现。
Python算法实战·2023-12-31 15:59

2023-12-29 低配大模型gpt-2本地部署

点击快速C语言入门低配大模型gpt-2本地部署前言一、`ggml.cpp`编译二、阿里福音书总结前言要解决问题:想本地部署个大模型,发现,能比较正常下载的只有gpt-2了,出于某种未可说原因,meta的llama
不停感叹的老林_·2023-12-31 04:41

【Video-LLaMA】增强LLM对视频内容的理解

Paper:《Video-LLaMA:AnInstruction-tunedAudio-VisualLanguageModelforVideoUnderstanding》Authors:HangZhang
菜鸡不叫·2023-12-31 04:34

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
思考的小猴子·2023-12-30 19:04

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
思考的小猴子·2023-12-30 19:02

ChatGPT如何应用到地学、GIS、气象、农业、生态、环境等领域中

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
AIzmjl·2023-12-30 19:31

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
梦想的初衷~·2023-12-30 16:31

指令原则大解锁！26条Prompt黄金法则，精准提问，显著提升ChatGPT输出质量！

研究者在LLaMA-1/2（7B、13B和70
夕小瑶·2023-12-30 11:10

【AI大语言模型】ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
PhyliciaFelicia·2023-12-30 06:58

Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记

NVIDIA的综合语音AI工具包RIVA可以处理这种情况。此外，RIVA可以构建应用程序，在本地设备（如NVIDIAJetson）上处理所有这些内容。RIVA是一个综合性库，包括：自动语音识别（ASR）文本转语音合成（TTS）神经机器翻译（NMT）（语言到语言的翻译，例如英语到西班牙语）自然语言处理（NLP）服务的集合，例如命名实体识别（NER）、标点符号和意图分类。RIVA在运行JetPack5
无证驾驶梁嗖嗖·2023-12-30 06:57

llama大模型部署

看模型加载的参数设置.importtorch#初始化HalfTensorh=torch.tensor([1.0,2.0,3.0],dtype=torch.half)#h=torch.tensor([1.0,2.0,3.0],dtype=torch.float16)#跟上面一行一样.#查看数据类型print(h.dtype)importaccelerateimportbitsandbytesfrom
weixin_40467931·2023-12-30 03:08

Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm

LayerNormalization(LayerNorm)RootMeanSquareLayerNormalization(RMSNorm)原理对特征张量按照某一维度或某几个维度进行0均值，1方差的归一化操作LayerNorm是一种标准化方法，它计算一个样本的均值和方差，然后使用这些来对样本进行归一化。这种方法是独立于批量大小的，使得模型更加稳定。RMSNorm是对LayerNorm的一个改进，没
量化交易曾小健(金融号)·2023-12-30 03:07

lag-llama源码解读(Lag-Llama: Towards Foundation Models for Time Series Forecasting)

Lag-Llama:TowardsFoundationModelsforTimeSeriesForecasting文章内容：时间序列预测任务，单变量预测单变量，基于Llama大模型，在zero-shot
知福致福·2023-12-30 03:36

本地搭建【文档助手】大模型版（LangChain+llama+Streamlit）

安装步骤先下载代码到本地LangChain调用llama模型的示例代码：https://github.com/afaqueumer/DocQA（代码不是本人写的，尊重原创）gitclonehttps:/
帅东·2023-12-30 03:35

6、LLaVA

简介LLaVA官网LLaVA使用Vicuna(LLaMA-2)作为LLMfϕ(⋅)f_\phi(·)fϕ(⋅)，使用预训练的CLIP图像编码器ViT-L/14g(Xv)g(X_v)g(Xv)。
C--G·2023-12-30 02:34

[玩转AIGC]LLaMA2之如何跑llama2.c的chat模式

前言：之前我们关于llama2的相关内容主要停留在gc层面，没介绍chat模式，本文将简单介绍下llama2.c的chat模式如何跑起来。
六五酥·2023-12-29 14:00

开源大语言模型简记

文章目录开源大模型LlamaChinese-LLaMA-AlpacaLlama2-ChineseLinlyYaYiChatGLMtransformersGPT-3（未完全开源）BERTT5QwenBELLEMossBaichuan
李小白杂货铺·2023-12-29 13:09

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
梦想的初衷~·2023-12-29 10:42

ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
Teacher.chenchong·2023-12-29 08:52

AI大模型引领未来智慧科研暨丨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
asyxchenchong888·2023-12-29 08:43

Ubuntu llama 2搭建及部署，同时附问题与解决方案

AMDRyzen7480OHwithRadeonGraphics(16CPUs),~2.9GHzCardname:NVIDIAGeForceRTX2060虚拟机环境：内存：4G存储：100G一、搭建部署llama2
你要找的程序猿·2023-12-29 04:32

codellama模型部署（待补充）

codellama介绍CodeLlama是一个基于Llama2的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。
bulucc·2023-12-28 21:04

基于llama-index对embedding模型进行微调

下面，我们就基于llama-index对BAAI/bge-base-zh-v1.
luxinfeng666·2023-12-28 15:17

ChatGPT如何在地学、GIS、气象、农业、生态、环境等领域中完美应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
zmjia111·2023-12-28 13:55

22K star的超强工具：Ollama，一条命令在本地跑 Llama2

AI的应用范围广泛，从自动驾驶汽车到语音助手，再到智能家居系统，都有着AI的身影，而随着Facebook开源LLama2更让越来越多的人接触到了开源大模型。
IT咖啡馆·2023-12-27 21:14

使用LLaMA-Factory微调ChatGLM3

1、创建虚拟环境略2、部署LLaMA-Factory（1）下载LLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory（2）安装依赖pip3install-rrequirements.txt
我在北国不背锅·2023-12-27 15:54

LLaMA-2 下载&demo使用

LLaMA-2下载&demo使用1.LLaMA-2下载&demo使用1.1meta官网1.2huggingface1.3其他源1.4huggingface下载模型和数据加速1.LLaMA-2下载&demo
国家一级假勤奋大学生·2023-12-27 15:54

显卡之争！英伟达和AMD下场互掐！GPU霸主地位是否能保？

单单发布显卡没啥问题，但是AMD声称MI300X芯片在推断Meta的Llama2700亿参数模型时，能够实现比H100低40%的延迟。这意味着AMD的MI300X芯片性能更优呗！英伟达下场指责AMD那
夕小瑶·2023-12-27 03:56

科技云报道：开源才是大模型的未来？

一年前，ChatGPT横空出世；7个多月后，Meta宣布开源LLaMA2，并且可免费商用。这一天，也成为大模型发展的分水岭。短时间内，LLaMA2对一些闭源的大模型厂商造成了致命性的打击。
科技云报道·2023-12-27 00:46

Orca 虎鲸1号余波未平 ，虎鲸2号一波又起

)11月18号新出的论文，不同于Orca1，Orca2的论文著作这里有中国兄弟介入了，感觉Orca1好像都是3哥，3哥水论文的速度是真的快...先说一下我对这篇论文的感受，其实没多有特别大的变革，比起Llama
周博洋K·2023-12-26 22:57

大模型托管平台Replicate，获2.9元B轮融资

典型知名模型包括Llama-2、Mixtral-8x7b、Stable-Diffusion系列、Music-gen等。Replicate主要为用户提供托
RPA中国·2023-12-26 21:03

由于CUDA OOM，对XLA(HLO)内存分配过程的一点总结

单卡（A800,80GB）测试llama7B时出现CUDAOOM，从日志看，是分配preallocatedtempallocation时，出现了OOM。
SE1992·2023-12-26 21:31

基于XLA_GPU的llama7b推理

环境@pytorch-tpu/llamapytorch2.1.2(+cuda117)torch-xla2.1.1#llama2gitclone--branchllama2-google-next-inferencehttps
SE1992·2023-12-26 21:59

【Rust与AI】LLM模型基本架构

本篇我们将介绍LLM的基本架构，我们会以迄今为止使用最广泛的开源模型LLaMA为例展开介绍。
Rust语言中文社区·2023-12-26 08:10

AI日报：人工智能的年度十大故事

你的一代人工智能女友2.OpenAI的代码解释器让ChatGPT扮演数据科学家3.OpenAI改进提示以获得更好结果的六个步骤4.ChatGPT现在可以为您提供实时信息5.你需要知道的7种人工智能编程语言6.认识LLaMa
Nowl·2023-12-25 17:24

百川2大模型微调问题解决

之前用https://github.com/FlagAlpha/Llama2-Chinese微调过几个模型，总体来说llama2的生态还是比较好的，过程很顺利。
xiexiecn·2023-12-25 00:13

详解各种LLM系列｜（1）LLaMA 1 模型架构、预训练、部署优化特点总结

一、引言LLaMA是Meta在2023年2月发布的一系列从7B到65B参数的基础语言模型。LLaMA作为第一个向学术界开源的模型，在大模型爆发的时代具有标志性的意义。
Sunny_AI_addict·2023-12-24 01:31
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他