E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
LLaMA-2
大模型微调
基础模型:准备LoRA适配器对应的基座模型(如
LLaMA-2
、Mistral等),需转换为Ollama支持的格式(如GG
猴的哥儿
·
2025-02-22 12:42
机器学习
深度学习
神经网络
知识图谱
个人开发
增强大型语言模型(LLM)可访问性:深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程
本次重点是利用QLoRA技术在单块AMDGPU上,使用ROCm微调
Llama-2
109702008
·
2025-01-22 11:35
人工智能
#
ROCm
#
python
语言模型
llama
人工智能
LLM之RAG实战(十六)| 使用
Llama-2
、PgVector和LlamaIndex构建LLM Rag Pipeline
本文,我们将深入研究使用transformer库、
Llama-2
模型、PgVector数据库和LlamaIndex库来构建RAGPipeline完整过程。一、什么是RAG(检索增强生成)
wshzd
·
2024-01-21 13:59
RAG
笔记
llama
用通俗易懂的方式讲解:使用
Llama-2
、PgVector和LlamaIndex,构建大模型 RAG 全流程
本文,我们将深入研究使用transformer库、
Llama-2
模型、PgVector数据库和LlamaIndex库来构建RAGPipeline完整过程。文章目录技术交流&资料通俗易懂讲
Python算法实战
·
2024-01-18 21:33
大模型理论与实战
大模型
llama
人工智能
算法
LLM
大模型
RAG
检索增强生成
DeepSeek 发布全新开源大模型,数学推理能力超越
LLaMA-2
自从LLaMA被提出以来,开源大型语言模型(LLM)的快速发展就引起了广泛研究关注,随后的一些研究就主要集中于训练固定大小和高质量的模型,但这往往忽略了对LLM缩放规律的深入探索。开源LLM的缩放研究可以促使LLM提高性能和拓展应用领域,对于推进自然语言处理和人工智能领域具有重要作用。在缩放规律的指导下,为了解决目前LLM缩放领域中存在的不明确性,由DeepSeek的AI团队发布了全新开源模型LL
夕小瑶
·
2024-01-12 05:44
llama
6、LLaVA
简介LLaVA官网LLaVA使用Vicuna(
LLaMA-2
)作为LLMfϕ(⋅)f_\phi(·)fϕ(⋅),使用预训练的CLIP图像编码器ViT-L/14g(Xv)g(X_v)g(Xv)。
C--G
·
2023-12-30 02:34
#
代码重建运行过程
python
LLaMA-2
下载&demo使用
LLaMA-2
下载&demo使用1.LLaMA-2下载&demo使用1.1meta官网1.2huggingface1.3其他源1.4huggingface下载模型和数据加速1.LLaMA-2下载&demo
国家一级假勤奋大学生
·
2023-12-27 15:54
LLM
llama
llm
nlp
transformer
大模型托管平台Replicate,获2.9元B轮融资
典型知名模型包括
Llama-2
、Mixtral-8x7b、Stable-Diffusion系列、Music-gen等。Replicate主要为用户提供托
RPA中国
·
2023-12-26 21:03
自动化
走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型
近日,美格智能发挥软硬件一体协同开发能力,融合阿加犀卓越的AI优化部署技术,在搭载高通QCS8550平台的高算力AI模组上,成功运行了一系列大语言模型,包括
LLaMA-2
、通义千问Qwen、百川大模型、
美格智能
·
2023-12-15 23:38
人工智能
语言模型
自然语言处理
LLM推理部署(六):TogetherAI推出世界上LLM最快推理引擎,性能超过vLLM和TGI三倍
Together推理引擎可以支持100多个开源大模型,比如
Llama-2
,并在
Llama-2
–70B-Chat上每秒生成117个tokens,在Llama2–13B-Chat中每秒生成171个tokens
wshzd
·
2023-12-15 05:31
ChatGPT
笔记
人工智能
只有27亿参数,性能却高25倍!微软发布Phi-2
虽然Phi-2的参数很小,性能却优于130亿参数的
Llama-2
和70亿参数的Mistral,以及谷歌最新发布的GeminiNano2。
richerg85
·
2023-12-14 17:45
microsoft
人工智能
aigc
LLM微调(二)| 微调
LLAMA-2
和其他开源LLM的两种简单方法
本文将介绍两种开源工具来微调
LLAMA-2
。
wshzd
·
2023-12-06 19:25
笔记
ChatGPT
llama
chatgpt
Langchain-Chatchat的安装过程
参考:LLMs之RAG:LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持FastChat接入的ChatGLM-2/
LLaMA-2
等多款主流LLMs+多款embe
wangqiaowq
·
2023-12-03 21:31
langchain
开源语言大模型演进史:向LLaMA 2看齐
本文将介绍如何通过微调/对齐那些更出色的
LLaMA-2
等开源模型来提升它们的效果,并缩小开源和私有LLM之间的差距。(本文作者为Rebuy公司
OneFlow深度学习框架
·
2023-11-23 20:45
llama
大语言模型部署:基于llama.cpp在Ubuntu 22.04及CUDA环境中部署
Llama-2
7B
llama.cpp是近期非常流行的一款专注于Llama/
Llama-2
部署的C/C++工具。
SmileyFaceApp
·
2023-11-12 08:58
语言模型
llama
ubuntu
人工智能
自然语言处理
深度学习
开源语言大模型演进史:早期革新
最早的开源语言模型在性能上落后于最佳的专有模型,不过,它们为提升LLM的研究透明度奠定了基础,并促进了后续
LLaMA-2
等强大模型的开发。本系列内容分为三部分,主要探讨开源语言大模型的发展历史。
OneFlow深度学习框架
·
2023-11-10 15:55
前沿技术
LLM
语言模型
开源
gpt-3
transformer
为什么多数情况下GPT-3.5比LLaMA 2更便宜?
通过测试比较
LLaMA-2
和GPT-3.5的成本和时延,本文作者分别计算了二者的1000词元成本,证明在大多数情况下,选择GPT-3.5的成本更低、速度更快。
OneFlow深度学习框架
·
2023-11-10 15:25
gpt-3
llama
【LLM】低成本进行半天的训练可产生与主流大型模型、开源且无商业的特定领域 LLM 解决方案类似的结果
LLaMA-1和
LLaMA-2
之间最显着的区别在于纳入了更高质量的语料库,这是导致
LLaMA-2
性能显着增强的关键因素。这与其商业可用性相结合,扩展了开源社区内大型模型的创造性应用的潜力。
Sonhhxg_柒
·
2023-11-08 19:55
LLMs(大型语言模型)
自然语言处理(NLP)
人工智能(AI)
llama
人工智能
自然语言处理
ChatGPT、
Llama-2
等大模型,能推算出你的隐私数据!
然后,研究人员使用了GPT-4、Claude-2、
Llama-2
等9
RPA中国
·
2023-10-31 16:07
chatgpt
llama
人工智能
NVIDIA基于Code Llama发布在线版本Llama,人人可以免费使用
CodeLlama是Meta发布的基于
Llama-2
,针对代码生成的NLP大语言模型。
人工智能研究所
·
2023-10-26 22:48
人工智能之NLP自然语言处理
llama
大语言模型之十六-基于LongLoRA的长文本上下文微调
Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现,这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。对长上下文场景,在解码阶段,缓存先前token的Key和Value(KV)需要巨大的内存开销,其次主流的LLM模型在推理的时候上下文长度都小于等于训练时的上下文长度。为了约束长文本时缓存先前KV的内存和计算量,很容易想
shichaog
·
2023-10-07 22:41
神经网络&人工智能
语言模型
llama
人工智能
大语言模型之十五-预训练和监督微调中文
LLama-2
这篇博客是继《大语言模型之十二SentencePiece扩充LLama2中文词汇》、《大语言模型之十三LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》前面博客演示了中文词汇的扩充以及给予LoRA方法的预训练模型参数合并,并没有给出LoRA模型参数是如何训练得出的。本篇博客将分析LoRA模型是和训练得到的。还是以7B参数量的模型为例。本篇博客依然基于Chinese-LLaMA-Alp
shichaog
·
2023-10-04 01:07
神经网络&人工智能
语言模型
llama
人工智能
大语言模型之十四-PEFT的LoRA
在《大语言模型之七-
Llama-2
单GPU微调SFT》和《大语言模型之十三LLama2中文推理》中我们都提到了LoRA(低秩分解)方法,之所以用低秩分解进行参数的优化的原因是为了减少计算资源。
shichaog
·
2023-10-03 20:52
神经网络&人工智能
语言模型
人工智能
自然语言处理
ChatGPT竞争对手Writer,获得1亿美元融资;面向不同任务微调
Llama-2
经验总结
AI新闻ChatGPT竞争对手Writer,获得1亿美元融资摘要:美国生成式AI平台Writer宣布获得1亿美元的B轮融资。Writer提供类似于ChatGPT的功能,主要聚焦在企业领域,提供文本生成、总结摘要、文本纠错等服务。Writer自研了大语言模型Palmyra,并在医疗保健、营销、法律等领域进行了微调。它具备数据安全、操作透明和可解释性,并提供多种个性化功能。Writer适用于各种主流业
go2coding
·
2023-09-23 05:56
AI日报
chatgpt
llama
大语言模型之十一 Transformer后继者Retentive Networks (RetNet)
在《大语言模型之四-
LlaMA-2
从模型到应用》的
LLama-2
推理图中可以看到,在输入“你好!”时,是串行进行的,即先输入“你”这个token,然后是“好”,再然后是“!”
shichaog
·
2023-09-21 22:25
神经网络&人工智能
语言模型
transformer
人工智能
Llama-2
推理和微调的硬件要求总结:RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型(例如
Llama-2
,Falcon等)进行额外的训练,以使其适应特定任务或领域的需求。
deephub
·
2023-09-16 22:21
llama
人工智能
机器学习
深度学习
大语言模型
Notebook 一站式打包“Llama-2-7B chatbot”与“Llama-2-7B-with agent”
Llama-2
模型7月18日,Meta与微软联手发布了免费、可直接商用的LLM模型——Llama2。Facebook人工智能研究院首席
·
2023-09-05 16:59
大语言模型之七-
Llama-2
单GPU微调SFT
(T416G)模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb在上一篇博客提到两种改进预训练模型性能的方法Retrieval-AugmentedGeneration(RAG)或者finetuning。本篇博客过一下模型微调。微调:这是采用预训练的LLM并在较小的特定数据集上进一步训练它以适应特定任务或提高
shichaog
·
2023-09-03 06:18
语言模型
llama
人工智能
LLM -
LLaMA-2
获取文本向量并计算 Cos 相似度
目录一.引言二.获取文本向量1.hidden_states与last_hidden_states◆hidden_states◆last_hidden_states2.LLaMA-2获取hidden_states◆modelconfig◆getEmbedding三.获取向量Cos相似度1.向量选择2.Cos相似度3.BERT-whitening特征白化四.总结一.引言前面提到了两种基于统计的机器翻译
BIT_666
·
2023-09-02 12:21
LLM
llama
hidden_states
cos
BERT-whitening
向量相似度
Llama-2
大模型本地部署研究与应用测试
最近在研究自然语言处理过程中,正好接触到大模型,特别是在年初chatgpt引来的一大波AIGC热潮以来,一直都想着如何利用大模型帮助企业的各项业务工作,比如智能检索、方案设计、智能推荐、智能客服、代码设计等等,总得感觉相比传统的搜索和智能化辅助手段,大模型提供的方式更高效、直接和精准等,而且结合chat,能够实现多轮次的迭代,更接近或了解用户需求,提供更精准的答复。目前正在开展大模型部署应用测试,
一马平川的大草原
·
2023-08-28 17:38
机器学习
后端
信息资源
llama
大模型
部署测试
【类ChatGPT】中文
LLaMA-2
、Alpaca-2 二代羊驼大模型体验
最近Meta全新发布了
Llama-2
,效果更上一层楼。而且最重要的是模型可以相对随意分发了,不像一代一样,meta不让开发者发布基于llama模型训练出来的权重(原版当然更不可以)。
nlpstarter
·
2023-08-27 07:52
chatgpt
llama
人工智能
自然语言处理
大语言模型之四-
LlaMA-2
从模型到应用
最近开源大语言模型
LlaMA-2
火出圈,从huggingface的OpenLLMLeaderboard开源大语言模型排行榜可以看到
LlaMA-2
还是非常有潜力的开源商用大语言模型之一,相比InstructGPT
shichaog
·
2023-08-20 09:38
语言模型
llama
人工智能
NLP(六十四)使用FastChat计算
LLaMA-2
模型的token长度
LLaMA-2
模型部署 在文章NLP(五十九)使用FastChat部署百川大模型中,笔者介绍了FastChat框架,以及如何使用FastChat来部署百川模型。
山阴少年
·
2023-08-09 10:37
NLP
自然语言处理
人工智能
LLaMA-2
CMU神秘token贡献ChatGPT安全措施|【2023-0802】【第八期】
CMU博士击破LLM护栏,人类毁灭计划脱口而出KDD2023|GPT时代医学AI新赛道:16万张图片、70万问答对的临床问答数据集MIMIC-Diff-VQA发布
Llama-2
首个全方位评测,国内外开源模型大比拼
linxid【智子纪元】
·
2023-08-08 16:07
chatgpt
NLP实践——使用
Llama-2
进行中文对话
NLP实践——使用
Llama-2
进行中文对话1.前言2.利用prompt3.利用LogitProcessor3.1修改13.2修改23.3修改33.4修改41.前言在之前的博客NLP实践——
Llama-
常鸿宇
·
2023-08-06 08:53
生成模型
实验记录
自然语言处理
自然语言处理
llama
人工智能
以
Llama-2
为例,在生成模型中使用自定义LogitsProcessor
以
Llama-2
为例,在生成模型中使用自定义LogitsProcessor1.前言2.场景介绍3.解决方法4.结语1.前言在上一篇文章以
Llama-2
为例,在生成模型中使用自定义StoppingCriteria
常鸿宇
·
2023-08-05 12:12
生成模型
自然语言处理
实验记录
llama
生成模型
NLP
以
Llama-2
为例,在生成模型中使用自定义StoppingCriteria
以
Llama-2
为例,在生成模型中使用自定义StoppingCriteria1.前言2.场景介绍3.解决方法4.结语1.前言在之前的文章中,介绍了使用transformers模块创建的模型,其generate
常鸿宇
·
2023-08-05 12:11
生成模型
自然语言处理
llama
生成模型
NLP
transformers
ChatGPT安全限制的新方案
更令人担忧的是,相同的提示也适用于ChatGPT、Claude、Bard和
LLaMA-2
这种闭源的优秀LLM。测试Claude2Claude2具有额外的安全过滤层。
heikeb
·
2023-08-04 06:23
chatgpt
安全
LLaMA系列 | LLaMA和
LLaMA-2
精简总结
文章目录1、LLaMA1.1、模型结构1.2、训练方式1.3、结论2、LLaMA-22.1、相比LLaMA1的升级2.3、模型结构2.3.1、MHA,MQA,GQA区别与联系2.4、训练方式1、LLaMA纯基座语言模型《LLaMA:OpenandEfficientFoundationLanguageModels》:https://arxiv.org/pdf/2302.13971.pdf开源!Met
#苦行僧
·
2023-08-02 12:01
#
LLaMA系列
llama
大模型
llm
自然语言处理
人工智能
深度学习
NLP实践——
Llama-2
多轮对话prompt构建
NLP实践——
Llama-2
多轮对话prompt构建1.问题提出2.prompt的正确形式3.效果测试4.结尾1.问题提出最近,META开源了
Llama-2
模型,受到了广泛的关注和好评,然而,在官方给的使用说明中
常鸿宇
·
2023-07-29 03:47
生成模型
自然语言处理
实验记录
自然语言处理
llama
prompt
LLM - Chinese-Llama-2-7b 初体验
目录一.引言二.模型下载三.快速测试四.训练数据五.总结一.引言自打
LLama-2
发布后就一直在等大佬们发布
LLama-2
的适配中文版,也是这几天蹲到了一版由LinkSoul发布的Chinese-Llama
BIT_666
·
2023-07-26 11:00
LLM
llama
LLM
AIGC
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他