LLaMa

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调

cliniNLPer等189人赞同了该文章目录收起ChatGLM-6B简介具备的一些能力局限性LoRA技术原理环境搭建数据集准备数据预处理参数高效微调单卡模式模型训练数据并行模式模型训练模型推理结语之前尝试了基于LLaMA
luoganttcc·2023-10-09 03:58

LLMs 入门实战系列

【LLMs入门实战系列】第一层LLMstoNaturalLanguageProcessing(NLP)第一重ChatGLM-6B系列ChatGLM-6BChatGLM2-6B第十一重Llama2第十重BaichuanBaichuan
luoganttcc·2023-10-08 19:25

ChatGPT中文LLM相关的开源大模型资源汇总

文章目录前言1.文本LLM模型1.1ChatGLM-6B1.2ChatGLM2-6B1.3Moss1.4Chinese-LLaMA-Alpaca1.5OpenChineseLLaMA1.6BELLE1.7Panda1.8Robin1.9Fengshenbang-LM1.10Luotuo-Chinese-LLM1.11Linly1.12Firefly1.13ChatYuan1.14ChatRWKV1
goomind·2023-10-08 09:46

ChatGPT社交时代降临！Meta在三大平台，集成28个生成式AI！

据悉，这些AI机器人是基于Meta最新发布的大语言模型Llama2打造而成，功能与ChatGPT几乎一样，用户通过文本问答方式就能快速获取各种内容，支持文本直接生成图片，同时与微软的Bing实现集成，可实时搜索网
RPA中国·2023-10-08 07:37

LongLoRA：超长上下文，大语言模型高效微调方法

LongLoRA在开源模型LLaMA27B/13B/70B上进行了试验，将上下文原始长度扩展至32K、64K、100K，所需要的算力资源却很
RPA中国·2023-10-08 07:28

大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2

增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。对长上下文场景，在解码阶段，缓存先前token的Key和Value（KV）需要巨大的内存开销，其次主流的LLM模型在推理的时候上下文长度都小于等于训练时的上下文长度。为了约束长文本时缓存先前KV的内存和计算量，很容易想
shichaog·2023-10-07 22:41

开源大模型正在“杀死”闭源？

ChatGPT横空出世7个多月后，7月19日，Llama2宣布开源，并且可直接商用。如今回看，这一天也成为了大模型发展的分水岭。在此之前，全世界开源的大模型不计其数，可只是停留在开发研究层面。
光锥智能·2023-10-07 20:12

2023了，学习深度学习框架哪个比较好？

都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建
爱编程的鱼·2023-10-06 11:35

大模型部署手记（7）LLaMA2+Jetson AGX Orin

1.简介组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：llama-2-7b、llama
张小白TWO·2023-10-05 23:29

Llama2-Chinese项目：6-模型评测

  测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。1.测试中的Prompt  例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示：[INST]>Youareahelpful,respectfulandhonestassistant.Alwaysanswerashelpfullyaspo
NLP工程化·2023-10-05 09:43

大模型Llama2部署，基于text-generation-webui、Llama2-Chinese

一键部署llama2+chatglm2，集成所有环境和微调功能，本地化界面操作！
cheng_tc·2023-10-05 05:46

Llama2-Chinese项目：7-外延能力LangChain集成

  本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。
NLP工程化·2023-10-05 05:08

AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化

导读：本文介绍了CodeLlama的简介、本地化部署、测试和应用实战方案，帮助学习大语言模型的同学们更好地应用CodeLlama。我们详细讲解了如何将CodeLlama部署到实际应用场景中，并通过实例演示了如何使用CodeLlama进行代码生成和优化。最后，总结了CodeLlama的应用实战经验和注意事项。（有图有真相）：目录一、CodeLlama简介二、CodeLlama性能分析
清风等待KT·2023-10-04 21:10

分享9个已开源的GPT4平替，用过感觉还不错

分享9个已开源的GPT4平替，用过感觉还不错鱼子酱关注她22人赞同了该文章目录收起1.ColossalAI2.ChatGLM3.LLaMa4.LLaMa-ChatLLaMA5.BELLE6.PaLM-rlhf-pytorch7
luoganttcc·2023-10-04 16:08

大语言模型之十五-预训练和监督微调中文LLama-2

这篇博客是继《大语言模型之十二SentencePiece扩充LLama2中文词汇》、《大语言模型之十三LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》前面博客演示了中文词汇的扩充以及给予
shichaog·2023-10-04 01:07

大语言模型之十四-PEFT的LoRA

在《大语言模型之七-Llama-2单GPU微调SFT》和《大语言模型之十三LLama2中文推理》中我们都提到了LoRA（低秩分解）方法，之所以用低秩分解进行参数的优化的原因是为了减少计算资源。
shichaog·2023-10-03 20:52

Llama2-Chinese项目：4-量化模型

一.量化模型调用方式  下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit
NLP工程化·2023-10-03 16:14

使用ExLlamaV2在消费级GPU上运行Llama2 70B

Llama2模型中最大也是最好的模型有700亿个参数。一个fp16参数的大小为2字节。加载Llama270b需要140GB内存(700亿*2字节)。
deephub·2023-10-02 17:57

大模型tokenizer流式响应解决词句连贯性问题

fromtransformersimportLlamaTokenizerFastimportnumpyasnptokenizer=LlamaTokenizerFast.from_pretrained("heilerich/llama-tokenizer-fast
Mr.Lee jack·2023-10-01 21:10

大规模语言模型--LLaMA 家族

LLaMA模型集合由MetaAI于2023年2月推出，包括四种尺寸(7B、13B、30B和65B)。由于LLaMA的开放性和有效性，自从LLaMA一经发布，就受到了研究界和工业界的广泛关注。
hanscalZheng·2023-10-01 11:56

大规模语言模型--中文 LLaMA和Alpaca

中文LLaMA尽管LLaMA和Alpaca在NLP领域取得了重大进展，它们在处理中文语言任务时，仍存在一些局限性。
hanscalZheng·2023-10-01 11:54

在jupyter中更改、增加内核

今天在配置llama2的环境，在学院实验室的服务器上面用jupyter，怎么都不会增加内核。今天说一下怎么把创建好的conda环境增加到jupyter列表中。
牛右刀薛面·2023-10-01 07:35

【OSCAR开源产业大会分论坛】开源大模型走向何方？

近一年来，我们看到GPT-3.5完成向多模态的GPT-4进化，号称5620亿参数的GooglePaLM迈向参数规模更小、更高效的PaLM2；我们看到Meta开源其Llama大模型，并催生囊括Alpaca
HyperAI超神经·2023-09-30 22:42

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略

LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略导读：2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA
一个处女座的程序猿·2023-09-30 19:49

LLAMA2（Meta大语言模型）可运行整合包的下载与安装

LLAMA2（Meta大语言模型）可运行整合包的下载与安装Windows10+消费级显卡可用一、工程github工程：https://github.com/facebookresearch/llamaLLAMA2
沧海之巅·2023-09-30 15:13

大语言模型之十三 LLama2中文推理

在《大语言模型之十二SentencePiece扩充LLama2中文词汇》一文中已经扩充好了中文词汇表，接下来就是使用整理的中文语料对模型进行预训练了。这里先跳过预训练环节。
shichaog·2023-09-29 16:52

为什么埃隆·马斯克说Rust是AGI的语言？

更新：零Python依赖、可移植和超快的llama2运行时已经发布！由Rust编写并在WasmEdge上运行。观看演示视频并查找下面的源代码存储库。为什
丁丁猫 Codeye·2023-09-29 00:15

大语言模型之十二 SentencePiece扩充LLama2中文词汇

在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多，比如HuggingfaceTransformer、微软的DeepSpeed
shichaog·2023-09-28 07:50

一文读懂Llama 2（从原理到实战）

简介Llama2，是MetaAI正式发布的最新一代开源大模型。Llama2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Llama2也翻了一倍。
music score·2023-09-28 06:54

【OSCAR开源产业大会分论坛】开源大模型走向何方？

近一年来，我们看到GPT-3.5完成向多模态的GPT-4进化，号称5620亿参数的GooglePaLM迈向参数规模更小、更高效的PaLM2；我们看到Meta开源其Llama大模型，并催生囊括Alpaca
·2023-09-27 19:06

利用sentencepiece训练中文分词器，并与LLaMA分词器合并

零、数据下载、处理#!/usr/bin/envpython#-*-coding:utf-8_*-"""@description:搜集多个数据集合并数据集todo"""importglobfromtqdmimporttqdmimportjsonimportjsonimportosfromtqdmimporttqdmfromzhconvimportconvert#===================
u013250861·2023-09-27 14:21

使用Triton部署chatglm2-6b模型 | 京东云技术团队

支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNXRuntime和OpenVino。
·2023-09-27 12:31

Chinese-LLaMA-AIpaca 指令精调

文章目录一、继续训练Chinese-AIpaca模型的LoRA权重二、基于中文Chinese-LLaMA训练全新的指令精调LoRA权重1、合并2、基于中文Chinese-LLaMA训练全新的指令精调LoRA
伊织code·2023-09-27 03:12

LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/
张志翔的博客·2023-09-26 19:59

LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略

它在OpenCompass提出的5个能力维度上(语言、知识、理解、推理、学科)全面领先于同规模开源模型，InternLM-20B在综合能力上全面领先于13B量级的开源模型，同时在推理评测集上接近甚至超越Llama
一个处女座的程序猿·2023-09-26 13:31

ChatGLM2-6B微调实践

github.com/THUDM/ChatGLM2-6Bhttps://github.com/hiyouga/ChatGLM-Efficient-Tuninghttps://github.com/hiyouga/LLaMA-Efficient-Tuning
weixin_43870390·2023-09-26 12:49

性能超越Llama2等同等尺寸模型

Qwen-14B在多个权威评测中超越同等规模模型，部分指标甚至接近Llama2-70B。阿里云此前开源了70亿参数模型Qwen-7B等，一个多月下载量破100万，成为开源社区的口碑之作。
CSDN云计算·2023-09-26 05:38

LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】

自注意力机制（`Self-attention`）2.2.3、多头自注意力（`Multi-headedSelf-attention`）2.3、transformer2.4、BERT2.5、GPT2.6、LLaMA2
来杯Sherry·2023-09-26 03:03

大模型的最大bug，回答正确率几乎为零，GPT到Llama无一幸免

我让GPT-3和Llama学会一个简单的知识：A就是B，然后反过来问B是什么，结果发现AI回答的正确率竟然是零。这是什么道理？
库库的里昂·2023-09-25 20:01

代码生成优化：微调Falcon40b

Falcon-40b-Instruct模型基于Falcon40b模型进行微调，用于指令接收和对话任务，在HuggingFace的LLM基准测试中名列前茅，仅次于基于Meta的非开源Llama系列的模型。
·2023-09-25 18:55

使用CPU本地部署一个大模型

Llama2llama2是Meta推出的开源大模型llama的第二代版本，有比较好的效果和社区支持，可
天使手儿·2023-09-25 04:52

700亿参数Llama 2训练加速195%！数据成为其提升效果的关键要素

Llama2是MetaAI正式发布的最新一代开源大模型，达到了2万亿的token。精调Chat模型是在100万人类标注数据上训练。
景联文科技·2023-09-24 02:55

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】

GitHub项目：Chinese-LLaMA-Alpaca由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。
u013250861·2023-09-23 22:37

中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表 & 针对中文语料进行高效编码

EfficientandEffectiveTextEncodingforChineseLlamaandAlpacaPDF:https://arxiv.org/pdf/2304.08177v1.pdfCode:https://github.com/ymcui/Chinese-LLaMA-Alpaca
CVHub·2023-09-23 22:33

LLMs资源

二、Claude三、Llama
神洛华·2023-09-23 12:03

英伟达 nvidia 官方code llama在线使用

该模型是基于Llama2研发的，为开放模型中的佼佼者，其性能达到了行业领先水平。模型特点与亮点CodeLlama系列提供多种型号，以满足不同应用的需求。
三块钱0794·2023-09-23 11:47

LLaMa

文章目录Problems403代码文件LLaMA:OpenandEfficientFoundationLanguageModels方法预训练数据结构优化器一些加速的方法结果CommonSenseReasoningClosed-bookQuestionAnsweringReadingComprehensionMassiveMultitaskLanguageUnderstandingInstructi
右边是我女神·2023-09-23 11:17

LLM（二）| LIMA：在1k高质量数据上微调LLaMA1-65B，性能超越ChatGPT

本文将介绍在Lit-GPT上使用LoRA微调LLaMA模型，并介绍如何自定义数据集进行微调其他开源LLM监督指令微调（SupervisedInstructionFinetuning）什么是监督指令微调？
wshzd·2023-09-23 08:56

ChatGPT竞争对手Writer，获得1亿美元融资；面向不同任务微调Llama-2经验总结

AI新闻ChatGPT竞争对手Writer，获得1亿美元融资摘要：美国生成式AI平台Writer宣布获得1亿美元的B轮融资。Writer提供类似于ChatGPT的功能，主要聚焦在企业领域，提供文本生成、总结摘要、文本纠错等服务。Writer自研了大语言模型Palmyra，并在医疗保健、营销、法律等领域进行了微调。它具备数据安全、操作透明和可解释性，并提供多种个性化功能。Writer适用于各种主流业
go2coding·2023-09-23 05:56

ChatGLM LLM大模型训练和预测如何计算算力需求

架构+数据+算力8*A100微调大模型lora工具微调内容审核:输入的审核生成的审核;GPU并行处理能力算力计算一个LLaMA-6B的数据类型为Int8模型参数6B1bytes=6GB梯度6B1bytes
张志翔的博客·2023-09-23 03:15
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他