llama

ColossalAI-Chat训练手册（RLHF）

Trainingrewardmodel）3.3、RL（TrainingmodelusingpromptswithRL）3.4、使用模型进行应答3.5、playground3.6、应答效果4、异常记录4.1llama
IT一氪·2023-09-11 23:26

Code Llama: Open Foundation Models for Code

CodeLlama：代码的开放基础模型摘要1引言2CodeLlama：专业化Llama2用于代码3结果4负责任的人工智能与安全5相关工作6讨论摘要我们发布了CodeLlama，这是一个基于Llama2的大型代码语言模型系列
UnknownBody·2023-09-11 20:13

Chinese-LLaMA-Alpaca-2模型的测评

训练生成效果评测FastchatChatbotArena推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。生成回复具有随机性，受解码超参、随机种子等因素影响，因此相关评测并非绝对严谨，结果仅供晾晒参考。⚔️模型竞技场：http://llm-arena.ymcui.com系统对战胜率（无平局）↓Elo评分Chinese-
柴神·2023-09-11 18:36

ggerganov/llama.cpp 编译

ggerganov/llama.cpp-编译出main可执行程序依赖以下的源代码文件如果想在Windows系统编译出llama.cpp项目（这个是github上的仓库，ggerganov/llama.cpp
庵中十三居士·2023-09-11 07:11

大模型扫盲之小白入门手记

现有的大模型很多，随便一搜，就能看到很多，除却最近大火的GPT，还有专注于常识推理、形式逻辑的PaLM、专门服务于企业的Cohere、目前仅能用于研究的LLaMA…在大语言模型和大模型中，大语言模
!柯西洗袜子·2023-09-11 04:21

Try llama2 in NUC (by quqi99)

张华发表于：2023-09-06版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99)据说现在在PC机上可以运行llama2
quqi99·2023-09-11 01:12

Baichuan2开源大模型正式发布，王小川：性能超过LLaMA2

大数据产业创新服务媒体——聚焦数据·改变商业ChatGPT火爆出圈之后，社交巨头Meta奋力追赶，分别在3月、7月发布开源的LLaMA、LLaMA2大模型，引领一场大模型开源运动。
数据猿·2023-09-10 05:26

如何在SAM时代下打造高效的高性能计算大模型训练平台

关键词：SAM；PCB；SA-1B；Prompt；CV；NLP；PLM；BERT；ZSL；task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer
·2023-09-10 01:45

【精华】AIGC专栏-Text/Img/Video/audio

（一）LLM专栏大模型相关技术原理以及实战经验：liguodongiot/llm-action1ColossalAI（1）参考资料：700亿参数LLaMA2训练加速195%，基础大模型最佳实践再升级（2
LeeZhao@·2023-09-09 22:27

Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记

文章目录Llama2:OpenFoundationandFine-TunedChatModels1.简介2.预训练2.1预训练数据2.2训练详情2.3LLAMA2预训练模型评估3.微调3.1supervisedFine-Tuning
chencjiajy·2023-09-09 19:50

CondaSSLError: Encountered an SSL error. Most likely a certificate verification issue 问题解决

conda环境报错如下：(base)root@dell:/home/yuanzefu/llama#condacreate-nllama2Collectingpackagemetadata(current_repodata.json
阿福Chris·2023-09-09 19:12

[NLP]LLM--使用LLama2进行离线推理

一模型下载二模型推理本文基于Chinese-LLaMA-Alpaca-2项目代码介绍，使用原生的llama2-hf克隆好了Chinese-LLaMA-Alpaca-2项目之后，基于GPU的部署非常简单。
舒克与贝克·2023-09-09 07:55

[NLP]LLM---FineTune自己的Llama2模型

stalkabitabouttheparameterswecantunehere.First,wewanttoloadallama-2-7b-hfmodelandtrainitonthemlabonne/guanaco-llama2
舒克与贝克·2023-09-09 06:38

IDEFICS 简介: 最先进视觉语言模型的开源复现

引言CodeLlama是为代码类任务而生的一组最先进的、开放的Llama2模型，我们很高兴能将其集成入HuggingFace生态系统！CodeLlama使用与Llama2相同的社区许可证，且可商用。
·2023-09-09 00:31

百度智能云千帆大模型丨未来人手必备的代码助手

常用的GPT4，GPT3.5，Claude，Llama之类的它都支持。这样有什么好处呢？好处其实很多。因为每个大模型对于同一个问题的回答或者理解都是不一样的，最好的方式就是
陈橘又青·2023-09-08 14:47

基于llama2 微调 的python 代码解释器

https://github.com/SeungyounShin/Llama2-Code-Interpreter
君臣Andy·2023-09-08 09:59

大模型技术实践（三）｜用LangChain和Llama 2打造心灵疗愈机器人

上期文章我们实现了Llama2-chat-7B模型的云端部署和推理，本期文章我们将用“LangChain+Llama2”的架构打造一个定制化的心灵疗愈机器人。
AI 研习所·2023-09-08 05:07

Code Llama：Llama 2 学会写代码了！

引言CodeLlama是为代码类任务而生的一组最先进的、开放的Llama2模型，我们很高兴能将其集成入HuggingFace生态系统！CodeLlama使用与Llama2相同的社区许可证，且可商用。
·2023-09-07 21:07

大语言模型推理与部署工具介绍

工具特点CPUGPU量化GUIAPIvLLM§16K‡教程llama.cpp丰富的量化选项和高效本地推理✅✅✅❌✅❌✅linkTransformers原生transformers推理接口✅✅✅✅❌✅✅linkColabDemo
柴神·2023-09-07 21:12

LLaMA(Open and Efficient Foundation Language Models )论文解读(二)

此篇博客主题:LLAMA模型数据、训练时长、功耗及碳排放量LLaMA:OpenandEfficientFoundationLanguageModelspaperhttps://arxiv.org/pdf
晚点吧·2023-09-07 20:51

【LLM系列之LLaMA】LLaMA: Open and Efficient Foundation Language Models

论文题目：《LLaMA:OpenandEfficientFoundationLanguageModels》论文链接：https://arxiv.org/pdf/2302.13971.pdfgithub链接
致Great·2023-09-07 20:51

Meta推出Code Llama：编程的未来已来

今天，Meta推出了一项前沿技术——CodeLlama，这是一款基于Llama2构建的大型语言模型（LLM），专门用于生成和讨论代码。这一创新技术的发布标志着编程领域的新时代。
dotNET跨平台·2023-09-07 20:20

官方的Code Llama开源：免费商用，神秘版本接近GPT-4

近日，Meta的开源Llama模型家族迎来了一位新成员——专攻代码生成的基础模型CodeLlama。作为Llama2的代码专用版本，CodeLlama基于特定的代码数据集在其上进一步微调
数据派THU·2023-09-07 20:20

文献阅读：LLaMA: Open and Efficient Foundation Language Models

文献阅读：LLaMA:OpenandEfficientFoundationLanguageModels1.文章简介2.模型训练1.训练数据2.模型结构3.模型训练1.Optimizer2.效率优化3.效果评估
Espresso Macchiato·2023-09-07 20:49

Meta AI 重磅发布代码大模型 Code Llama

刚刚，MetaAI如期而至发布了CodeLlama，这是一个可以使用文本提示生成代码的大型语言模型(LLM)。CodeLlama是针对代码任务的公开LLM的最先进技术，有可能使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。CodeLlama有潜力用作生产力和教育工具，帮助程序员编写更强大、文档更齐全的软件。值得让人兴奋的是，CodeLlama完全开源，现已公开供研究和商业用途。
技术狂潮AI·2023-09-07 20:48

Code Llama: Open Foundation Models for Code

:OpenFoundationModelsforCodePaperReadingNotePaperURL:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code
kebijuelun·2023-09-07 20:17

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

:::info本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。:::前言随着ChatGPT以及StableDiffusion,Midjourney这些新生代AIGC应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有copilotsystem365,钉钉智能；
Serverless 社区·2023-09-07 06:12

如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

本文是“在Serverless平台上构建AIGC应用”系列文章的第一篇文章。前言随着ChatGPT以及StableDiffusion,Midjourney这些新生代AIGC应用的兴起，围绕AIGC应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有copilotsystem365,钉钉智能；代码编程领域有git
·2023-09-06 18:33

TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS

TOOLLLMs：让大模型掌握16000+的真实世界APIs摘要1引言2数据集构建3实验4相关工作5结论摘要尽管开源大型语言模型（LLM）及其变体（如LLaMA和Vicuna）取得了进步，但它们在执行更高级别的任务方面仍然
UnknownBody·2023-09-06 17:54

AI，正在疯狂进化，金融大模型来了

一、FinGPT之前我就发过各个领域的大语言模型，比如医学领域的：Huatuo-LLaMA也发过法律领域的大语言模型：LaWGPT现在，金融领域的，FinGPT来了！
Python算法实战·2023-09-06 03:44

Notebook 一站式打包“Llama-2-7B chatbot”与“Llama-2-7B-with agent”

Llama-2模型7月18日，Meta与微软联手发布了免费、可直接商用的LLM模型——Llama2。Facebook人工智能研究院首席
·2023-09-05 16:59

微调llama2模型教程：创建自己的Python代码生成器

所以本文将重点展示如何定制自己的llama2，进行快速训练，以完成特定任务。
·2023-09-04 23:09

揭秘最领先的Llama2中文大模型！

导语国内最大的开源社区：Llama中文社区率先完成了国内首个真正意义上的中文版Llama2-13B大模型，从模型底层实现了Llama2中文能力的大幅优化和提升。
PaperWeekly·2023-09-04 23:14

上传、下载huggingface仓库文件（模型、数据等）

下载例如，想要从huggingfacehub下载llama-13b模型文件到本地：可以用如下命令，local_dir就是你想要下载到的本地文件夹：fromhuggingface_hubimportsnapshot_downloadsnapshot_download
Reza.·2023-09-04 20:24

Llama-7b-hf和vicuna-7b-delta-v0合并成vicuna-7b-v0

一、配置环境condacreate-nfastchatpython=3.9#fastchat官方建议Python版本要>=3.8切换到fastchatcondaactivatefastchat安装torchpipinstalltorch==1.13.1torchvision==0.14.1torchaudio==0.13.1二、安装fastchat和transformers安装fschat==0.
Spielberg_1·2023-09-04 20:50

当大模型不是问题时，如何应对 LLM 的工程化落地挑战？

现今，我们可以看到LLaMA2、CodeLLaMA2等模型在不断刷新这种可能性。而在模型不是问题之后，作为架构师、开发人员，我们应该致力于：将LLM以工程化的方式落地。于
Phodal·2023-09-04 10:43

类ChatGPT大模型LLaMA及其微调模型

1.LLaMALLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4Ttokens1.1对transformer子层的输入归一化对每个transformer子层的输入使用RMSNorm进行归一化，计算如下：1.2使用SwiGLU替换ReLU【Relu激活函数】Relu(x)=max(0,x)。【GLU激活函数】GLU(x)=x与sigmoid(g(x))对
抓个马尾女孩·2023-09-04 08:12

PaddleNLP使用Vicuna

LLaMA模型LLaMa是一个大型语言模型，由Meta开源。它的全称是LargeLanguageModelMetaAI，参数量从70亿到650亿不等。
永胜永胜·2023-09-03 18:41

【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等（更新中）

文章目录一、Basemodelchatglm2模型Vicuna模型LLaMA2模型1.训练细节2.EvaluationResults3.更多参考alpaca模型其他大模型和peft高效参数微调二、垂直领域大模型
山顶夕景·2023-09-03 18:27

大语言模型之七- Llama-2单GPU微调SFT

详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb在上一篇博客提到两种改进预训练模型性能的方法Retrieval-AugmentedGeneration(RAG
shichaog·2023-09-03 06:18

Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune

刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。
lhf2112·2023-09-03 04:24

LLM - LLaMA-2 获取文本向量并计算 Cos 相似度

目录一.引言二.获取文本向量1.hidden_states与last_hidden_states◆hidden_states◆last_hidden_states2.LLaMA-2获取hidden_states
BIT_666·2023-09-02 12:21

哪个视觉语言模型更优？InstructBLIP、MiniGPT-4？全面评估基准LVLM-eHub告诉你

夕小瑶科技说原创作者|王思若LLaMA、GPT-3等大型语言模型实现了对自然语言强大的理解和推理能力，为AI社区构筑了强大的语言基座模型。进而，继续迭代的GPT-4，更是赋予了模型处理图像的视觉能力。
夕小瑶·2023-09-02 08:38

使用自己的领域数据扩充baichuan模型词表（其他模型也一样）

文章目录前言环境项目结构一、使用步骤二、训练词表三、合并词表四、效果前言总的来说，扩充词表可以加快解码速度，对于对中文支持不太友好的模型（如llama），扩充词表还能提升模型在中文的表现。
ToTensor·2023-09-01 10:44

LoRA指令微调——源码解析

目录1.lit-llama工程2.LoRA部分3.代码部分4.LoRA模型文件（本次博文的LoRA代码主要基于lit-llama工程）1.lit-llama工程lit-llama是一个大语言模型的工程，
lokvke·2023-08-31 20:50

Llama模型结构解析（源码阅读）

目录1.LlamaModel整体结构流程图2.LlamaRMSNorm3.LlamaMLP4.LlamaRotaryEmbedding参考资料：https://zhuanlan.zhihu.com/p/636784644https://spaces.ac.cn/archives/8265——《Transformer升级之路：2、博采众长的旋转式位置编码》前言：本次阅读代码位置，在transform
lokvke·2023-08-31 20:49

将 Llama2 中文模型接入 FastGPT，再将 FastGPT 接入任意 GPT 套壳应用，真刺激！

Llama2是Facebook母公司Meta发布的开源可商用大模型，国内的开源社区以及个人和机构也纷纷着手基于Llama2构建了中文版，并且还利用GGML机器学习张量库构建了可以在CPU上运行的Llama2
米开朗基杨·2023-08-31 11:32

AI聊天机器人平台Poe发布更新；自然语言理解课程概要

AI新闻AI聊天机器人平台Poe发布更新突破功能限制增加企业级服务摘要：知名问答网站Quora旗下的AI聊天机器人平台Poe发布了一系列更新，包括推出Mac应用、支持同时进行多个对话、接入Meta的Llama2
go2coding·2023-08-31 07:26

LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略

LLMs之Code：CodeLlama的简介、安装、使用方法之详细攻略导读：2023年08月25日(北京时间)，Meta发布了CodeLlama，一个可以使用文本提示生成代码的大型语言模型(LLM)。CodeLlama是最先进的公开可用的LLM代码任务，并有潜力使工作流程更快，更有效的为当前的开发人员和降低进入门槛的人正在学习代码。CodeLlama有潜力作为一种生产力和教育工具来帮助程序员编写更
一个处女座的程序猿·2023-08-30 23:49

CCF CED 2023——1024中国工程师文化日启动！

今年7月，Meta发布了免费可商用的Llama2大语言模型，更是给这个领域注入了
QbitAl·2023-08-30 14:11
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他