LLaMa

LLaMA-Factory添加adalora

感谢https://github.com/tsingcoo/LLaMA-Efficient-Tuning/commit/f3a532f56b4aa7d4200f24d93fade4b2c9042736和
wozwdaqian·2024-01-13 04:36

用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节

大家好，今天的文章分享三个方面的内容：1、比较LLaMA、ChatGLM、Falcon等大语言模型的细节：tokenizer、位置编码、LayerNormalization、激活函数等。
机器学习社区·2024-01-13 02:47

这应该是最全的大模型训练与微调关键技术梳理

是否希望深入探索LLaMA、ChatGLM等模型的微调技术，进一步优化参数和使用不同微调方式？现在我带大家领略大模型训练与微调进阶之路，拓展您的技术边界！
机器学习社区·2024-01-13 02:46

HackerGPT&WhiteRabbitNeo的使用及体验对比

1.简介WhiteRabbitNeo（https://www.whiterabbitneo.com/）是基于Meta的LLaMA2模型进行特化的网络安全AI模型。
INSBUG·2024-01-12 18:20

GPT在地学、GIS、气象、农业、生态、环境等领域中的应用教程

GIS、气象、农业、生态、环境等领域中的应用教程一开启大模型1开启大模型1)大模型的发展历程与最新功能2)大模型的算法构架与底层逻辑3)大模型的强大功能与应用场景4)国内外经典大模型（ChatGPT、LLaMA
慢腾腾的小蜗牛·2024-01-12 18:35

羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读

论文地址：https://arxiv.org/pdf/2307.09288.pdfd代码地址：GitHub-facebookresearch/llama-recipes:ExamplesandrecipesforLlama2model
andeyeluguo·2024-01-12 17:59

数据驱动下的LLM优化：如何从数据集中发掘最大价值？

指令微调是一种用于改善像ChatGPT和Llama-2-chat这样的语言模型性能的方法，通过让模型为一
wwlsm_zql·2024-01-12 09:50

TinyLlama-1.1B(小羊驼)模型开源-Github高星项目分享

简介TinyLlama项目旨在在3万亿tokens上进行预训练，构建一个拥有11亿参数的Llama模型。经过精心优化，我们"仅"需16块A100-40G的GPU，便可在90天内完成这个任务。
AI 研习所·2024-01-12 08:38

通过大量生物、地球、农业、气象、生态、环境科学领域中案例，解锁大模型在科研、办公中的高级应用，可以一起探索如何优雅地使用大模型？

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
梦想的初衷~·2024-01-12 08:02

面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助阅读、文献信息提取、辅助论文审稿、新闻撰写、科技绘图、地学绘图（GIS地图绘制）

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
梦想的初衷~·2024-01-12 08:02

DeepSeek 发布全新开源大模型，数学推理能力超越 LLaMA-2

自从LLaMA被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对LLM缩放规律的深入探索。
夕小瑶·2024-01-12 05:44

使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA

由于LLaMA没有使用RLHF，后来有一个初创公司NebulyAI使用LangChainagent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的
wshzd·2024-01-12 05:05

llama_index 创始人为我们展示召回提升策略（提升15%）

用句子向量替换为句子向量句子检索，将句子转化为向量。在检索的过程中，假如句子命中，则将句子周围的内容也当做检索内容。对比句子检索和之前的按块去做切分的检索。可以看到，内容的相关性提升了8%，构建数据的时候，包好层次结构如果召回的时候，更多的有命中一个父节点下的多个子节点，则将父节点的数据全部返回，作为内容。测试结果看到，召回相关性上从36%提升到43%，提升了7%
水的精神·2024-01-12 01:45

高效底座模型LLaMA

论文标题：LLaMA:OpenandEfficientFoundationLanguageModels论文链接：https://arxiv.org/pdf/2302.13971.pdf论文来源：MetaAI1
智慧医疗探索者·2024-01-11 13:06

Ubuntu22.04，Nvidia4070配置llama2

大部分内容参考了这篇非常详细的博客，是我最近看到的为数不多的保姆级别的教学博客，建议大家去给博主点个赞【Ubuntu20.04安装和深度学习环境搭建4090显卡】_ubuntu20.04安装40系显卡驱动-CSDN博客本篇主要是基于这篇博客结合自己配置的过程中一些注意点和补充说明（其实主要是方便自己以后配置）本篇主要包含以下4个部分1.安装配置Ubuntu2.安装nvidia驱动，cuda,cud
机器人迈克猫·2024-01-11 13:24

AI数据微调找免费GPU遇阻之路

赶在如火如荼的2023AI的尾声，开始研究AI，在了解了当前技术的发展以及试用了多个AI模型和平台之后，计划本地安装Llama.cpp，利用积累的威胁建模数据和检测规则数据进行数据微调，实现自动化威胁建模和
manok·2024-01-11 10:12

使用AI平台处理训练和微调数据

Llama.cpp是GeorgiGerganov基于Meta的LLaMA模型手写的纯C/C++版本，让我们实现了在笔记本电脑上部署和体验AI大模型，实现没有GPU也可以运行AI大模型。
manok·2024-01-11 10:09

论文系列之-Mixtral of Experts

它试图解决的主要问题包括：1.提高模型性能：通过使用稀疏混合专家结构，Mixtral在多个基准测试中超越或匹配了现有的大型模型（如Llama270B和GPT-3.5），尤其是在数学、代码生成和多语言理解任务上
Takoony·2024-01-11 10:31

大模型日报-20240110

这种「幻觉」难题Vista-LLaMA给解决了https://mp.weixin.qq.com/s/rsg1c4PnBp9PUEo1ROTkoQ近年来，大型语言模型如GPT、GLM和LLaMA等在自然语言处理领域取得了显著进展
程序无涯海·2024-01-11 07:15

构建自己的私人GPT-支持中文

privateGPT本地部署目前只支持基于llama.cpp的gguf格式模型，GGUF是llama.cpp团队于2023年8月21日推出的一种新格式。
崎山小鹿·2024-01-11 01:54

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
思考的小猴子·2024-01-10 19:44

GPT大模型在生物、地球、农业、气象、生态、环境科学可以应用？

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
思考的小猴子·2024-01-10 19:12

@关于大模型的基础知识

@关于大模型的基础知识大模型的基础包括模型训练、数据集准备、微调和评估四大部分文章目录从大模型的训练说起大模型的基础调用大模型：例如调用llama2模型微调大模型从大模型的训练说起大模型的基础transformerself-attention
专心研究·2024-01-10 19:38

Github 2024-01-10 C开源项目日报Top10

根据开发语言中项目的数量，汇总情况如下：开发语言项目数量C项目10C++项目2PLpgSQL项目1Assembly项目1LLaMA模型的C/C++移植创建周期：306天开发语言：C,C++协议类型：MITLicenseStar
孙琦Ray·2024-01-10 11:26

【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐

当像LLaMA-2-7B这样的原始LLM被
致Great·2024-01-10 09:16

AI大模型引领未来智慧科研暨ChatGPT在地学、GIS、气象、农业、生态、环境等领域中的高级应用

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
Mr.靳靳477302280·2024-01-10 08:04

AI大语言模型会带来了新一波人工智能浪潮？

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
梦想的初衷~·2024-01-10 08:31

LLaMA Efficient Tuning

文章目录LLaMAEfficientTuning安装数据准备浏览器一体化界面单GPU训练train_bash1、预训练pt2、指令监督微调sft3、奖励模型训练rm4、PPO训练ppo5、DPO训练dpo多GPU分布式训练1、使用HuggingfaceAccelerate2、使用DeepSpeed导出微调后的模型export_model.pyAPI服务api_demo.py命令行测试cli_dem
小田_·2024-01-10 07:22

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1
国家一级假勤奋大学生·2024-01-10 07:50

书生·浦语大模型全链路开源体系

各大公司、研究机构纷纷发布自己的大模型，国内发布的大模型就有：书生（InternLM）、文心一言（Yiyan）、百川（Baichuan）、通义千问（Qwen）、ChatGLM等，国外比较知名的有：Llama
weixin_39897979·2024-01-10 03:38

基于llama.cpp学习开源LLM本地部署

目录前言一、llama.cpp是什么？
joimson·2024-01-10 01:00

llama.cpp模型推理之界面篇

目录前言一、llama.cpp目录结构二、llama.cpp之server学习1.介绍2.编译部署3.启动服务4、扩展或构建其他的Web前端5、其他前言在《基于llama.cpp学习开源LLM本地部署》
joimson·2024-01-10 01:29

GPT在地学、GIS、气象、农业、生态、环境等领域应用教程

在地学、GIS、气象、农业、生态、环境等领域应用教程一开启大模型1开启大模型1)大模型的发展历程与最新功能2)大模型的算法构架与底层逻辑3)大模型的强大功能与应用场景4)国内外经典大模型（ChatGPT、LLaMA
夏日恋雨·2024-01-09 16:00

llama2 保姆级windows环境配置，训练，部署及常见问题解决方法

业务需要开始研究LLM，并且二次开发用到我们的业务上。罗嗦几句，我从开始看LLM到配起来训练总共花了两个礼拜时间，看了不下20个视频教程和100篇博客教程，没有哪一个教程是能够从头到尾配置完没有差错的跑起来的，真的呼吁一下大家提高一下教程的质量，自己验证完之后再发布，有错误及时更新或者下线。以下正式开始配置1.环境1.1window111.2nvdia4080或4090显卡，（这里有坑，后面再说）
机器人迈克猫·2024-01-09 12:29

关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama

更新了以下特性：全面支持主流开源大模型Bloom,ChatGLM,GLM,Llama,OPT的训练和推理；TrainerAPI新增张量训练能力,简单配置即可开启分布式训练；新增低参数微调能力PEFT,助力大模型高效微调
路人与大师·2024-01-09 02:57

大模型学习第一课

大模型开源体系学习内容：大模型简述大模型性能开源体系学习时间：周四上午10点学习记录：大模型简述大模型是发展通用人工智能的重要途经专用模型到通用大模型实验室开源历程，大模型系列7B-20B-123B大模型性能达到Llama2
敲键盘的喵桑·2024-01-09 01:14

每日一看大模型新闻（2023.11.14）谷歌提出新型生成式AI模型IGN；谷歌天气预报模型GraphCast登刊Science；贾扬清吐槽国产大模型套壳Llama 假装自研，零一万物回应

1.产品发布1.1面壁智能：发布AIAgents首个SaaS级产品ChatDev发布日期：2023-11-15面壁智能打造首个“大模型+Agent”SaaS级产品ChatDev主要内容：面壁智能已经推出了基于群体智能和其新一代千亿参数大模型"CPM-Cricket"的智能软件开发平台"面壁智能ChatDev"。这个平台是行业内首次使用AIAgents技术进行群体智能协作的SaaS平台产品，能够让软
超爱玩大模型·2024-01-08 20:47

每日一看大模型新闻（2023.11.07）三星发布自研大模型Gauss；零一万物开源Yi系列大模型，领跑全球AI 2.0时代；微软新研究:Llama2记忆消除术使大模型忘记特定信息

1.产品发布1.1中兴通讯AiCube训推一体机：赋能企业数字化转型发布日期：2023-11-07百度安全验证主要内容：这是中兴为运营商和AI行业开发者提供的首套智算解决方案，让AI开发效率得到大幅提升。该产品代表着全栈智算的未来，目的是简化企业的数字化转型过程，提供一站式智算服务，直击当前AI大模型技术爆发带来的挑战与需求。1.2华为西工大发布流体力学大模型“秦岭·翱翔”发布日期：2023-11
超爱玩大模型·2024-01-08 20:15

本地部署 Ollama

运行Llama2、CodeLlama和其他模型。自定义并创建自己的。1.下载Ollama访问https://ollama.ai/download，根据你使用的系统，下载相应版本。这里以Li
engchina·2024-01-07 20:03

非工程师指南: 训练 LLaMA 2 聊天机器人

我们将以LLaMA2基础模型为例，在开源指令数据集上针对聊天场景对其进行微调，并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标，即可轻松通往荣耀之路！为什么这很重要？
Hugging Face·2024-01-07 20:39

大模型的实践应用15-Chinese-LLaMA2模型的介绍与部署运行测试，Atom-7B-Chat模型用多种方式流式打印文本

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用15-Chinese-LLaMA2模型的介绍与部署运行测试，Atom-7B-Chat模型用多种方式流式打印文本。
微学AI·2024-01-07 13:44

主流大语言模型从预训练到微调的技术原理

引言本文设计的内容主要包含以下几个方面：比较LLaMA、ChatGLM、Falcon等大语言模型的细节：tokenizer、位置编码、LayerNormalization、激活函数等。
智慧医疗探索者·2024-01-07 10:32

【NLP】2024年改变人工智能的前六大NLP语言模型

我们将从2018年的一个开创性的BERT模型开始，并以今年的最新突破结束，如MetaAI的LLaMA和OpenAI的GPT-4
架构师研究会·2024-01-07 07:32

探索VSCode新宠：AI小助手，让你编程如虎添翼！

这款插件集成了多个超强大的模型，如GPT-4、GPT4.0、XINGHUO-2、CLAUDE-2、LLAMA-2-13B-CHAT等，它们都是顶尖的自然语言处理模型。
洛洛31·2024-01-06 21:13

一年百模大战下来，有哪些技术趋势和行业真相逐渐浮出水面？

LLaMA的巧合开启开源大模型浪潮。名词解释AIGC:AI-GeneratedContent指利用人工智能技术（生成式AI路径）来生成内容的新型内容生成方式。
Dlimeng·2024-01-06 21:12

通过大量生物、地球、农业、气象、生态、环境科学领域中案例，一起探索如何优雅地使用大模型吧！

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、
思考的小猴子·2024-01-06 17:13

乘骐骥以驰骋兮，来吾道夫先路——2023年大模型技术基础架构盘点与开源工作速览

目录一、模型基本架构1.1、自回归（Autoregressive）模型架构1.2、自编码（Autoencoder）模型架构1.3、完整的编码-解码模型架构二、典型开源工作速览2.1、LLaMA-22.2
中杯可乐多加冰·2024-01-06 12:25

LLM（九）| 使用LlamaIndex本地运行Mixtral 8x7大模型

MistralAI在一篇博客文章（https://mistral.ai/news/mixtral-of-experts/）介绍了Mixtral8x7b，在许多基准上与GPT-3.5和Llama270b相匹配甚至是超越
wshzd·2024-01-05 12:18

2024-01-04 用llama.cpp部署本地llama2-7b大模型

点击快速C语言入门用llama.cpp部署本地llama2-7b大模型前言一、下载`llama.cpp`以及`llama2-7B`模型文件二、具体调用总结使用协议:LicensetouseCreativeCommonsZero-CC0
不停感叹的老林_·2024-01-05 04:05

KnowLM知识抽取大模型

文章目录KnowLM项目介绍KnowLM项目的动机ChatGPT存在的问题基于LLama的知识抽取的智析大模型数据集构建及训练过程预训练数据集构建预训练训练过程指令微调数据集构建指令微调训练过程开源的数据集及模型局限性信息抽取
dzysunshine·2024-01-05 00:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他