自编码器微调

LLM之幻觉（二）：大语言模型LLM幻觉缓减技术综述

梯度方法是指对基本LLM进行微调；而非梯度方法主要是在推理时使用Prompt工程技术。
wshzd·2024-01-16 09:21

XTuner 微调 课程学习

大语言模型于海量的文本内容上，以无监督和半监督的方式进行训练的模型微调的目的：使其在具体的使用场景或领域中输出更好的回答增量预训练——给模型喂新的领域知识；指令跟随或指令微调——基于海量的预训练数据训练出来的模型通常叫做
HsienWei-Chin·2024-01-16 07:19

2022-11-13【日精进第 56天】

姓名：李庆单位：郑州鹿野苑餐饮管理有限公司（朵家甜品厨房）每日定课（根据实际情况，每十天微调一次）：1，晨跑：5：20前，18分钟内跑完3公里；【完成】2，读书笔记：阅读30min+，笔记200字以上；
李庆是个做蛋糕的·2024-01-16 05:45

提示词prompt、RAG、Agent框架、微调Fine-tuning在实际应用中的落地选择

提示词的本质相当于text的填充，提示词的knowhow能力会扩展到RAG，提示词的指令遵循能力会扩展到FT微调。
lichunericli·2024-01-16 04:46

AnyDoor任意门：零样本物体级图像定制化

文章目录一、AnyDoor简介二、AnyDoor方法（一）ID特征提取（二）细节特征提取（三）特征注入（四）视频、图像动态采样一、AnyDoor简介“任意门”算法：可以将任意目标传送到指定场景的指定位置，无需微调
丁希希哇·2024-01-16 04:15

Fine-tuning：个性化AI的妙术

一、什么是大模型ChatGPT大模型今年可谓是大火，在正式介绍大模型微调技术之前，为了方便大家理解，我们先对大模型做一个直观的抽象。
千与编程·2024-01-16 02:07

大模型训练营Day3 基于 InternLM 和 LangChain 搭建你的知识库

大模型的开发范式呢，主要有以下两种模式：建立知识库和微调，知识库是传统AI专家系统中就有的概念；微调呢是冻结
AIzealot无·2024-01-16 02:32

Llama2部署、微调、集成Langchain过程记录

目录一、模型部署1.环境配置2.pip和conda源3.下载模型到本地4.下载并部署gradio5.使用gradio运行模型6.textgenerationwebui二、模型微调1.下载和预处理微调训练数据
GOozii1·2024-01-16 00:54

高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。检索增强生成（Retrieval-AugmentedGen
lichunericli·2024-01-15 21:52

微调您的Embedding模型以最大限度地提高RAG管道中的相关性检索

betterprogramming.pub/fine-tuning-your-embedding-model-to-maximize-relevance-retrieval-in-rag-pipeline-2ea3fa231149微调您的
lichunericli·2024-01-15 21:51

作业（3）——微调

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手。效果图，微调前与微调后：XTuner——一个大语言模型微调工具箱。
亲爱的阿基米德^·2024-01-15 21:13

大模型听课笔记——书生·浦语（1）

全链条开源开放体系全链条开源开放体系|数据全链条开源开放体系|预训练全链条开源开放体系|微调极致的显存优化：消费级显卡（8GB）玩转微调全链条开源开放体系|部署针对上述问题书生·浦语提出了LMdeploy
亲爱的阿基米德^·2024-01-15 21:42

大模型听课笔记——书生·浦语（3）

浦语（3）基于InternLM和LangChain搭建你的知识库LLM具有许多有点，但同样也有着局限性：知识时效性受限专业能力有限定制化成本高1针对上述问题，现在常用的大语言模型范式(检索增强生成VS微调
亲爱的阿基米德^·2024-01-15 21:42

大模型听课笔记——书生·浦语（4）

大模型听课笔记——书生·浦语（4）本节课的内容：单卡微调大语言模型是在海量文本上以无监督或半监督的方式进行训练的，这些海量的文本赋予了大模型各方面的知识，但是当我们专注于某个领域，实际应用于某个领域或应用时
亲爱的阿基米德^·2024-01-15 21:11

【LLMs 入门实战】基于 PEFT 在私有数据集上高效微调ChatGLM2-6B

原文链接【LLMs入门实战】基于PEFT在私有数据集上高效微调ChatGLM2-6B-知乎本次微调是基于github的hiyouga/ChatGLM-Efficient-Tuning项目进行微调的。
baidu_huihui·2024-01-15 15:09

大模型入门（四）—— 基于peft 微调 LLaMa模型

www.cnblogs.com/jiangxinyang/p/17330352.htmlllama-7b模型大小大约27G，本文在单张/两张16GV100上基于huggingface的peft库实现了llama-7b的微调
baidu_huihui·2024-01-15 15:09

0基础快速上手---大语言模型微调（web端）

0基础快速上手大语言模型微调—基于“第2届·百度搜索创新大赛——搜索答案组织”微调结果分析文章目录0基础快速上手大语言模型微调---基于“第2届·百度搜索创新大赛——搜索答案组织”微调结果分析微调实战经历开始微调
八荒、·2024-01-15 15:55

0基础快速上手---大语言模型微调（shell版）

0基础快速上手大语言模型微调—基于“第2届·百度搜索创新大赛——搜索答案组织”微调结果分析文章目录0基础快速上手大语言模型微调---基于“第2届·百度搜索创新大赛——搜索答案组织”微调结果分析微调实战经历
八荒、·2024-01-15 15:25

扩散模型微调方法/文献综述

个人主页：https://zhangxiaoshu.blog.csdn.net欢迎大家：关注+点赞+评论+收藏⭐️，如有错误敬请指正!未来很长，值得我们全力奔赴更美好的生活！前言近年来，扩散模型近年来取得了迅速的发展。扩散模型被广泛应用于文本到图像生成、文本到视频生成、点云完成和生成等各种生成式任务上。然而，从头训练一个扩散模型往往涉及巨大的计算成本和时间投入，限制了其在实际应用中的广泛使用。为了
张小殊.·2024-01-15 13:32

2018-11-12

女人在消费面前都是冲动的，而我们做美容行业的观念都很超前，都不需要别人引导观念，自己消费，昨天把脸给微调了，等刷完卡，去敷麻膏的时候，就开始各种害怕疼，结果还没有进手术室就出了一身汗，还有点发晕，护士给我擦脸我都觉得好疼好疼呀
清若晨曦一束光·2024-01-15 13:40

ChatGPT成立一周年：开源大语言模型正在迎头赶上吗？

通过使用监督微调和
AI生成未来·2024-01-15 13:43

LLM商业落地中的注意事项、关于高级提示词prompt的思考

LLM商业落地中的注意事项微调是创造性工作，需要不断调试，在原有的参数的基础上，不动原有模型的权重参数，然后再增加个低阶矩阵，不停的训练这个低阶矩阵，这种方式训练出来的微调具备一定的不确定性。
lichunericli·2024-01-15 13:35

千亿参数大模型再突破，数据质量为何是关键？

目前看，在“预训练+微调”成为大模型发展新范式的趋势下，数据层面的创新正变得愈发关键。事实上，OpenAICEOSamAltma
大数据在线·2024-01-15 12:59

ChatGPT提示词工程进阶

两种大型语言模型基础大模型(BaseLLM)基于训练数据预测下文指令调优大模型(InstructionTunedLLM)尝试听从指令基于基础大模型，进一步使用指令内容输入+遵循指令内容输出来训练和微调模型
lichunericli·2024-01-15 09:11

AI模型理解误区：微调垂直行业-VS-企业专属知识库或AI助理

概述企业定制私有化大模型的区别，分为训练大模型和调用大模型两种方向，以及企业自己的智能客服的实现方法。-企业定制的私有化大模型与一般的大模型不同，需要高成本训练。-企业可以选择调用已经训练好的大模型来应用。-企业可以使用向量化数据化的方式建立自己的智能客服，使用本地知识库进行前后语义扩充。企业中优化提示词的场景，并介绍了使用开源框架LangChain来定制化优化提词工程的方法，以及如何利用大模型和
lichunericli·2024-01-15 08:56

微调深度学习模型：初级指南

引言在深度学习领域，微调（Fine-tuning）是一种常见的实践，旨在优化预训练模型以适应特定任务或数据集。这对于那些希望利用已有模型来解决类似问题的初学者而言，是一个非常有用的技巧。
CCSBRIDGE·2024-01-15 08:51

书生·浦语大模型实战营作业（四）

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
三省斋主·2024-01-15 07:16

书生·浦语大模型实战营笔记（三）

RAG：检索增强生成外挂知识库，对用户的问题首先从知识库中找到相关回答，再把问题和回答交给大模型，可以提高知识储备特点：可实时更新，新知识只要放到知识库中即可，较简单Finetune：微调对于新的数据集
三省斋主·2024-01-15 07:45

书生·浦语大模型实战营笔记（四）

Finetune模型微调直接使用现成的大语言模型，在某些场景下效果不好，需要根据具体场景进行微调增量预训练：投喂垂类领域知识陈述形式，无问答，即只有assistant指令跟随：system-user-assistantXTunerXTuner
三省斋主·2024-01-15 07:09

由班级调整所思……

则开启了等待电话、关注群模式……这两天群里关注最多的话题，除了孩子们离开后的衣食住行之外，更多的话题则是孩子们的文理分班{高一}，班级微调整{高二}，关乎到自家孩子的切身利益，家长们关怀备至，在群里的讨论异常热烈
亦梦亦真·2024-01-15 06:07

高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望...

来自：旺知识ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。然而，生成模型也不能避免其固有的局限性，包括产生幻觉的倾向，在数学能力弱，而且缺乏可解释性。因此，提高他们能力的一个可行办法是让他们能够与外部世界互动，以不同的形式和方式获取知识，从而提高所生成内容的事实性和合理性。检索增强生成（Retrieval-Augmen
zenRRan·2024-01-15 05:28

大模型实战营Day4 XTuner 大模型单卡低成本微调实战 作业

按照文档操作：单卡跑完训练：按照要求更改微调的数据：完成微调数据的脚本生成：修改配置文件：替换好文件后启动：启动后终端如图：用于微调的一些数据显示：训练时间，loss:可见模型是经过微调数据反复纠正，慢慢被引导向微调设计者所想的方向
AIzealot无·2024-01-15 04:51

大模型实战营Day4 XTuner 大模型单卡低成本微调实战

本次课程内容主要有：我将在此整理前三节的内容，第四节放在作业章节进行讲解：同第三节的建立数据库中所提及到的，如果通用大模型在专用领域表现能力不强，如何改进——建立知识库或者微调，本节课进行的则是微调。
AIzealot无·2024-01-15 04:21

【笔记】书生·浦语大模型实战营——第四课（XTuner 大模型单卡低成本微调实战）

【参考：tutorial/xtuner/README.mdatmain·InternLM/tutorial】【参考：(4)XTuner大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab
myaijarvis·2024-01-15 03:07

NLP论文阅读记录 - | 使用 BRIO 训练范式进行抽象文本摘要

文章目录前言0、论文摘要一、Introduction二.相关工作三.本文方法四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果标准抽象模型微调抽象模型微调抽象模型和BRIO微调抽象模型和
yuyuyu_xxx·2024-01-15 02:26

创建大模型的新方法 - 配比两个模型

当使用Medusa增强模型时，原始模型保持不变，只有新的头部在训练过程中进行微调。在生成过程中，这些头每个都会为相应位置生成
javastart·2024-01-15 02:20

AI大模型学习笔记二

文章目录一、PromptEngineering1）环境准备二、LangChain（一个框架名字）三、Fine-tuning（微调）一、PromptEngineering1）环境准备①安装OpenAI库pipinstall
谢白羽·2024-01-14 22:51

训练自己的GPT2

训练自己的GPT21.预训练与微调2.准备工作2.在自己的数据上进行微调1.预训练与微调所谓的预训练，就是在海量的通用数据上训练大模型。
无穷升高的卡农·2024-01-14 22:18

书生浦语大模型概述

模型微调：若是选择的大模型基本满足需求，但是又要符合自己的特定场景，在这种情况下，就需要
Jankin_Tian·2024-01-14 21:45

大模型实战营Day4 XTuner大模型单卡低成本微调实战

FINETUNE简介LLM下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式指令跟随微调使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话，问答数据为什么需要指令微调？
流浪德意志·2024-01-14 17:37

大模型实战营Day4 作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
流浪德意志·2024-01-14 17:35

通俗的讲解RAG技术以及与微调的对比

ThisarticlewilldiscussoneofthemostapplicableusesofLanguageLearningModels(LLMs)inenterpriseuse-case,RetrievalAugmentedGeneration(“RAG”).RAGisthebiggestbusinessuse-caseofLLMs,anditwillbeincreasinglyimpo
放飞自我的Coder·2024-01-14 17:39

大模型微调及生态简单介绍

大模型大模型生态OpenAI大模型生态：全球开源大模型性能评估榜单中文语言模型——ChatGLM基于ChatGLM的多模态⼤模型大模型微调LLM⼤语⾔模型⼀般训练过程为什么需要微调高效微调技术⽅法概述⾼
天天写点代码·2024-01-14 16:38

NLP论文解读：无需模板且高效的语言微调模型（下）

id=6o5ZEtqP2g02PERFECT：无需Patterns和Verbalizer的微调模型这个模型主要包含三个部分：1）无需pattern的任务描述，使用了一
NLP论文解读·2024-01-14 15:40

【AIGC】Controlnet:基于扩散模型的文生图的可控性

https://arxiv.org/pdf/2302.05543.pdf摘要冻结了stablediffusion的预训练模型并重用它的预训练编码层神经网络结构与零初始化卷积层连接，从零开始逐渐增加参数，并确保微调过程中不会有噪声影响
资料加载中·2024-01-14 15:18

【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型

直接微调预训练模型也是一种行之有效的方法，但是需要消耗大量计算资源。并且存在模型兼容性问题。在本文中，我们介绍了IP-Adapter，
资料加载中·2024-01-14 15:45

[书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调

1.Finetune简介在未经过微调的pretrainedLLM中，模型只会尽量去拟合你的输入，也就是说模型并没有意识到你在提问，因此需要微调来修正。
不是吧这都有重名·2024-01-14 14:45

InternLM第4次课笔记

XTuner大模型单卡低成本微调实战1Finetune介绍2XTuner介绍XTuner中微调的技术：38GB显卡玩转LLM4动手实战环节https://github.com/InternLM/tutorial
Jamiechoi·2024-01-14 12:55

InternLM第3节课笔记

基于InternLM和LangChain搭建你的知识库1大模型开发范式LLM局限性：时效性、专业能力有限、定制化成本高RAG（检索、增强、生成）外挂知识库微调2LangChain简介LangChain核心组成模块
Jamiechoi·2024-01-14 12:17

【深度学习：Foundation Models】基础模型完整指南

基础模型背后的5项人工智能原理根据大量数据进行预训练自我监督学习过度拟合微调和快速工程（适应性强）广义的基础模型的用例基础模型的类型计算机视觉基础模型计算机视觉基础模型的示例多模式基础模型多模式基础模型示例生成对抗网络
jcfszxc·2024-01-14 10:14
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他