LLM微调

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航

专属领域论文订阅关注{晓理紫}，每日更新论文，如感兴趣，请转发给有需要的同学，谢谢支持关注留下邮箱可每日定时收到论文更新服务分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇
晓理紫·2024-01-20 02:51

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--具身智能、强化学习

专属领域论文订阅VX关注晓理紫，每日更新论文，如感兴趣，请转发给有需要的同学，谢谢支持分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割[晓理紫]每日论文分享
晓理紫·2024-01-20 02:51

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航

专属领域论文订阅VX关注晓理紫，每日定时更新论文，如感兴趣，请转发给有需要的同学，谢谢支持分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割[晓理紫]每日论文分享
晓理紫·2024-01-20 02:21

随心玩玩（十二）通义千问——LLM大模型微调

写在前面：使劲的摸鱼，摸到的鱼才是自己的~文章目录简介环境配置模型加载jupyter远程配置快速使用微调示例部署方案总结附录：ReActPrompting示例准备工作一：样例问题、样例工具准备工作二：ReAct
likeGhee·2024-01-20 01:55

Visio打开或取消箭头的自动吸附和自动连接（转）

但在画连接线时，Visio总是自动连接箭头与图形的固定节点，想要微调一下连接位置，就显得很不方便，需要关闭自动连接功能。
Mist_Orz·2024-01-19 23:16

极简生活抄书第171天：真正的整理是什么？

真正的整理应该是一种让自己重新正视与物品的关系并进行微调，从而创造更美好生活的绝佳学习的过程。整理的目标是创造更美好的生活，而不是被留或被扔的物品。方向找对了之后，接下来的操作就不
兮若耶·2024-01-19 21:52

通向AGI之路：大型语言模型（LLM）技术精要

原文：通向AGI之路：大型语言模型（LLM）技术精要|AGI|LLM|GPT|NLP|模型|技术|数据|-健康界ChatGPT出现后惊喜或惊醒了很多人。
javastart·2024-01-19 19:43

“微调”有多么重要

前天，得到大学召开2019春季开学典礼，一位叫潘利华的演讲者讲了《微调改变世界》。收获颇多。他是广东一家可口可乐的销售经理。他讲了在店铺里陈设可口可乐的过程中。
余生活得更精彩·2024-01-19 19:12

0基础实战langchain系列讲义【1】Hello LangChain

它是一个封装了大量大语言模型(LLM)应用开发逻辑和工具集成的开源Python库，提供
小菜学AI·2024-01-19 19:31

C语言入门第一节-初识C语言

bilibili一.C语言的介绍由C编写应用：Unix,Linux,MySQL都是由C編写C程序由各种令牌组成，令牌可以是关键宇，标识符，常量，字符串值，或者是一个符号；1.特点①.高效性C语言具有汇编语言才具有的微调控制能力
_阿伟_·2024-01-19 18:48

书生·浦语大模型实战营第四节课笔记及作业

XTuner大模型单卡低成本微调实战1Finetune简介大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。
zpc1219·2024-01-19 17:30

书生·浦语大模型实战笔记-Day01

书生·浦语模型性能比较大模型如何做应用开源数据微调框架部署链接哔哩哔哩视频
carMacchiato·2024-01-19 17:29

书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战

书生·浦语大模型实战营笔记第四节XTuner大模型单卡低成本微调实战文章目录书生·浦语大模型实战营笔记前言一、Finetune简介1.1两种微调模式的简介1.2指令微调1.3增量预训练微调1.4LoRa
biscuit279·2024-01-19 17:29

书生·浦语大模型实战营04课堂笔记

一、Finetune简介1.LLM下游应用中，两种微调模式一种是增量预训练：使用场景是让基座模型学习到一些新知识，如某个垂类领域的常识。
残星流影·2024-01-19 17:29

书生·浦语大模型实战营-学习笔记3

目录(3)基于InternLM和LangChain搭建你的知识库1.大模型开发范式（RAG、Fine-tune）RAG微调（传统自然语言处理的方法）2.LangChain简介（RAG开发框架）3.构建向量数据库
Kinno酱·2024-01-19 17:27

用通俗易懂的方式讲解：LLM 大模型的 generate 和 chat 函数有什么区别？

通常公司发布的LLM模型会有一个基础版本，还会有一个Chat版本。比如，Qwen-7B（基础版本）和Qwen-7B-Chat（Chat版本）。文章目录1.generate方法2
Python算法实战·2024-01-19 16:43

【昇思技术公开课笔记-大模型】Bert理论知识

ELMo预训练模型将文本数据结合上下文信息，转换为动态词向量，后根据下游任务训练不同的语言模型BERT同样将文本数据转换为动态词向量，能够更好地捕捉句子级别的信息与语境信息，后续只需对BERT参数进行微调
JeffDingAI·2024-01-19 16:21

《向量数据库指南》RAG 应用中的指代消解——解决方案初探

随着ChatGPT等大语言模型(LLM)的不断发展，越来越多的研究人员开始关注语言模型的应用。
LCHub低代码社区·2024-01-19 15:30

LLM：Training Compute-Optimal Large Language Models

论文：https://arxiv.org/pdf/2203.15556.pdf发表：2022前文回顾：OpenAI在2020年提出《ScalingLawsforNeuralLanguageModels》：ScalingLaws(缩放法则）也一直影响了后续大模型的训练。其给出的结论是最佳计算效率训练涉及在相对适中的数据量上训练非常大的模型并在收敛之前earlystopping。所以后续的工作都专注于
微风❤水墨·2024-01-19 15:29

LLM：Sinusoidal位置编码

1：什么是大模型的外推性？外推性是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。例如，如果一个模型在训练时只使用了512个token的文本，那么在预测时如果输入超过512个token，模型可能无法正确处理。这就限制了大模型在处理长文本或多轮对话等任务时的效果。2：为什么要位置编码PE？Transformer结构：并行输入。所以需要让输入的内容具有一定的位置信息。句子1：我
微风❤水墨·2024-01-19 15:29

《向量数据库指南》——性能持续突破！火山引擎ByteHouse上线向量检索能力

随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。
LCHub低代码社区·2024-01-19 15:25

LLM：RoPE位置编码

论文：https://arxiv.org/pdf/2104.09864.pdf代码：https://github.com/ZhuiyiTechnology/roformer发表：2021绝对位置编码：其常规做法是将位置信息直接加入到输入中（在x中注入绝对位置信息）。即在计算query,key和value向量之前，会计算一个位置编码向量，先加到词嵌入上，然后再乘以对应的变换矩阵:而经典的位置编码PE
微风❤水墨·2024-01-19 15:54

让大模型忘掉隐私数据，卡内基开源TOFU

目前，多数大语言模型都是从网络上收集的大量数据进行预训练、微调。使得这些模型面临泄露用户隐私、数据安全等多种问题。尽管开发者提出了各种“遗忘”方法，能使大模型“忘记”训练数据中的某些隐私、敏感的数据。
RPA中国·2024-01-19 15:45

Bert模型的基本原理与Fine-tuning

文章目录基本原理BERT的输入Fine-tuning（微调）BERT用于sequence的分类任务BERT用于问答任务BERT用于NER（实体命名识别）本文主要讲解Bert模型的基本原理与Fine-tuning
zhong_ddbb·2024-01-19 14:37

大规模语言模型高效参数微调--P-Tuning 微调系列

P-Tuning该方法的提出主要是为了解决这样一个问题：大模型的Prompt构造方式严重影响下游任务的效果。比如：GPT-3采用人工构造的模版来做上下文学习(incontextlearning)，但人工设计的模版的变化特别敏感，加一个词或者少一个词，或者变动位置都会造成比较大的变化。同时，近来的自动化搜索模版工作成本也比较高，以前这种离散化的token的搜索出来的结果可能并不是最优的，导致性能不稳
hanscalZheng·2024-01-19 14:05

深度解析 P-tuning v2 为什么对大模型有效

/arxiv.org/pdf/2110.07602.pdf项目地址：https://github.com/THUDM/P-tuning-v2技术背景P-tuningv2的产生源于对bert类模型开创的微调
weixin_45079449·2024-01-19 14:05

使用微调大语言模型解析肌肉骨骼疼痛疾病的临床健康记录

论文下载地址：https://www.thelancet.com/journals/landig/article/PIIS2589-7500(23)00202-9/fulltext目的：使用经过微调的大型语言模型
AI明说·2024-01-19 14:04

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

起源于使用deepprompttuning,在预训练模型的每一层使用continuousprompts，Deepprompttuning增加了continuousprompts的容量也缩小了在各种设置中进行微调的差距
Tsukinousag1·2024-01-19 14:04

openai模型个性化训练Embedding和fine-tuning区别

这种情况下通常有两种办法，一种是微调(fine-tu
程序员老狼·2024-01-19 14:03

还没搞懂嵌入（Embedding）、微调（Fine-tuning）和提示工程（Prompt Engineering）？...

theme:orange嵌入(Embedding)、微调(Fine-tuning)和提示工程(PromptEngineering)是AIGC模型的核心功能，合理运行这些功能，能实现一些复杂和意向不到的应用
青Cheng序员石头·2024-01-19 14:31

【概述版】悲剧先于解析：在大型语言模型的新时代，历史重演了

这篇论文探讨了大型语言模型（LLM）的成功对自然语言处理（NLP）领域的影响，并提出了在这一新时代中继续做出有意义贡献的方向。
wwlsm_zql·2024-01-19 14:01

提示词工程： 大语言模型的Embedding(嵌入和Fine-tuning（微调）

本文是针对这篇文章（https://www.promptengineering.org/master-prompt-engineering-llm-embedding-and-fine-tuning/）
AI明说·2024-01-19 14:30

大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态

大模型关键技术大模型综述上下文学习思维链CoT奖励建模参数微调并行训练模型加速永久记忆：大模型遗忘LangChain知识图谱多模态大模型系统优化AI绘图幻觉问题从GPT1-GPT4拆解GPTs对比主流大模型技术点旋转位置编码层归一化激活函数注意力机制优化大模型综述你知道嘛
Debroon·2024-01-19 14:14

82天系列，已盈利307.74%(第三天)

仅供学习交流用，跟单有风险操作逻辑1.依旧坚持昨天的观点2.拐点略微调整7800附近，如果上去继续持有，4H站不稳(数据看空)转空头，预计50小时内有方向3.目前看还算安全位，但绝对不意味没有3打头的BTC
Lan_8649·2024-01-19 13:12

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）

一、前言基于真实生产级项目分享，帮助有需要的同学快速构建完整可交付项目项目流程包括（去掉业务部分）：开源模型测试，包括baichuan、qwen、chatglm、bloom数据爬取及清洗模型微调及评估搭建
charles_vaez·2024-01-19 12:30

被遗忘在角落的RPA，成了提升AI Agent执行能力的天选神器

LLM（LargeLanguageModels）刚爆发之时，很多人认为RPA要完了，自然语言交互+API操作足以干掉任何UI自动化工具。
RPA中国·2024-01-19 12:50

从临床和科研场景分析ChatGPT在医疗健康领域的应用可行性

AnAnalysisofMultipleClinicalandResearchScenarios》（评估ChatGPT在医疗健康领域的可行性：对多种临床和研究场景的分析）介绍了以ChatGPT为代表的大型语言模型（LLM
AI明说·2024-01-19 11:00

Stability AI发布全新代码模型Stable Code 3B

StableCode3B:CodingontheEdge要点：StableCode3B是一个包含30亿个参数的大型语言模型(LLM)，可实现准确且响应灵敏的代码补全，其水平与大2.5倍的CodeLLaMA7b
Funny_AI_LAB·2024-01-19 11:41

2024年1月18日Arxiv最热论文推荐：LLM化身符号逻辑大师、谷歌DeepMind新算法挑战动态环境下的在线优化极限、中科院打造新模型分钟级生成Vlog

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台（saibomaliang.com）上的智能体「AI论文解读达人」提供。如需查看其他热门论文，欢迎移步saibomaliang.com^_^Top1LargeLanguageModelsAreNeurosymbolicReasoners标题：大语言模型化身符号
夕小瑶·2024-01-19 11:00

深入浅出：大语言模型的视觉解析

一系列工具与文章的汇编，直观易懂地解读复杂的AI概念图片由作者利用unDraw.co的免费插图制作在当今世界，大语言模型（LLM）成为了热门话题。
这就是编程·2024-01-19 11:18

大模型学习与实践笔记（六）

一、finetune简介两种微调模式：增量预训练与指令跟随1.增量预训练2.指令微调二、LoRA与QLoRA介绍三、XTuner介绍四、低显存玩转LLM的方法
AllYoung_362·2024-01-19 10:24

5、模型的欠拟合和过度拟合

微调您的模型以获得更好的性能。
AI算法蒋同学·2024-01-19 10:43

Multi-Concept Customization of Text-to-Image Diffusion——【代码复现】

]Multi-ConceptCustomizationofText-to-ImageDiffusion(arxiv.org)一、引言本文主要做的工作是对stable-diffusion的预训练模型进行微调
我是浮夸·2024-01-19 08:21

NLP预训练模型系列-GPT

预训练模型系列-GPT1.BERT2.GPT目录NLP预训练模型系列-GPT前言1.Abstract2.Introduction3.RelatedWork4.Framework4.1无监督预训练4.2有监督微调
Maxi_0902·2024-01-19 06:05

麻瓜变白袍巫师？SLEICL新范式：强模型生成“魔法书”增强弱模型性能直逼GPT-4...

人大、上海算法创新研究院作者：Ki-Seki1.问题引入ICL作为一种大模型领域的学习范式最早是在OpenAI公司关于GPT3.5的技术报告中首次提出，主要是因为当时提升大模型在下游任务表现的主要方法是微调
zenRRan·2024-01-19 06:03

大模型入门2: 指令微调

大模型评测指令微调数据部署Fine-tuningcustomizesapretrainedLLMforaspecificdomainbyupdatingmostorallofitsparameterswithadomain-specificdataset.Thisapproachisresource-intensivebutyieldshighaccuracyforspecializeduseca
YueTann·2024-01-19 05:07

【LLM】一种经过指令微调的文本嵌入模型

概述引入了INSTRUCTOR，一种计算给定任务指令的文本嵌入的新方法：每个文本输入都与解释用例的指令（例如任务和域描述）嵌入在一起。与之前工作中更专业的编码器不同，INSTRUCTOR是一个单一的嵌入器，可以生成针对不同下游任务和领域的文本嵌入，无需任何进一步的培训。首先对330个不同任务的指令进行注释，并在这种多任务混合上使用对比损失来训练INSTRUCTOR。在70个嵌入评估任务（其中64个
余俊晖·2024-01-19 03:25

目标检测--02（Two Stage目标检测算法1）

采用大样本下（ILSVRC）有监督预训练和小样本（PASCAL）微调（fine-tuning）的方法解决小样本难以训练甚至过拟合等问题。注
普通研究者·2024-01-19 03:51

大语言模型LLM幻觉的解决方法：检索增强生成RAG

当你向大语言模型LLMs集成的问答系统平台咨询医疗方面的问题，比如呼吸道感染应该怎么治疗，它可能直接给出答案，但不会提供这个答案的依据来源，这是因为大语言模型应用过程中还存在答案透明度不足的缺陷导致。此外，大语言模型还有知识更新的滞后性、在处理复杂任务时的准确性的问题。为了解决这些问题，检索增强生成（Retrieval-AugmentedGeneration,RAG）的概念应运而生。它是一个为大模
英智未来·2024-01-19 01:21

大语言模型工作原理：AI如何理解与创造语言？

大型语言模型（LLM），如GPT、BERT等，基于深度学习技术，从海量文本中学习语言的模式和规律，核心任务是预测接下来最可能出现的单词，从而实现自然语言生成和理解。
英智未来·2024-01-19 01:51
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他