微调llama2

XTuner复现

main/xtuner/README.mdhttps://github.com/InternLM/tutorial/blob/main/xtuner/README.md1.XTuner简介一个大语言模型微调工具箱
cq99312254·2024-01-27 03:24

XTuner InternLM-Chat 个人小助手认知微调实践

1.概述目标：通过微调，帮助模型了解对自己身份方式：使用XTuner进行微调2.实操2.1微调环境准备参考：XTuner复现-CSDN博客#InternStudio平台中，从本地clone一个已有pytorch2.0.1
cq99312254·2024-01-27 03:54

对小工蚁关于LLM的技术总结+个人思考

LLM大模型如何进行微调？
河南-殷志强·2024-01-27 02:57

AI虚拟女友一个月能赚3万美金，引发关注和疑惑；最新 Hugging Face 强化学习课程（中文版）来啦

这引起了网友的惊叹和疑惑，因为AI女友只是微调一个图像算法，但却能每月赚取半年工资。据说除了赚钱，AI女友每月还收到多达20个求婚。
go2coding·2024-01-27 02:43

前端el-upload拖拽上传文件到oss服务器

1，准备上传文件的代码：复制组件库代码，按照需求微调将文件拖到此处，或点击上传文件大小不要超过100M!
只差亿点点·2024-01-27 01:27

PyTorch项目笔记（三）使用ImageNet预训练ResNet18模型训练图像分类模型

目录1加载ImageNet预训练模型2准备数据集2.1加载数据集2.2使用matplotlib可视化数据集3模型训练函数4使用torchvision微调模型5观察模型预测结果6固定模型参数1加载ImageNet
Xyzz1223·2024-01-26 19:40

腾讯LLaMA Pro大模型：突破大模型微调的知识遗忘难题

引言：大模型微调中的挑战在人工智能的发展过程中，大型语言模型（LLM）的微调（fine-tuning）始终是提升模型在特定任务上性能的关键。然而，微调过程中常面临一个主要挑战：知识遗忘。
努力犯错·2024-01-26 18:40

本周Github上有趣的11个项目

它通过统一的API简化了对OpenAI、Anthropic、Mistral、LLama2、Anyscale、GoogleGemini等的API请求。
极道Jdon·2024-01-26 16:11

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama
JasonLiu1919·2024-01-26 16:24

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

为了在下游任务上获得更好的精度，CodeFuse提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现
CodeFuse·2024-01-26 16:23

自然语言处理-针对序列级和词元级应用微调BERT

针对序列级和词元级应用微调BERT我们为自然语言处理应用设计了不同的模型，例如基于循环神经网络、卷积神经网络、注意力和多层感知机。
白云如幻·2024-01-26 15:15

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述  使用GPUV100(32GB)对ChatGLM模型进行lora微调时
u013250861·2024-01-26 11:52

大模型微调报错：RuntimeError: expected scalar type Half but found Float

微调chatglm报错RuntimeError:expectedscalartypeHalfbutfoundFloat1.背景博主显卡：3090最初的设置：bfloat16开始训练后，线性层报错2.解决
N1cez·2024-01-26 11:14

【视野提升】ChatGPT的系统是如何工作的？

微调：这个阶
Hcoco_me·2024-01-26 10:39

燕子痛经月经问题首月订单

微调内分泌，对肠胃，睡眠，皮肤都有好处2.灵芝五味子210。护肝，结合复合果汁微调内分泌。3.黑糖红枣桂圆茶105。缓解痛经，暖宫，对经血成块可以改善。4.茶树精油96月经前期改善身体不适。
宏一为·2024-01-26 10:10

【AIGC】Diffusers:训练扩散模型

通常，通过在特定数据集上微调预训练模型来获得最佳结果。你可以在HUB找到很多这样的模型，但如果你找不到你喜欢的模型，你可以随时训练自己的模型！
资料加载中·2024-01-26 10:46

【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything

一、ChatQA1.1微调如下图，ChatQA微调包含两个阶段，SupervisedFine-tuning和Context-EnhancedInstructionTuning1.1.1阶段一：SFT（SupervisedFine-tuning
余俊晖·2024-01-26 06:48

【LLM】FuseLLM：大模型融合trick-知识融合LLMs

然而，上述两种方法都需要预训练或者微调相应的模型。在大模型场景下，对每个源模型都进行初始化成本太高，为了减少初始化源LLM的成本，使集成后的模型受益于所有源LLMs的优势。
余俊晖·2024-01-26 06:56

Datawhale 大模型基础 Task6 模型之Adaptation篇 笔记

适应的方法主要有：探测、微调（可以提升零样本性能、改善泛化能力、获取新任务的能力）。轻量微调和微调的思路大题相似，分为轻量级微调的变体、提示词微调、前缀微调、适配器微调。
AIzealot无·2024-01-26 06:40

LLaMa-Factory最新微调实践，轻松实现专属大模型

1.为什么要对Yuan2.0做微调？Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。
浪潮圈·2024-01-26 04:38

NNI --模型剪枝

预训练模型->修剪模型->微调修剪后的模型在训练期间修剪模型（即修剪感知训练）->微调修剪后的模型修剪模型->从头开始训练修剪后的模型模型剪枝
Good@dz·2024-01-26 01:33

60分钟速通LoRA模型训练！

Lora原理分析与其他两种微调模式的区别TexualInversional只微调了文本编辑器Dreambooth等手段微调文本编译器和噪声预测器两部分（噪声预测器微调难度更大，db的高配置要求就是为了同时微调其中的所有参数
不安全的安保·2024-01-26 00:44

js - - - - - 如何给自己的网站添加中英文切换（多语言也可）

如何给自己的网站添加中英文切换1.需求描述2.解决方案3.方案实施3.1简单实现（第一版）3.2样式微调（第二版）3.3重载页面（第三版）3.4自动翻译（第四版）3.5限定适用范围（第五版）1.需求描述因公司外籍人员的比例达到了一定的数量
Dark_programmer·2024-01-25 22:19

书生·浦语大模型--第四节课作业

书生·浦语大模型--第四节课作业基础部分进阶部分基础部分基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称
李日音·2024-01-25 21:02

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

文章目录Finetune简介指令跟随微调增量预训练微调LoRAQLoRAXTuner介绍快速上手8GB显卡玩转LLM动手实战环节Finetune简介增量预训练和指令跟随通过指令微调获得instructedLLM
李日音·2024-01-25 21:02

创业路上，找对产品很重要

这一点，我应该是吃了不少亏，去年清远金宝贝早教的同学，就和我说了这一点，说成熟的大公司，别人已经摸了十几二十年，走了很多弯路，其品牌影响力、运营、市场、技术都有很多可以直接参考的，COPY过来照做，微调
Joyceli9588·2024-01-25 20:06

21天目标反思

经过一周的实践对21天的微目标进行微调。
并咬了你一下小辉·2024-01-25 14:19

ntp的step和slew同步模式

slew：平滑，缓慢，微调，令客户端时间平滑地趋近服务端时间；step：分步，分阶段，相当于电视换频道一样，一个一个的跳跃。为什么要讨论ntp的同步模式？
itachi-uchiha·2024-01-25 14:15

Nginx的UDP健康检查

先决条件被动UDP健康检查主动UDP运行状况检查微调UDP运行状况检查“匹配”配置块NTP测试示例DNS测试示例先决条件您已配置上下文中的上游服务器组来处理UDP网络流量（DNS，RADIUS，系统日志
星河_赵梓宇·2024-01-25 14:25

瓦片地图编辑器推进日志#004图片贴入

微调代码，实现图片笔刷暂存。
a1309602336·2024-01-25 08:49

XTuner大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战最开始还是越学越迷糊的状态当训练260步左右的时候loss已经比较小了（0.0460），已经可以生成对应的内容了
__y__·2024-01-25 08:49

大模型面试题总结

文章目录一、大模型（LLMs）基础面二、大模型（LLMs）进阶面三、大模型（LLMs）微调面四、大模型（LLMs）langchain面1.基于LLM+向量库的文档对话基础面2.基于LLM+向量库的文档对话优化面
谢白羽·2024-01-25 08:32

书生·浦语大模型实战营第四次课堂笔记

但是还是看看视频吧微调是在海量的文本内容的基础上以无监督或半监督的方式进行训练的qlora是对lora的一种改进~感觉就是更高级点的工具对话模版~XTuner介
Unicornlyy·2024-01-25 07:59

大语言模型系列-BERT

MaskedLanguageModelNextSentencePredictionloss二、BERT创新点总结前言前文提到的GPT-1开创性的将TransformerDecoder架构引入NLP任务，并明确了预训练（学习text表征）+微调这种半监督训练方法
学海一叶·2024-01-25 07:58

使用Transformers微调基于BERT模型做中文命名实体识别任务

注意版本！！python==3.8.6torch==1.10.0transformers==4.36.2datasets==2.15.0importjson#数据集下载地址：https://www.cluebenchmarks.com/introduce.html#细粒度命名实体识别->下载#将数据转为BIO标注形式defdimension_label(path,save_path,labels_
Shy960418·2024-01-25 07:56

【大模型实践】ChatGLM3-6B 微调实践，更新模型知识

如果你是NLP领域初学者，欢迎关注我的博客，我不仅会分享理论知识，更会通过实例和实用技巧帮助你迅速入门。我的目标是让每个初学者都能轻松理解复杂的NLP概念，并在实践中掌握这一领域的核心技能。通过我的博客，你将了解到：•NLP的基础概念，为你打下坚实的学科基础。•实际项目中的应用案例，让你更好地理解NLP技术在现实生活中的应用。•学习和成长的资源，助你在NLP领域迅速提升自己。不论你是刚刚踏入NLP
NLP前沿探寻·2024-01-25 05:04

大语言模型(LLM)有哪些？

GPT系列模型通过预训练和微调的方式，可以生成高质量的文本。BERTBER
图灵追慕者·2024-01-25 03:13

我只是提前了半小时起床而已

从上周开始，我将自己的作息时间表稍微调整了一下，把原来7:00起床提前了半小时。图片发自App自从做了调整之后，我突然发现自己每天的时间变得充足多了。
爱玩毛线的喵·2024-01-25 00:07

antdv中table组件滚动条样式修改

取决于是垂直滚动条还是水平滚动条）::-webkit-scrollbar-track滚动条的轨道（里面装有thumb）::-webkit-scrollbar-button滚动条轨道两端的按钮，允许通过点击微调小方块的位置
qq_40055200·2024-01-25 00:25

【文献阅读】ERNIE Enhanced Language Representation with Informative Entities

论文链接摘要背景：在大规模语料库上预训练的BERT等LR模型可以很好地从纯文本中捕获丰富地语义模式，并进行微调以持续提高各种NLP任务的性能。
SuperCooper·2024-01-24 22:04

ECCV2022 Oral | MaskCLIP

为此，作者通过最少的修改展示了MaskCLIP在没有注释和微调的情况下，在跨各种数据集的开放概念上产生了令人信服的分割结果。通过
FightingCV·2024-01-24 19:40

LoRA微调语言大模型的实用技巧

然而，要使这些通用模型在特定任务上发挥出色，还需要借助微调技术。其中，LoRA微调是一种高效的方法，能够显著提高大型语言模型的性能。
百度_开发者中心·2024-01-24 16:43

Code Llama：基于 Llama 2 的 AI 代码生成大模型

CodeLlama正是一个基于Llama2的AI代码生成大模型，旨在解决这一问题。
百度_开发者中心·2024-01-24 15:42

大模型参数高效微调技术原理综述

然而，随着模型规模的增大，全量微调（fullfine-tuning）所需的计算和存储资源也急剧增加，这使得在消费级硬件上实现全量微调变得不可行。为了解决这个问题，参数高效微调技术应运而生。
百度_开发者中心·2024-01-24 15:11

Prompt Tuning：大模型微调实战

为了解决这个问题，研究者们提出了微调的方法，即使用预训练模型在少量数据上进行训练，使其适应特定的任务。在PromptTuning之前，Finetuning是常用的微调方法。
百度_开发者中心·2024-01-24 15:41

职位微调

为了帮助人们更好地利用思维当中的这一心理特性，乌赞斯诺斯基和她的同事设计了一种方法，他们把这种方法叫作“职位微调”。这个方法是通过调整你职位的某个因素来与你的兴趣爱好相
时间很宝贵·2024-01-24 14:11

JRT报告多列多页打印

模板设计器表格元素支持报告模式的边框，报告元素的边框表现为标题只画下边框，数据列只画多列分割线打印效果设置正常边框正常边框打印效果设置单列打印单列打印效果打印代码的微调importJRT.Core.DataGrid.GridDto
小乌鱼·2024-01-24 12:28

【论文阅读】LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning

文章目录0、基本信息1、研究动机2、创新点3、准备3.1、文本属性图3.2、语言模型用于文本分类3.3、大语言模型和提示3.4、结点分类4、方法论4.1、生成基于LLM的预测和解释4.2、LM解释器的微调与节点特征提取
鲸可落·2024-01-24 10:39

基于PAI-EAS一键部署Stable Diffusion AIGC绘画

使用交互式建模PAI-DSW使用模型在线服务PAI-EAS两种部署适用人群：1.使用交互式建模PAI-DSW部署StableDiffusion亮点：Notebook经典界面，对习惯代码操作的开发者更加友好；支持微调训练等操作
阿里云大数据AI技术·2024-01-24 10:06

轻松上手：通过阿里云PAI QuickStart微调部署Qwen-72B-Chat模型

作者：熊兮、求伯、一耘引言通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供AI开发全链路服务。快速开
阿里云大数据AI技术·2024-01-24 10:31
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他