MOSS微调

大模型&AIGC

大模型干货教程看这一个就够了~2023年全网最硬核最全面的大模型公开课|大模型微调|ChatGLM|LangChain_哔哩哔哩_bilibiliAI产品经理养成记_哔哩哔哩_bilibili
乒乒乓乓丫·2023-12-02 17:07

LORA概述: 大语言模型的低阶适应

大语言模型的低阶适应LORA:大语言模型的低阶适应前言摘要论文十问实验RoBERTaDeBERTaGPT-2GPT-3结论代码调用LORA:大语言模型的低阶适应前言LoRA的核心思想在于优化预训练语言模型的微调过程
江小皮不皮·2023-12-02 17:46

技术SEO的基础知识和 10 个最佳实践

做技术搜索引擎优化需要对网站的具体细节进行微调，以提
SEO_juper·2023-12-02 16:00

微软Azure AI新增Phi、Jais等，40种新大模型

开发人员只需要通过API或SDK就能快速将模型集成在应用程序中，同时支持数据微调、指令优化等量身定制功能。此外，开发人员可通过关键字搜索，在AzureAI的“模型超市”中迅速找到适合自
RPA中国·2023-12-02 11:33

早起第48

闹钟5点50响了，马上起床，整理自己喝杯水，打开链接，开始跟着老师冥想跟着引导词，我的意识一直在数呼吸，观察我呼吸的声音，微微调整一下坐姿，继续集中意识，观呼吸意识集中在，鼻尖到人中之间，迷迷糊糊的，灰蒙蒙的
阿翠·2023-12-02 11:13

[AI] 在 huggingface transformers新增自定义token

在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。
AlgorithmWillBeFine·2023-12-02 10:35

更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%...

而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。
QbitAl·2023-12-02 10:28

味闻漫悟烈酒入门课程——第10队 第60号 干货！居家美味鸡尾酒的通关公式

根据口味的不同，细微调整配料的变化，便会有不一样的体
SNRH·2023-12-02 09:01

清华提出 SoRA，参数量只有 LoRA 的 70%，表现更好！

现在有很多关于大型语言模型（LLM）的研究，都围绕着如何高效微调展开。微调是利用模型在大规模通用数据上学到的知识，通过有针对性的小规模下游任务数据，使模型更好地适应具体任务的训练方法。
夕小瑶·2023-12-02 07:34

paddle ocr开启mkldnn加速后图片识别精度下降

背景使用ocr_system调用微调模型时发现部分图片在设置enable_mkldnn=True后出现识别精度下降问题环境：paddle==2.5.1paddlehub==2.3.1python==3.8.6
小小晓晓阳·2023-12-02 05:24

2022-10-28

这是一本实操性极强的行动指南，作者从每个人都会遇到的问题入手，带我们通过对生活的细微调整，实现人生的巨大飞跃。帮助我们养成好习惯、戒掉坏习惯，最终过上自己想要的生活。
218dc61b1a9c·2023-12-02 05:23

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

1引言总的来说，当前有两类大语言模型（LLM）：「基础LLM」和「指令微调LLM」。基础LLM基于大量文本数据训练而成，核心思想为预测一句话的下一个单词（即词语接龙）。
stay_foolish12·2023-12-02 02:50

大模型的实践应用10-大模型领域知识与参数高效微调(PEFT)技术的详解，并利用PEFT训练自己的大模型

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用10-大模型领域知识与参数高效微调(PEFT)技术的详解，并利用PEFT训练自己的大模型。
微学AI·2023-12-02 00:33

基于P-Tuning v2微调ChatGLM2-6B的操作步骤（环境已设置好）

1.P-Tuningv2结2.具体操作步骤如下：步骤1.sourceactivate（condaenvlist）condaactivatetorch1.13pipinstallrouge_chinesenltkjiebadatasetscondaactivatechatglm2-6b步骤2.gitclonehttps://github.com/THUDM/ChatGLM2-6B步骤3.cdChat
zrdsunshine·2023-12-01 22:20

Luminar Neo 教程，如何在 Luminar Neo 中使用裁切工具？

如果需要，可以手动微调生成的合成的任何方面。裁qie工具可以随时应用、编辑或重置，而不会影响图像。裁切工具设置不与预设一起保存。
Mac123123·2023-12-01 22:01

yolov8 原木识别模型

一、模型介绍模型基于yolov8数据集采用SKU-110k，这数据集太大了十几个G，所以只训练了10轮左右就拿来微调了原木数据微调：纯手工标注200张左右原木图片，训练20轮的效果PS：因为训练时间比较长
GA666666·2023-12-01 17:39

Yolov8实现瓶盖正反面检测

一、模型介绍模型基于yolov8n数据集采用SKU-110k，这数据集太大了十几个G，所以只训练了10轮左右就拿来微调了基于原木数据微调：训练200轮的效果10轮SKU-110k+20轮原木+200轮瓶盖正反面微调模型下载地址
GA666666·2023-12-01 17:59

iOS微信更新

比如这次微信就对朋友圈的显示进行了微调，不仅添加照片的相机图标变小了，原来只能展示4张照片缩略图，现在变成了可以显示9张照片
liu7322·2023-12-01 15:43

Centos7 NTP时钟同步配置

Centos7NTP时钟同步配置NTP在Linux下有两种时钟同步方式：直接同步(也称跳跃同步)和平滑同步(也称微调同步)。直接同步使用ntpdate命令进行同步，直接进行时间变更。
sunny05296·2023-12-01 14:52

用干衣上OW课是什么体验.......?

浮力控制=>干衣需要充排气，所以要同时考虑BC和干衣里面的气量，再利用肺来微调。
阿拉灯神丁丁·2023-12-01 13:42

论文学习-Bert 和GPT 有什么区别？

这也是为什么Bert很容易用到下游任务，在做下游任务的时候，需要增加一些MLP对这些特征进行分类啥的，也就是所谓的微调fine-tune。在Bert的训练中，采用了MASK（完形填空）的思想，用句
老叭美食家·2023-12-01 12:28

正则表达式（Regular Exprerssion）in Python

之前帮一位朋友面大模型微调实习岗位的时候，人家面试官考到了正则表达式，感觉这块知识还是挺重要的，所以浅浅的学习一下，每个小部分的代码在后面目录0.先从一个案例入手（提取文本中的电子邮件地址）代码实现：1
编程被我拿捏住了·2023-12-01 10:16

Diffusion微调报错：RuntimeError: One of the differentiated Tensors does not require grad

最近在开展DiffusionModel模型微调的相关工作时，设置微调层后反传梯度多次遇到以下报错RuntimeError:OneofthedifferentiatedTensorsdoesnotrequiregrad
阳光素描·2023-12-01 09:56

KOSMOS-G-图像文本结合控制生成

文章目录摘要引言算法多模态语言建模图像解码器对齐微调instruction实验结论论文：《Kosmos-G:GeneratingImagesinContextwithMultimodalLargeLanguageModels
‘Atlas’·2023-12-01 04:08

万字长文——这次彻底了解LLM大语言模型

文章目录前言一、浅析语言模型中的核心概念1.1分词：1.2词向量：1.3神经概率语言模型二、大语言模型发展历程三、LLM基本结构3.1预训练阶段工作步骤3.2预训练阶段模型结构3.3Fine-tuning（微调
MonsterQy·2023-11-30 19:54

【ChatGLM3-6B】Docker下部署及微调

Docker基于镜像中网盘上上传的有已经做好的镜像，想要便捷使用的可以直接从Docker基于镜像安装看Docker从0安装前提下载启动访问Docker基于镜像安装容器打包操作（生成镜像时使用的命令）安装时命令微调前提微调和验证文件准备微调和验证文件格式转换修改微调脚本执行微调微调完成结果推理验证报错解决出现了
老司机张师傅·2023-11-30 17:17

如何在自定义数据集上训练 YOLOv8 实例分割模型

在本文中，我们将介绍微调YOLOv8-seg预训练模型的过程，以提高其在特定目标类别上的准确性。IkomiaAPI简化了计算机视觉工作流的开发过程，允许轻松尝试不同的参数以达到最佳结果。
小北的北·2023-11-30 15:11

读书目录——2023年

好在第二部分的反抗还算痛快淋漓，稍微调剂了一下阴郁的氛围。3、2023-1-15封神演义-许仲琳我似乎偏爱神怪小说，远离事
tiyamo·2023-11-30 13:11

读书目录——2023年

好在第二部分的反抗还算痛快淋漓，稍微调剂了一下阴郁的氛围。3、2023-1-15封神演义-许仲琳我似乎偏爱神怪小说，远离事
tiyamo·2023-11-30 13:11

机器学习：领域自适应学习

DomainShift有多种多样的domainshift分布频次不一样标签不一致这里只考虑分布不一样有标注的数据量，但比较少，可以通过微调的方式进行
uncle_ll·2023-11-30 09:34

大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南，2023年是大语言模型爆发的元年，在我国大语言模型分布就有上百种，随着人工智能技术的不断发展
微学AI·2023-11-30 09:28

大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现，文本我们将向您展示如何应用大型语言模型的低秩适应(LoRA)在单个GPU
微学AI·2023-11-30 09:28

Docker安装Elasticsearch以及ik分词器

作为ElasticStack的核心，Elasticsearch会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。
FLY-DUCK·2023-11-30 08:23

大语言模型调研汇总

和其他大模型一样，LaMDA分为预训练和微调两步，在微调阶段，生成式
热爱文学的码农·2023-11-30 02:36

48个代码大模型汇总，涵盖原始、改进、专用、微调4大类

代码大模型具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。在对大量代码数据的学习和训练过程中，代码大模型能够提升代码编写的效率和质量，辅助代码理解和决策，在代码生成、代码补全、代码解释、代码纠错以及单元测试等任务中都表现出十分出色的能力。为了帮大家深入掌握代码大模型的发
深度之眼·2023-11-30 02:33

EMA训练微调

就是取前几个epoch的weight的平均值，可以缓解微调时的灾难性遗忘（因为新数据引导，模型权重逐渐，偏离训练时学到的数据分布，忘记之前学好的先验知识）classEMA():def__init__(self
Yuezero_·2023-11-29 23:14

从零详细地梳理一个完整的 LLM 训练流程

当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna]等）。
大数据AI人工智能培训专家培训讲师叶梓·2023-11-29 22:23

IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型

只有22M参数的IP适配器可以实现与微调图像提示模型相当甚至更好的性能。IP-Adapter不仅可以推广到从同一基本模型微调的其他自定义模型，还可以推广到使用现有可控工具的可控生成。
源代码杀手·2023-11-29 20:43

【官方】Claude LLM大语言模型使用文档中文版

1介绍1.1开始使用Claude什么是Claude获取Claude访问权限与Claude的第一次聊天把Claude当作是一个外包员工一样交谈Claude“记得”整个线程需要记住的限制术语词典上下文窗口微调
ALLinLLM·2023-11-29 19:35

普通人在3小时打了10通+的电话

办理买房贷款业务，结果路途太坎坷了……早上去8点不到出门，晚上6点多回家~早晨跑工商银行，公积金，工商银行……商业贷款OK，有点的固定流程其实也可以稍微调整，前提是你得遇到一个真正能为客户着想的银行人员
马小一_555·2023-11-29 17:19

Langchain-Chatchat学习

参考：Langchain-Chatchat+阿里通义千问Qwen保姆级教程|次世代知识管理解决方案-知乎(zhihu.com)中文LLM生态观察模型就开源的部分而言，从一开始的MOSS[1]ChatGLM
wangqiaowq·2023-11-29 16:17

人工智能_AI服务器安装清华开源_CHATGLM大语言模型_GLM-6B安装部署_人工智能工作笔记0092

python代码进行提问,然后返回结果的,这样就可以实现我们自己的chat应用了,非常不错.但是毕竟是6B现在已经是130B了,但是那个模型是不开源的当然也可以使用我们自己的数据集,让这个算法进行自动学习和微调
脑瓜凉·2023-11-29 15:06

部署LCM（Latent Consistency Models）实现快速出图

目前LCM只可以使用一个模型Dreamshaper_v7，基于SD版本Dreamshaper微调而来的。LCM模型下载：https://hugging
培根芝士·2023-11-29 13:31

【nlp】4.5 迁移学习实践项目（相关概念、中文分类、填空、句子关系、模型微调）

定义与基本思想1.2迁移学习的基本概念1.3迁移学习的类型1.4迁移学习的应用1.5迁移学习的优势1.6迁移学习的缺点1.7迁移学习有关概念1.7.1预训练模型(Pretrainedmodel)1.7.2微调
lys_828·2023-11-29 13:38

深入解析：Peft Adapter与LLM融合

在增量预训练阶段或有监督微调阶段使用高效微调方法（Lora）时会产生adapter文件，相当于是一个“补丁”。那么如何将“补丁”与原始模型合并呢？下面将对模型合并代码进行解读。
hj_caas·2023-11-29 11:30

FlagEmbedding目前最好的sentence编码工具

LM-CocktailDenseRetrieval:LLMEmbedder,BGEEmbedding,C-MTEBRerankerModel:BGEReranker更新11/23/2023:ReleaseLM-Cocktail,一种通过模型融合在微调时保持原有模型通用能力的方法
WitsMakeMen·2023-11-29 11:49

【Python深度学习第二版】学习笔记之——什么是深度学习

优化器的任务是根据损失值，来对权重值进行微调，以降低当前示例对应的损失值。
没有竹蜻蜓的小叮当·2023-11-29 09:23

Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks

在这篇文章中，作者提出了Goat，通过领域数据微调LLaMA，包含1M指令数据，实现了在基础数学上
HanZee·2023-11-29 05:13

基于大模型的知识问答系统全面总结(附 Python 完整代码）

参赛选手可以使用其他公开访问的外部数据来微调模型，也可以使用向量数据库等技术。
机器学习社区·2023-11-29 05:41

Day105

1.昨天破天荒睡的很早，今早仍然没睡醒似的，不过准点起来了，认认真真吃了早饭，上午日常值班，换了一个规则分单，感觉排队好一些2.排好了后半个月的全员班表，个别微调也解决了3.处理完了工单问题复核并回传结果
代瑾芫·2023-11-29 05:30
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他