MOSS微调

CodeFuse新开源模型荣登Big Code评测榜首！

使用多任务高效微调框架MFTCoder，以DeepSeek-Coder-33b模型为底座，微调获得的CodeFuse-DeepSeek-33b模型在BigCodeModelsLeaderboard代码大模型榜单上以
CodeFuse·2024-01-31 15:02

大模型技术关于硬件和操作系统的要求

硬件与操作系统要求一、硬件与软件的平衡在大模型微调技术的落地应用中，硬件和软件同等重要。用户需要根据具体的应用场景和需求，平衡硬件和软件资源的投入。
E寻数据·2024-01-31 13:14

大白话理解大语言模型预训练和微调

引言在人工智能的黄金时代，预训练模型已成为推动技术发展的驱动力。这些模型通过自回归和生成式的核心特性，为语言理解和生成开辟了新天地。本文将探讨这两种模型的特性及其对大模型预训练的影响。一、自回归模型的魔法自回归模型是预训练过程中的关键。这种模型通过考虑之前的所有输出来预测下一个词，就像我们填写完形填空题一样。它们是顺序模型，意味着它们一步步地构建序列，每一步只生成一个词。例如，考虑句子：“我喜欢吃
E寻数据·2024-01-31 13:14

大模型微调LoRA训练与原理

1.什么是LoRA？LoRA的全称是LOW-RANK-ADAPTATION。是一种实现迁移学习的技术手段。2.矩阵的秩？秩是一个向量空间的基向量的个数。例如：二维平面坐标系存在两个基向量，平面上任意的一个向量都可以使用这两个基向量进行线性表示，则秩为2。三维空间中则有3个基向量。3维空间存在很多对的基向量，而正交的基向量才是最简单的。秩是矩阵特有的属性。3.Transforerm中的矩阵有哪些？很
谦虚且进步·2024-01-31 10:28

生成式AI与大模型核心技术开发与应用研修班

大模型和小模型的融合使用，或者以大模型为底座的小型化微调都是未来发展趋势。如何调用大模型开展自然语言处理、图像处理、文本识别的技术，成为目前人工智能领域人才的迫切需求。为帮助大家掌握大模型调用、
人工智能技术与咨询·2024-01-31 08:37

论文推荐:大语言模型在金融领域的应用调查

这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看论文分为2大部分：1、作者概述了使用llm的现有方法包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制
deephub·2024-01-31 07:29

AI大模型专题：2024大模型安全流通平台市场厂商评估报告

大模型训练及应用全流程可大致分为数据治理、预训练、微调、应用四个环节，每个环节均有安全需求。全流程安全是大模型及其要素高效流通的必要条件之一。厂
人工智能学派·2024-01-31 07:13

书生浦语大模型实战营笔记作业汇总

哔哩哔哩第三课：书生浦语大模型实战营第三次课笔记-CSDN博客书生浦语大模型实战营第三次课作业-CSDN博客第四课：书生浦语大模型实战营第四次课笔记-CSDN博客书生浦语大模型实战营第四次课作业-使用XTuner微调
睡觉爱数羊·2024-01-31 03:56

书生·浦语大模型实战营汇总

浦语大模型全链路开源体系视频，笔记第二课：浦语大模型趣味Demo视频，文档，笔记，作业第三课：基于InternLM和LangChain搭建你的知识库视频，文档，笔记，作业第四课：XTuner大模型单卡低成本微调实战视频
灬烖灬·2024-01-31 03:55

大模型学习之书生·浦语大模型笔记汇总

全链路开源体系大模型学习之书生·浦语大模型2——趣味Demo大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战大模型学习之书生
uncle_ll·2024-01-31 03:25

LLM大模型：面试、微调

大模型面试准备-1（题库整理篇）大模型八股答案（一）——基础知识-知乎分析transformer模型的参数量、计算量、中间激活、KVcache-知乎【NLP】GoogleBERT模型原理详解-知乎2、大模型微调学习
风路丞·2024-01-31 01:42

2021民校招生策系列之④:这5个问题应对及真正解答，对民办小学、初中招生意义重大！

问题1:你知道小一家长选择学校标准出现了哪些微调吗？家长选择学校，质量、课程特色仍是首要考虑因子，同时其它因子权重将会微调，考虑就餐、住宿、环境所占比重会加大。
王红顺·2024-01-30 22:57

DarkMode(4)：css滤镜 颜色反转实现深色模式

或者用js，给想要反转的，加上反转样式，再对其他的做微调。
zhoulujun·2024-01-30 17:50

UniAdapter: Unified Parameter-Efficient Transfer Learning for Cross-modal Modeling

UnifiedParameter-EfficientTransferLearningforCross-modalModeling论文链接：https://arxiv.org/pdf/2302.06605.pdf源码链接：https://hub.nuaa.cf/RERV/UniAdapter简介预训练-微调范式在自然语言处理
qgh1223·2024-01-30 15:41

2022-11-12【日精进第55天】

姓名：李庆单位：郑州鹿野苑餐饮管理有限公司（朵家甜品厨房）每日定课（根据实际情况，每十天微调一次）：1，晨跑：5：20前，18分钟内跑完3公里；【完成】2，读书笔记：阅读30min+，笔记200字以上；
李庆是个做蛋糕的·2024-01-30 15:21

【书生·浦语大模型实战营】学习笔记目录

轻松玩转书生·浦语大模型趣味Demo》学习笔记【书生·浦语大模型实战营03】《基于InternLM和LangChain搭建你的知识库》学习笔记【书生·浦语大模型实战营04】《(4)XTuner大模型单卡低成本微调实战
songyuc·2024-01-30 14:33

小数课程在路上•两位数减一位数算理（退位）

这节课，在上课的时候进行了微调，即加入了专门的“两位数拆分成整十数和十几”的教学。主要是在相关的数学实验室活动中，孩子们在两位数拆分上出现了不小的障碍，我预计班级里会有很多孩子在这块上出现问题。
温州王晓锋·2024-01-30 13:44

自然语言nlp学习 三

4-8Prompt-Learning--应用_哔哩哔哩_bilibiliPromptLearning（提示学习）是近年来在自然语言处理领域中，特别是在预训练-微调范式下的一个热门研究方向。
wangqiaowq·2024-01-30 10:13

大白话理解大型语言模型（LLM）：预训练和微调

本文将深入探讨这些模型的两个关键阶段：预训练和微调，以及它们在实际应用中的重要性。1.预训练阶段：建立基础目的与过程：预训练是大型语言模型学习的起点，其目的是让模型掌握语言的基本统计规律和通用知识。
E寻数据·2024-01-30 08:36

大模型微调学习之旅③ — 基于 InternLM 和 LangChain 搭建你的知识库

目录一、大模型开发范式1、通用大模型的局限性：2、解决通用大模型范式的两种解决思路：①检索增强生成（RAG）②延呈传统自然语言处理算法微调（Finetune）二、LangChain简介①什么是LangChain②LangChain
Hoo K·2024-01-30 08:08

机器学习.线性回归

1和2是权重项，0是偏置项，在训练过程中为了使得训练结果更加精确而做的微调，不是一个大范围的因素，核心影响因素是权重项为了完成矩阵的运算，在0后面乘x0，使得满足矩阵的转换，所以在处理数据时候会添加如有上图所示的
丰海洋·2024-01-30 07:28

DB-GPT: Empowering Database Interactions with Private Large Language Models 导读

其核心创新在于采用了私有化的LLM技术，在特定领域的语料库上进行微调，以确保用户隐私和数据安全的同时，获得最先进的LLM的好处。DB-GPT的架构包括一个新颖的知识
一只特蕉·2024-01-30 06:04

在 Amazon EKS 上部署生成式 AI 模型

生成式AI技术包括微调和部署大型语言模型（LLM），并允许开发人员访问这些模型以执行提示和对话。负责在Kubernetes上制定标准的平台团队可以在AmazonEKS上微调和部署大语言模型。
亚马逊云开发者·2024-01-30 05:40

20180815【晨间日记】

0815晨间日记【7/90】：1.早起5:10早睡11:252.昨日检视:①补充创业计划书后续表格，已完成;②微水汽车美容开班及现场总结规范微调，已完成;③扫盲培训教材装订及方案落实，没有完成;3.今日青蛙
六两在路上·2024-01-30 00:32

VLM 系列——Monkey——论文解读

ImageResolutionandTextLabelAreImportantThingsforLargeMulti-modalModels》，是一个多模态的视觉-文本模型，当前版本（20231130）为基于Qwen-vl的三阶段微调
TigerZ*·2024-01-29 21:30

UE4场景搭建小记

后期处理盒子场景搭建工作流整体布局+地形制作+模型摆放地形&模型材质制作或调整打光&后期：静态烘培+动态光照+阴影+后期盒子场景交互：可交互模型蓝图+关卡蓝图场景特效：粒子+后期材质场景物理：物理模拟+物理破碎整体布局微调
Ctrlturtle·2024-01-29 21:19

如何评估服务端压测指标

压测流程完整的压测流程一般包含下面几个步骤：1、压测目标的制定2、压测链路的梳理3、压测环境的准备4、压测数据的构造5、发压测试6、瓶颈定位及容量微调7、压测总结和报告压测指标列举一些常用指标，并不一定都需要关注
爱转角码农·2024-01-29 20:35

基于BERT的文本分类——附-简单的示例代码

BERT通过在大规模文本语料上进行预训练，学习了深层次的语言表示，然后可以通过微调用于各种下游任务，包括文本分类。文本分类是一个常见的自然语言处理任务，它涉及将文本分为不同的类别或标签。
技术宅学长·2024-01-29 18:54

python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调

ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B模型基于P-Tuningv2的微调一.anconda1.anconda安装2.环境变量配置3.使用过程中的问题已经解决的问题环境方面
坦笑&&life·2024-01-29 15:20

Matlab App Designer自学笔记(十四)：分档旋钮控件、下拉菜单控件、微调控件

由于一些主观及客观的原因，博主已经放弃了在CSDN上更新文章，感兴趣的朋友可以去我的个人博客去浏览可能需要的文章。陶小桃Blog-无限进步的优质帅气大学生！热衷于分享技术和日常生活的机械专业小哥哥，捣鼓机械设计、计算机视觉和深度学习。网站还涉及到网页设计以及SEO相关地博文。https://www.52txr.cn/一、分档旋钮控件可以对档位进行设置，例如改为"off"、“low”、“medium
是刃小木啦~·2024-01-29 14:41

TensorFlow2实战-系列教程6：迁移学习实战

中进行本篇文章配套的代码资源已经上传1、迁移学习用已经训练好模型的权重参数当做自己任务的模型权重初始化一般全连接层需要自己训练，可以选择是否训练已经训练好的特征提取层一般情况下根据自己的任务，选择对那些网络进行微调和重新训练
机器学习杨卓越·2024-01-29 09:10

数据科学与机器学习 — 神经网络（第 02 部分）：前馈神经网络架构设计

有时，与您的问题最相合的网络可能是输入层中有10个节点，隐藏层中有13个节点/神经元，输出层中有大约四个节点/神经元，更不必提您将不得不微调整个网络中隐藏层的数量。我的观点是，我们需要一些动态的东西。
赫兹股票期货量化软件·2024-01-29 08:18

程序员福音，关于如何使用Markdown写出一份漂亮的简历 —— 程序员简历 | md文档简历制作教程

教程开始第一步：下载安装Typora第二步：写内容第三步：选主题第四步：微调导出为HTML预览PDF开始微调第五步：导出，大功告成！
阿杆.·2024-01-29 07:10

基于PaddleDetection目标检测labelme标注自动获取

在百度的PaddleDetection项目的基础上实现目标检测labelme标注的自动获取，需要先训练一个模型，然后通过这个模型去标注，最后用labelme进行微调from__future__importabsolute_importfrom
Dandelion_2·2024-01-29 06:06

【XTuner 大模型单卡低成本微调实战】学习笔记

参考学习教程【XTuner大模型单卡低成本微调实战】理论Finetune简介大语言模型微调模式增量预训练指令跟随微调LoRA和QLoRAXtuner介绍实战自定义微调用MedicationQA数据集进行微调将数据转为
尘汐筠竹·2024-01-29 05:46

借助全球高校数据多维度分析案例，体验TableAgent如何助力用户轻松洞察数据，赋能企业高效数智化转型

1、会话式数据分析，所需即所得2、私有化部署，数据安全3、支持企业级数据分析,大规模，高性能4、支持领域微调，专业化5、透明化过程，审计部署二、使用TableAgent进行全球高校数据案例多维度数据分析
国服第二切图仔·2024-01-29 04:59

【计划没有变化快】

但是没有按照计划完成应该进行的教学任务，所以接下来一周的课程安排就要进行微调。
裴玉老师·2024-01-29 00:58

玩转大模型！在GPU云平台部署ChatGLM-6B

ChatGLM-6B采用了全新的训练方法，在其开源的模型中已经在大规模数据集上进行了训练，用户可体验高质量的对话机器人，也可以对其在用户自有数据集上微调，得到自己专
我爱计算机视觉·2024-01-28 23:09

使用自有数据集微调ChatGLM2-6B

1ChatGLM2-6B介绍ChatGLM是清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。ChatGLM基于GLM130B千亿基础模型训练，它具备多领域知识、代码能力、常识推理及运用能力；支持与用户通过自然语言对话进行交互，处理多种自然语言任务。比如：对话聊天、智能问答、创作文章、创作剧本、事件抽取、生成代码等等。代码地址：https://github.com/THUDM/Chat
智慧医疗探索者·2024-01-28 23:08

[tensorflow] Tensorflow中learning rate 调整+ decay奇技淫巧

Note：如果是迁移学习，由于模型已在原始数据上收敛，此时应设置较小学习率(≤10−4≤10−4)在新数据上进行微调。
ASR_THU·2024-01-28 21:04

零一万物开源Yi-VL多模态大模型，推理&微调最佳实践来啦！

近期，零一万物Yi系列模型家族发布了其多模态大模型系列，**YiVisionLanguage（Yi-VL）**多模态语言大模型正式面向全球开源。凭借卓越的图文理解和对话生成能力，Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。基于Yi语言模型的强大文本理解能力，只需对图片进行对齐，就可以得到不错的多模态视觉语言模型——这也是Yi-VL模
深度学习算法与自然语言处理·2024-01-28 19:09

文案生成贴心小助手

经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。✨
会唱歌的炼丹师·2024-01-28 17:59

自然语言推断：微调BERT

微调BERT自然语言推断任务设计了一个基于注意力的结构。现在，我们通过微调BERT来重新审视这项任务。
白云如幻·2024-01-28 12:09

【Image captioning】论文阅读八—ClipCap: CLIP Prefix for Image Captioning_2021

中文标题：ClipCap:CLIP前缀用于图像描述（ClipCap:CLIPPrefixforImageCaptioning）文章目录1.介绍2.相关工作3.方法3.1综述3.2语言模型微调3.3映射网络架构
安静到无声·2024-01-28 08:33

GPT等大语言模型是典型的人机环境交互、协同系统

GPT等大语言模型是一种典型的人机环境交互、协同系统，同时也是一种基于Transformer模型的自然语言处理（NLP）模型，使用了大规模的无监督预训练和有监督微调的方法进行训练。
人机与认知实验室·2024-01-28 06:33

【论文笔记】GPT，GPT-2，GPT-3

的解码器，仅已知"过去"，推导"未来"论文地址：ImprovingLanguageUnderstandingbyGenerativePre-Training半监督学习：无标签数据集预训练模型，有标签数据集微调
爱学习的卡比兽·2024-01-28 06:44

语言大模型的分布式训练与高效微调指南

原文：语言大模型的分布式训练与高效微调指南-知乎目录收起1分布式训练2ZeRO驱动的数据并行3全分片数据并行4实现5高效微调6实践指南7关于DeepSpeed和FSDP的更多内容OneFlow编译翻译｜
javastart·2024-01-28 05:20

2020 年 中英文拼写纠错开源框架梳理

https://github.com/iqiyi/FASPell/blob/master论文：https://www.aclweb.org/anthology/D19-5522.pdf使用bert进行预训练+微调
javastart·2024-01-28 05:50

第5章 （python深度学习——波斯美女）

第5章深度学习用于计算机视觉本章包括以下内容：理解卷积神经网络（convnet）使用数据增强来降低过拟合使用预训练的卷积神经网络进行特征提取微调预训练的卷积神经网络将卷积神经网络学到的内容及其如何做出分类决策可视化本章将介绍卷积神经网络
weixin_42963026·2024-01-28 05:14

DIFFERENTIABLE PROMPT MAKES PRE-TRAINED LANGUAGE MODELS BETTER FEW-SHOT LEARNERS

DifferentiAblepRompT(DART)，预训练的语言模型+反向传播对提示模板和目标标签进行差异优化可微提示（DART）模型的体系结构与MLM预训练和常规微调进行了比较，其中Ti和Yi是词汇表中未使用的或特殊的标记
Tsukinousag·2024-01-28 03:46
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他