embedding微调

大模型应用开发-实用开源项目汇总

大模型相关目录大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。
写代码的中青年·2024-02-03 09:32

一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac 部署、单GPU部署及多GPU部署指南，附详细代码和步骤

一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac部署、单GPU部署及多GPU部署指南，包含代码调用对话、API调用、网页对话
代码讲故事·2024-02-03 03:29

AIGC专题：生成式AI（GenAI）赋能供应链之路

它是在一个基础上训练的--一个由来自多个来源的数十亿个单词组成的模型，并通过从人类反馈中得到的强化学习进行微调型号(LLM)：在大量文本上进行训练的La
人工智能学派·2024-02-03 02:07

用通俗易懂的方式讲解：一文详解大模型 RAG 模块

索引模块块优化滑动窗口从小到大元数据附加结构化组织层次化索引知识图谱文档组织预检索模块查询扩展多查询子查询CoVe查询转换重写HyDE查询路由元数据路由器/过滤器语义路由器查询构建检索模块检索模型选择稀疏检索器密集检索器检索器微调
Python算法实战·2024-02-03 01:43

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

在采用LoRA对ChatGLM-6B（FP16）进行微调时，显存空间会占用到20G多一点（参考LLM-ChatGLM-6BLora微调与推理_chatglm2-6b训练lora-CSDN博客），按照这个情况
韬小志·2024-02-02 20:34

LLM - ChatGLM-6B Lora 微调与推理

目录一.引言二.环境准备三.ChatGLM-6BLora微调1.样本准备ByJson2.样本生成ByTokenizer3.模型生成ByTrainer四.ChatGLM-6BLora文本生成1.文本生成ByChat2
BIT_666·2024-02-02 20:33

（新手亲测有效）bug解决：ValueError: Attempting to unscale FP16 gradients. 反复出现的问题。

在新手在消费级GPU上本地部署chatGLM-6B-CSDN博客完成chatGLM-6B（FP16）的部署后，尝试对模型进行loRA微调，期间遇到并解决了一些bug，分享给大家，希望大家少走弯路！
韬小志·2024-02-02 20:02

GEDepth：Ground Embedding for Monocular Depth Estimation

参考代码：gedepth出发点与动机相机的外参告诉了相机在世界坐标系下的位置信息，那么可以用这个外参构建一个地面基础深度作为先验，后续只需要在这个地面基础深度先验基础上添加offset就可以得到结果深度，这样可以极大简化深度估计网络学习的难度，自然深度估计的性能就上去了。先不说这个深度估计的实际效果如何，但是这个将复杂的问题简单化的思路是可以借鉴的。但是这个鲁棒性如何就需要打问号了，BEV感知中外
m_buddy·2024-02-02 20:25

【根据loss曲线看模型微调效果】如何使用loss曲线诊断机器学习模型性能

一、Loss曲线在模型的预训练或者微调过程中，我们一般通过观察loss曲线来得出模型对于数据集的学习效果等信息。那么我们如何根据loss曲线得到一些信息呢？
子非Yu@Itfuture·2024-02-02 19:11

2. ChatGLM开源⼤模型

为什么要学习开源⼤模型更⼤的微调空间：相⽐在线⼤模型，开源⼤模型可以使⽤更多微调框架进⾏模型微调，微调空间更⼤，更有可能快速完成定制化⼤模型训练；更加灵活的AI应⽤开发：相⽐封闭的在线模型，开源模型可以更加灵活便捷的嵌
Andy_shenzl·2024-02-02 19:53

TSNE图（t-Distributed Stochastic Neighbor Embedding）的调用方式，和对TSNE图进行分析

TSNE图（t-DistributedStochasticNeighborEmbedding）1.在python中如何调用TSNE图？
小桥流水---人工智能·2024-02-02 19:36

为了这种可能性，咱们才如此地一如既往

为了这种可能性，咱们才如此地一如既往-----阿拉丁956“当你不想码字的时候，就继续码字”，把村上春树的“当你不想跑步的时候，就去跑步”稍微微调了一下，成为继续坚持码字的一种驱动力。
阿拉丁956·2024-02-02 18:52

【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用

2.1文档加载与分块2.2创建向量数据库2.2.1创建过程2.2.2运行结果2.2.3踩坑2.2.3.1坑一：NoneTypeobjectisnotiterable2.2.3.2坑二：Numberofembeddings9mustmatchnumbero
同学小张·2024-02-02 17:15

车载语音交互赛道研究：大模型揭幕2.0时代 商业模式重塑

根据高工智能汽车研究院调研获取的信息，核心原因为：1.0时代，车载语音交互玩家可使用自身的小模型；2.0时代，很可能需基于通用大模型（训练成本极为高昂，某种程度上为基建工程），做一定的微调形成自身的行业大模型
高工智能汽车·2024-02-02 15:55

高手从不左顾右盼

他们从一开始就分析多方情报，审时度势，锁定目标，适时微调，砥砺前行。路途当用，经历种种，不过是磨砺心性，砥砺前行。当然，所有的高手不是天生就是高手的。
王蒲臣·2024-02-02 14:09

paper1:Wide & Deep Learning for Recommender Systems

论文整理待写：Wide&DeepModels--2018.12.1/12.2两天1、论文创新点广义线性模型存在需要太多特征工程的工作；深度模型的embedding的过度概括化以至于推荐不太相关的物品当用户数据比较稀疏时
是黄小胖呀·2024-02-02 13:08

2024-01-06-AI 大模型全栈工程师 - 机器学习基础

a.什么是模型训练（Training）b.什么是模型预训练（Pre-Training）c.微调（Fine-Tuning）d.轻量化微调（ParameterEfficientFine-Tuning,PEFT
流雨声·2024-02-02 10:42

bert+crf可以做NER，那么为什么还有bert+bi-lstm+crf ?

关于BERT做NER，最简单的方式就是序列标注方法，以BERT得到token的embedding，后接softmax直接输出预测token的标签。
Maann·2024-02-02 09:41

2024-01-06-AI 大模型全栈工程师 - 机器学习基础

a.什么是模型训练（Training）b.什么是模型预训练（Pre-Training）c.微调（Fine-Tuning）d.轻量化微调（ParameterEfficientFine-Tuning,PEFT
流雨声·2024-02-02 07:06

【GitHub项目推荐--TTS】【转载】

少样本TTS：只需1分钟的训练数据，就可以微调模型，以提高语音相似度和真实感。跨语言支持：可以用与训练数据集不同的语言进行推理，目前支持英语、日语和中文。集成了一些
旅之灵夫·2024-02-02 06:10

【gRPC】Python建立服务端含接口映射

续之前《【gRPC】protoc文件转py文件》基于之前的目录结构，微调下：|-example#新增|-service|-api|-User.py|-configs.py|-example_proto|
陀螺蚁·2024-02-02 06:07

为什么RAG是件大事【检索增强生成】

一项关键技术是检索增强生成（RAG），它可以使LLM个性化，而无需昂贵的训练过程（“微调”）。
新缸中之脑·2024-02-02 06:04

选择GPT-3.5、还是微调Llama 2等开源模型？综合比较后答案有了

众所周知，对GPT-3.5进行微调是非常昂贵的。本文通过实验来验证手动微调模型是否可以接近GPT-3.5的性能，而成本只是GPT-3.5的一小部分。有趣的是，本文确实做到了。
程序员的店小二·2024-02-02 06:33

第2章 大模型的基础知识2.2 大模型的关键技术2.2.2 预训练与微调

v=bZQun8Y4L2A&t=339s1.背景介绍在本章节中，我们将深入探讨大模型中的关键技术之一：预训练与微调(Pre-trainingandFine-tuning)。
OpenChat·2024-02-02 05:09

【EVP】Explicit Visual Prompting for Low-Level Structure Segmentations

3.1整体结构3.2高频分量计算3.3显示视觉提示EVP4.实验4.1四种任务结果对比4.2不同可训练参数量结果对比4.3四种任务可视化结果4.4消融实验4.5参数选择对比结果4.6在四个不同任务上与其他微调方法对比
zy_destiny·2024-02-01 22:40

Bi-Lstm+crf命名实体识别任务中crf的作用

的代码：classERNIE_LSTM_CRF(nn.Module):"""ernie_lstm_crfmodel"""def__init__(self,ernie_config,tagset_size,embedding_dim
sunshine2853·2024-02-01 21:25

ChatGLM3-6B模型介绍及微调

文章目录ChatGLM3-6B的强大特性更强大的基础模型更完整的功能支持更全面的开源序列ChatGLM3-6B的部署basic版部署集成版部署ChatGLM3-6B-base微调ChatGLM3-6B-chat
dzysunshine·2024-02-01 20:24

ChatGLM-6B：自定义数据集和模型微调！

Datawhale干货开源：ChatGLM，编辑：Coggle数据科学ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。具体代码和权重可以从获取：https://github.com/THUDM/ChatGLM-6B/https://huggingface.co/THUDM/chat
Datawhale·2024-02-01 20:52

ChatGLM-6B在法律数据集上微调

目录数据集训练和推理依赖训练推理数据集数据集：lawzhidao_filter.csv（工作台-Heywhale.com）处理：1）筛选'is_best'=1的行，删除'reply'为空的行，在'title'和'question'中选择描述长的列，最后csv文件只包含两列数据['title','reply']。2）转为json格式（和ChatGLM-6B中ptuning提供的AdvertiseGe
Luzichang·2024-02-01 20:50

前端CSS的相对定位、绝对定位、固定定位

相对定位position:relative相对定位，就是微调元素位置的。元素相对自己原来的位置，进行位置的微调。也就是说，如果一个盒子想进行位置调整，那么就要使用相对定位了。
王裕杰·2024-02-01 18:33

最强解套攻略+直击灵魂的思考

盘面分析一句话：微调，走势不变，包括美股，今夜大概率还会涨，明天的A股好好表现！（篇幅原因，不看板块，主要是没时间写，哈哈）最强解套攻略首先，为什么我说的是解套而不是盈利呢？
韶华解忧鋪·2024-02-01 18:23

Amazon Bedrock 的微调和持续预训练功能允许用户使用私有数据定制模型

通过微调，您可以通过私有的特定任务标注训练数据集来提高模型的准确性，进一步使基础模型（FM）专业化。借助持续预训练，您可以在安全的托管环境中使用私有未经标注的数据和客户管
亚马逊云开发者·2024-02-01 13:58

Transformer 自然语言处理（三）

NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第八章：使transformers在生产中更高效在之前的章节中，您已经看到了transformers如何被微调以在各种任务上产生出色的结果
绝不原创的飞龙·2024-02-01 12:59

大模型增强大模型：通过融合扩展能力（Google DeepMind2024）

微调为什么不可行，组合为什么可行？答：因为训练大型模型在计算上是昂贵的，尤其是增强模型本身可能是在大规模数据集上训练的LLM。此外，由于隐私和组织边界的原因，处理来自多个
Ly大可爱·2024-02-01 11:53

对齐大型语言模型与人类偏好：通过表示工程实现

为了解决RL方法带来的上述挑战，提出了几种计算上轻量级的替代方案，在这些替代方案中，两个突出的范例包括对比学习和Hindsight指令重新标记（HIR），然而，无奖励微调容易受到训练集中包含的偏好注释响应对的嘈杂数据或不正确标签的影响
Ly大可爱·2024-02-01 11:53

YAYI-UIE: 一个用于通用信息提取的聊天增强的指令微调框架

3、主要方法：两步指令微调：第一步：在构建的对话语料库上对基础LLM进行微调，以获得可以聊天的LLM：Ddialogue=instruct
Ly大可爱·2024-02-01 11:53

企业级大模型的护城河：RAG + 微调

围绕LLM的炒作是前所未有的，但这是有道理的，生成式AI有潜力改变我们所知道的社会。在很多方面，LLM将使数据工程师变得更有价值——这令人兴奋！不过，向老板展示数据发现工具或文本到SQL生成器的炫酷演示是一回事，而将其与公司的专有数据（甚至更重要的客户数据）一起使用则是另一回事。很多时候，公司急于构建人工智能应用程序，却对其实验的财务和组织影响缺乏远见。这不是他们的错——高管和董事会应该为围绕这项
新缸中之脑·2024-02-01 09:18

泰迪智能科技大模型微调项目训练营已开营

泰迪智能科技大模型微调项目训练营开营跟张良均老师学大数据人工智能项目一：医疗诊疗对话意图识别项目二：中医问答系统项目三：某平台股票评论情感识别学习流程：项目一：医疗诊疗对话意图识别项目背景:“互联网+医疗
泰迪智能科技·2024-02-01 08:40

微调入门篇:大模型微调的理论学习

1、为什么大模型微调之前在《大模型这块蛋糕,想吃吗》介绍了普通人如何搭上大模型这块列车,其中有一个就是模型微调,这个也是未来很多IT公司需要发力的方向,以及在《垂直领域大模型的应用更亲民》中论述了为什么微调适合大家
程序猿小三·2024-01-31 19:21

基于多种CNN模型在清华新闻语料分类效果上的对比

8importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimportnumpyasnpclassConfig(object):"""配置参数"""def__init__(self,dataset,embedding
伪_装·2024-01-31 18:22

Python数据可视化day07|使用API

我们将进行多个方面的定制,因此先来稍微调整代码的结构,创建一个配置对象,在其中包含要传递给Bar()的所有定制:➜python_repos_pygal.py--snip--#可视化my_style=LS
习惯芥末味·2024-01-31 17:01

情深不寿 纸短情长

我稍微调整了一下自己狼狈的状态，压低声音伏在死党耳边说到：“你又搞什么鬼
七年一梦·2024-01-31 16:54

MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP

1.MFTCoder简介CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。
CodeFuse·2024-01-31 15:02

CodeFuse新开源模型荣登Big Code评测榜首！

使用多任务高效微调框架MFTCoder，以DeepSeek-Coder-33b模型为底座，微调获得的CodeFuse-DeepSeek-33b模型在BigCodeModelsLeaderboard代码大模型榜单上以
CodeFuse·2024-01-31 15:02

大模型技术关于硬件和操作系统的要求

硬件与操作系统要求一、硬件与软件的平衡在大模型微调技术的落地应用中，硬件和软件同等重要。用户需要根据具体的应用场景和需求，平衡硬件和软件资源的投入。
E寻数据·2024-01-31 13:14

大白话理解大语言模型预训练和微调

引言在人工智能的黄金时代，预训练模型已成为推动技术发展的驱动力。这些模型通过自回归和生成式的核心特性，为语言理解和生成开辟了新天地。本文将探讨这两种模型的特性及其对大模型预训练的影响。一、自回归模型的魔法自回归模型是预训练过程中的关键。这种模型通过考虑之前的所有输出来预测下一个词，就像我们填写完形填空题一样。它们是顺序模型，意味着它们一步步地构建序列，每一步只生成一个词。例如，考虑句子：“我喜欢吃
E寻数据·2024-01-31 13:14

大模型微调LoRA训练与原理

1.什么是LoRA？LoRA的全称是LOW-RANK-ADAPTATION。是一种实现迁移学习的技术手段。2.矩阵的秩？秩是一个向量空间的基向量的个数。例如：二维平面坐标系存在两个基向量，平面上任意的一个向量都可以使用这两个基向量进行线性表示，则秩为2。三维空间中则有3个基向量。3维空间存在很多对的基向量，而正交的基向量才是最简单的。秩是矩阵特有的属性。3.Transforerm中的矩阵有哪些？很
谦虚且进步·2024-01-31 10:28

生成式AI与大模型核心技术开发与应用研修班

大模型和小模型的融合使用，或者以大模型为底座的小型化微调都是未来发展趋势。如何调用大模型开展自然语言处理、图像处理、文本识别的技术，成为目前人工智能领域人才的迫切需求。为帮助大家掌握大模型调用、
人工智能技术与咨询·2024-01-31 08:37

论文推荐:大语言模型在金融领域的应用调查

这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看论文分为2大部分：1、作者概述了使用llm的现有方法包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制
deephub·2024-01-31 07:29

TensorFlow2实战-系列教程12：RNN文本分类4

__init__()self.embedding=tf.Variable(np.load('./voc
机器学习杨卓越·2024-01-31 07:40
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他