LLM微调

ChatGLM-6B：自定义数据集和模型微调！

Datawhale干货开源：ChatGLM，编辑：Coggle数据科学ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。具体代码和权重可以从获取：https://github.com/THUDM/ChatGLM-6B/https://huggingface.co/THUDM/chat
Datawhale·2024-02-01 20:52

ChatGLM-6B在法律数据集上微调

目录数据集训练和推理依赖训练推理数据集数据集：lawzhidao_filter.csv（工作台-Heywhale.com）处理：1）筛选'is_best'=1的行，删除'reply'为空的行，在'title'和'question'中选择描述长的列，最后csv文件只包含两列数据['title','reply']。2）转为json格式（和ChatGLM-6B中ptuning提供的AdvertiseGe
Luzichang·2024-02-01 20:50

前端CSS的相对定位、绝对定位、固定定位

相对定位position:relative相对定位，就是微调元素位置的。元素相对自己原来的位置，进行位置的微调。也就是说，如果一个盒子想进行位置调整，那么就要使用相对定位了。
王裕杰·2024-02-01 18:33

最强解套攻略+直击灵魂的思考

盘面分析一句话：微调，走势不变，包括美股，今夜大概率还会涨，明天的A股好好表现！（篇幅原因，不看板块，主要是没时间写，哈哈）最强解套攻略首先，为什么我说的是解套而不是盈利呢？
韶华解忧鋪·2024-02-01 18:23

初识大模型

1大模型定义：“大模型”全称为大型语言模型（LLM）,，狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型等
一刀道人·2024-02-01 18:14

[晓理紫]每日论文分享(有源码或项目地址、中文摘要)--强化学习、模仿学习、机器人

为了答谢各位网友的支持，从今日起免费为300名读者提供订阅主题论文服务，只需VX关注公号并回复{邮箱+论文主题}（如：[email protected]+chatgpt@largelanguagemodel@LLM
晓理紫·2024-02-01 15:24

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

为了答谢各位网友的支持，从今日起免费为300名读者提供订阅主题论文服务，只需VX关注公号并回复{邮箱+论文主题}（如：[email protected]+chatgpt@largelanguagemodel@LLM
晓理紫·2024-02-01 15:24

[晓理紫]每日论文分享(有源码或项目地址、中文摘要)--大模型、扩散模型、视觉语言导航

为了答谢各位网友的支持，从今日起免费为300名读者提供订阅主题论文服务，只需VX关注公号并回复{邮箱+论文主题}（如：[email protected]+chatgpt@largelanguagemodel@LLM
晓理紫·2024-02-01 15:53

[晓理紫]每日论文分享(有源码或项目地址、中文摘要)--大模型、扩散模型、视觉

为了答谢各位网友的支持，从今日起免费为300名读者提供订阅主题论文服务，只需VX关注公号并回复{邮箱+论文主题}（如：[email protected]+chatgpt@largelanguagemodel@LLM
晓理紫·2024-02-01 15:22

Amazon Bedrock 的微调和持续预训练功能允许用户使用私有数据定制模型

通过微调，您可以通过私有的特定任务标注训练数据集来提高模型的准确性，进一步使基础模型（FM）专业化。借助持续预训练，您可以在安全的托管环境中使用私有未经标注的数据和客户管
亚马逊云开发者·2024-02-01 13:58

Transformer 自然语言处理（三）

NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第八章：使transformers在生产中更高效在之前的章节中，您已经看到了transformers如何被微调以在各种任务上产生出色的结果
绝不原创的飞龙·2024-02-01 12:59

众多国产大模型百花齐放究竟谁能夺得最后的桂冠？

接下来介绍一些国产的LLM，各个公司的大模型个具特色，都标志着各个公司对ai的进一步探索。接下来将从常识，资讯，法律，语言，交流，编码等方面来测试生成式AI。
_小许_·2024-02-01 12:53

大模型增强大模型：通过融合扩展能力（Google DeepMind2024）

例如，我们是否可以将增强模型的代码理解能力与固定LLM的语言生成能力组合，以实现代码到文本的生成能力？微调为什么不可行，组合为什么可行？
Ly大可爱·2024-02-01 11:53

对齐大型语言模型与人类偏好：通过表示工程实现

为了解决RL方法带来的上述挑战，提出了几种计算上轻量级的替代方案，在这些替代方案中，两个突出的范例包括对比学习和Hindsight指令重新标记（HIR），然而，无奖励微调容易受到训练集中包含的偏好注释响应对的嘈杂数据或不正确标签的影响
Ly大可爱·2024-02-01 11:53

YAYI-UIE: 一个用于通用信息提取的聊天增强的指令微调框架

3、主要方法：两步指令微调：第一步：在构建的对话语料库上对基础LLM进行微调，以获得可以聊天的LLM：Ddialogue=instruct
Ly大可爱·2024-02-01 11:53

基于LLM的对话式搜索简明教程

生成式AI和大型语言模型(LLM)实现的最令人兴奋的模式之一是对话式搜索。在这篇文章中，我将介绍你为什么需要对话式搜索、它是如何工作的以及这种搜索模式有哪些限制和变体。
新缸中之脑·2024-02-01 09:48

企业级大模型的护城河：RAG + 微调

围绕LLM的炒作是前所未有的，但这是有道理的，生成式AI有潜力改变我们所知道的社会。在很多方面，LLM将使数据工程师变得更有价值——这令人兴奋！
新缸中之脑·2024-02-01 09:18

DiffusionGPT : LLM驱动的统一文本到图像生成系统

为了结合两者的优势，提出了DiffusionGPT，它利用大语言模型（LLM）提供一个统一的生成系统，能够无缝地适应各种类型的提示并整
AI生成未来·2024-02-01 09:15

从搜索引擎到答案引擎：LLM驱动的变革

在过去的几周里，我一直在思考和起草这篇文章，认为谷歌搜索正处于被颠覆的边缘，它实际上可能会影响SEO作为业务牵引渠道的可行性。考虑到谷歌二十多年来的完全统治地位，以及任何竞争对手都完全无力削弱它，坦率地说，这似乎是一个荒谬的说法，我一直很紧张。但巧合的是，莱比锡大学本周发布并在其他地方报道的一项新研究实际上支持了我论文的至少一半，所以我想我应该完成并发布在这里。但我们不仅仅关注谷歌搜索的衰落，还应
新缸中之脑·2024-02-01 09:15

泰迪智能科技大模型微调项目训练营已开营

泰迪智能科技大模型微调项目训练营开营跟张良均老师学大数据人工智能项目一：医疗诊疗对话意图识别项目二：中医问答系统项目三：某平台股票评论情感识别学习流程：项目一：医疗诊疗对话意图识别项目背景:“互联网+医疗
泰迪智能科技·2024-02-01 08:40

基于LLM的文档搜索引擎开发【Ray+LangChain】

LangChain为LLM相关的一切提供了一套令人惊叹的工具。它有点像HuggingFace，但专门针对LLM。有用于提示、
新缸中之脑·2024-02-01 07:21

FuseLLM：大语言模型的知识融合！

pdf/2401.10491.pdfgit:https://github.com/fanqiwan/FuseLLM小伙伴们好久没见，今天为大家介绍中山大学联合腾讯人工智能实验室的最新研究论文，关于整合LLM
zenRRan·2024-02-01 07:20

【GitHub项目推荐--大语言模型课程】【转载】

LargeLanguageModelCourseLargeLanguageModelCourse（大型语言模型课程）是一个开源项目，该课程分为三个部分：LLM基础：涵盖了数学、Python和神经网络的基础知识
旅之灵夫·2024-02-01 03:16

StoryGPT-V——可以生成漫画故事的多模态大模型

尽管存在这些挑战，新兴的大语言模型（LLM）表现出强大的推理能力，能够通过模糊的参考和广泛的序列导航。
知来者逆·2024-02-01 01:27

【无标题】

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2024-01-31 22:12

第38期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2024-01-31 22:41

微调入门篇:大模型微调的理论学习

1、为什么大模型微调之前在《大模型这块蛋糕,想吃吗》介绍了普通人如何搭上大模型这块列车,其中有一个就是模型微调,这个也是未来很多IT公司需要发力的方向,以及在《垂直领域大模型的应用更亲民》中论述了为什么微调适合大家
程序猿小三·2024-01-31 19:21

Python数据可视化day07|使用API

我们将进行多个方面的定制,因此先来稍微调整代码的结构,创建一个配置对象,在其中包含要传递给Bar()的所有定制:➜python_repos_pygal.py--snip--#可视化my_style=LS
习惯芥末味·2024-01-31 17:01

情深不寿 纸短情长

我稍微调整了一下自己狼狈的状态，压低声音伏在死党耳边说到：“你又搞什么鬼
七年一梦·2024-01-31 16:54

langchain+xray：prompt控制漏洞扫描

langchain是调用LLM大模型完成自动化任务的框架。本篇文章是对langchain自定义工具的探索，通过编写一个xray调用的工具，联合ChatGPT对xray进行调用，实现对目标的漏洞扫描。
银空飞羽·2024-01-31 15:37

MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP

1.MFTCoder简介CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。
CodeFuse·2024-01-31 15:02

CodeFuse新开源模型荣登Big Code评测榜首！

使用多任务高效微调框架MFTCoder，以DeepSeek-Coder-33b模型为底座，微调获得的CodeFuse-DeepSeek-33b模型在BigCodeModelsLeaderboard代码大模型榜单上以
CodeFuse·2024-01-31 15:02

大模型技术关于硬件和操作系统的要求

硬件与操作系统要求一、硬件与软件的平衡在大模型微调技术的落地应用中，硬件和软件同等重要。用户需要根据具体的应用场景和需求，平衡硬件和软件资源的投入。
E寻数据·2024-01-31 13:14

大白话理解大语言模型预训练和微调

引言在人工智能的黄金时代，预训练模型已成为推动技术发展的驱动力。这些模型通过自回归和生成式的核心特性，为语言理解和生成开辟了新天地。本文将探讨这两种模型的特性及其对大模型预训练的影响。一、自回归模型的魔法自回归模型是预训练过程中的关键。这种模型通过考虑之前的所有输出来预测下一个词，就像我们填写完形填空题一样。它们是顺序模型，意味着它们一步步地构建序列，每一步只生成一个词。例如，考虑句子：“我喜欢吃
E寻数据·2024-01-31 13:14

AppAgent 开源项目解读

a11y-dark开源地址：https://github.com/mnotgod96/AppAgent项目结构核心模块script，我们通过script完成主要操作项目配置当前项目采用GPT4模型作为LLM
Huterox·2024-01-31 11:31

大模型微调LoRA训练与原理

1.什么是LoRA？LoRA的全称是LOW-RANK-ADAPTATION。是一种实现迁移学习的技术手段。2.矩阵的秩？秩是一个向量空间的基向量的个数。例如：二维平面坐标系存在两个基向量，平面上任意的一个向量都可以使用这两个基向量进行线性表示，则秩为2。三维空间中则有3个基向量。3维空间存在很多对的基向量，而正交的基向量才是最简单的。秩是矩阵特有的属性。3.Transforerm中的矩阵有哪些？很
谦虚且进步·2024-01-31 10:28

黑盒提示优化：在不进行模型训练的情况下对齐大型语言模型

2、过去的一些将LLM与人类偏好对齐的方式以及不足
Ly大可爱·2024-01-31 09:01

LLM语言模型，特别是GPT，对美国各种职业和行业的潜在影响

OpenAI官网发布了最新的研究论文《GPTsareGPTs:Anearlylookatthelabormarketimpactpotentialoflargelanguagemodels》，该文旨在探讨LLM
百态老人·2024-01-31 09:00

生成式AI与大模型核心技术开发与应用研修班

大模型和小模型的融合使用，或者以大模型为底座的小型化微调都是未来发展趋势。如何调用大模型开展自然语言处理、图像处理、文本识别的技术，成为目前人工智能领域人才的迫切需求。为帮助大家掌握大模型调用、
人工智能技术与咨询·2024-01-31 08:37

论文推荐:大语言模型在金融领域的应用调查

这篇论文总结了现有LLM在金融领域的应用现状，推荐和金融相关或者有兴趣的朋友都看看论文分为2大部分：1、作者概述了使用llm的现有方法包括使用零样本或少样本的预训练模型，对特定于领域的数据进行微调，还有从头开始训练定制
deephub·2024-01-31 07:29

AI大模型专题：2024大模型安全流通平台市场厂商评估报告

大模型训练及应用全流程可大致分为数据治理、预训练、微调、应用四个环节，每个环节均有安全需求。全流程安全是大模型及其要素高效流通的必要条件之一。厂
人工智能学派·2024-01-31 07:13

书生浦语大模型实战营笔记作业汇总

哔哩哔哩第三课：书生浦语大模型实战营第三次课笔记-CSDN博客书生浦语大模型实战营第三次课作业-CSDN博客第四课：书生浦语大模型实战营第四次课笔记-CSDN博客书生浦语大模型实战营第四次课作业-使用XTuner微调
睡觉爱数羊·2024-01-31 03:56

书生·浦语大模型实战营汇总

浦语大模型全链路开源体系视频，笔记第二课：浦语大模型趣味Demo视频，文档，笔记，作业第三课：基于InternLM和LangChain搭建你的知识库视频，文档，笔记，作业第四课：XTuner大模型单卡低成本微调实战视频
灬烖灬·2024-01-31 03:55

大模型学习之书生·浦语大模型笔记汇总

全链路开源体系大模型学习之书生·浦语大模型2——趣味Demo大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战大模型学习之书生
uncle_ll·2024-01-31 03:25

大模型时序应用——基于对比学习的时序数据embedding

本文是由北京大学和阿里联合发布的大模型应用研究论文，总结了使用今天的语言模型（LLM）完成时间序列（TS）任务的两种策略，并设计了一种适合于LLM的TS嵌入方法——TEST——来激活LLM对TS数据的能力
AI知识图谱大本营·2024-01-31 02:50

伯克利&DeepMind联合研究，RaLMSpec让检索增强LLM速度提升2-7倍！

引言：知识密集型NLP任务中的挑战与RaLM的潜力在知识密集型自然语言处理（NLP）任务中，传统的大语言模型面临着将海量知识编码进全参数化模型的巨大挑战。这不仅在训练和部署阶段需要大量的努力，而且在模型需要适应新数据或不同的下游任务时，问题更加严重。为了应对这些挑战，近期的研究提出了检索增强型语言模型（Retrieval-augmentedLanguageModels,RaLM），它通过检索增强将
AI知识图谱大本营·2024-01-31 02:20

LLM大模型：面试、微调

1、面试题总结【LLM】大模型面试准备-1（题库整理篇）大模型八股答案（一）——基础知识-知乎分析transformer模型的参数量、计算量、中间激活、KVcache-知乎【NLP】GoogleBERT
风路丞·2024-01-31 01:42

非常有趣的AI应用-用大语言模型来玩星际争霸2（附代码链接）

地址：Large-Language-Models-play-StarCraftIIarxiv：LargeLanguageModelsPlayStarCraftII…1、简介偶然看到的一个使用大语言模型LLM
怡步晓心l·2024-01-30 23:45

2021民校招生策系列之④:这5个问题应对及真正解答，对民办小学、初中招生意义重大！

问题1:你知道小一家长选择学校标准出现了哪些微调吗？家长选择学校，质量、课程特色仍是首要考虑因子，同时其它因子权重将会微调，考虑就餐、住宿、环境所占比重会加大。
王红顺·2024-01-30 22:57

翻译: GPT-4 Vision征服LLM幻觉hallucinations 升级Streamlit六

GPT-4Vision系列:翻译:GPT-4withVision升级Streamlit应用程序的7种方式一翻译:GPT-4withVision升级Streamlit应用程序的7种方式二翻译:GPT-4Vision静态图表转换为动态数据可视化升级Streamlit三翻译:GPT-4Vision从图像转换为完全可编辑的表格升级Streamlit四翻译:GPT-4Vision通过量身定制的推荐来增强应用
AI架构师易筋·2024-01-30 21:17
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他