语料

大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora

前言为了使用开放权重的LLM(大语言模型)，基于自己的训练集，微调模型，会涉及到如下一些技术要点：配置运行环境下载、加载基础模型收集语料、微调训练检验训练效果在实施过程中，遇到不少困难，因此写下这篇文档
Anycall201·2023-06-13 02:57

摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速。语料库语言学除了学科自身发展之外，还成为语言研究和语言教学研究的新工具。而语料库在语言测试方面的研究则以Alderson发表的《语料库在语言

语言学研究本栏目责任编辑：谢媛媛OverseasEnglish海外英语2018年6月语料库在语言测试开发和设计中的应用苏恒（西南政法大学，重庆401120）摘要：语料库语言学自问世以来一直备受关注，其发展十分迅速
m0_51919640·2023-06-12 20:32

LLaMA, ChatGLM, BLOOM的参数高效微调实践

1.开源基座模型对比大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。
汀、人工智能·2023-06-12 14:47

Linux、windows系统中nltk库安装详解

NLTK支持众多自然语言处理任务，例如文本分类、语法分析、词性标注、文本语料库处理等。
IT之一小佬·2023-06-12 14:51

ChatGPT对未来教育的影响：教师学生需要掌握这个新能力

诞生过程02.背后的技术03.颠覆的行业04.对教育的未来变化01.诞生过程2018年6月，拥有1.17亿参数的GPT1启动，以往的人工智能机器学习要对学习内容事先要做标记，但GPT1可以对未标记文本的不同语料库进行语言模型的生成性预训练
Do1twell·2023-06-12 10:33

文本分析系列——词语权重算法：TF-IDF算法

简介TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
做工程师的IT猫·2023-06-11 18:47

数据科学在文本分析中的应用 ：中英文 NLP（下）

数据建模在这个步骤中，我们将对语料数据进行针对性处理，使这类数据在分析中发挥它的价值。我们通过完成以下任务来获取关键词字数统计、文本情感正负向和评论主题模型：判定语料是否为目标语言分离并
OpenPie｜拓数派·2023-06-11 10:43

【转】Generative Pretrained Transformer

此外，即使在可获得相当大的监督语料情况下，以无监督学习的方式学到的表示也可以提供显着的性能提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。1.2简介G
小金子的夏天·2023-06-11 02:22

数据不足，如何监督学习？全面梳理半监督方法

一般而言，当监督学习任务面临标签数据不足问题时，可以考虑以下四种解决办法：1.预训练+微调：首先在一个大规模无监督数据语料库上对一个强大的任务无关模型进行预训练（例如通过自监督学习在自由文本上对语言模型进行预训练
机器学习与AI生成创作·2023-06-11 00:18

GPT聊天功能，逐字返回数据

如下是直接返回前端数据的api``甚至可以返回图片`2.模拟GPT的接口前言我们在和GPT交流的时候发现GPT总是逐字的显示，因为GPT是一种基于神经网络的自然语言处理模型，它的训练数据是从大量的文本语料库中获取的
哀莫离裳·2023-06-10 16:27

前瞻洞察｜Prompt Learning（提示学习）——新的低资源场景克星

预训练模型可以在大规模文本语料上进行自监督学习，从而获得丰富的语言学知识，并通过在下游任务上进行微调，实现出色的性能。
山石网科·2023-06-09 21:58

通过python进行nlp操作

安装Spacy和NLTKpip3installnltk有些时候的nltk代码需要语料库才能运行，运行下面的python代
专职·2023-06-09 20:10

《人民日报》公考申论面试热点素材选编12（2022年8月20日）

1.职业技能教育标签：社会建设，教育类背景世界职业技术教育发展大会19日在天津开幕参考语料中国政府高度重视职业教育，坚持职业教育的类型定位，深化职教改革，建成世界规模最大的职教体系，既为高质量发展提供了重要支撑
47fed7735c2d·2023-06-09 13:43

(GPT3)Language Models are Few-Shot Learners论文阅读

论文地址：https://arxiv.org/pdf/2005.14165v4.pdf摘要最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，许多NLP任务和基准测试取得了实质性进展
茫茫人海一粒沙·2023-06-09 09:57

AI制作视频——mov2mov以及inpaint

制作视频的几种思路1.从零开始生成：清华的cogview，runwaygen-1、gen-2，微软的女娲这个思路，就是认为可以通过文字描述的方式把视频画面描述出来，通过对文本-视频帧内容-视频内容的数据对的平行语料的学习
远洋之帆·2023-06-09 09:57

2022-03-18

自然语言处理实验演示-07.词干提取（Stemming）词干提取(Stemming)是英文语料预处理的一个必要步骤（中文不存在该问题），因为英语单词在句子中使用时会转化成各种形式。
跨象乘云·2023-06-09 07:31

解读大模型的微调

1.上下文学习与索引自从GPT-2和GPT-3出现以来，可以发现在预训练的通用文本语料库上的生成式大型语言模型（LLM）具备了上下文学习
半吊子全栈工匠·2023-06-09 05:18

只见新人笑，不见旧人哭 ChatGPT淘汰了多少产品？快来了解！

ChatGPT作为目前世界上最先进的人工智能聊天工具，其GPT模型就是一种自然语言处理（NLP）模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本
shshshhhhh·2023-06-09 02:43

97/300 《父母的语言》之3T原则

知道一个语料丰富的语言环境对于婴儿和儿童大脑的大脑发育至关重要。3T原则，即共情关注（Turnin）、充分交流（Talkmore）、轮流谈话（Taketurns）。
阅_己·2023-06-09 01:22

十个国内可用的智能AI模型

其基于大量已有的语料库进行训练，建立出一个能够理解自然语言规律和特征的语言模型。对于输入的文本、任务和目标，AI语言模型可以快速生成对应的结果。
QQVQQ...·2023-06-08 22:07

NLP实战：调用Gensim库训练Word2Vec模型

目录一、准备工作1.安装Gensim库2.对原始语料分词二、训练Word2Vec模型三、模型应用1.计算词汇相似度编辑2.找出不匹配的词汇3.计算词汇的词频四、总结本文为[365天深度学习训练营]内部限免文章
牛大了2023·2023-06-08 14:09

python爬虫和golang爬虫性能对比_Scrapy VS Golang 爬虫对比（修正）

上一篇文章的情况爬虫的来历是因为团队需要一批公司名称的语料
weixin_39710251·2023-06-08 13:41

TensorFlow Similarity 学习笔记1

利用TensorFlowSimilarity我们可以训练和服务能在大规模语料库中找相似物件（如图像）的模型。例如，如下图所示，你可以通过Ox
SidXu28·2023-06-08 05:44

可免费下载的最新人民日报分词语料库(NEPD)发布(转载)

可免费下载的最新人民日报分词语料库(NEPD)发布(转载)11月24日，在中国社会科学情报学会学术年会上，新时代人民日报分词语料（NewEraPeople’sDailySegmentedCorpus，简称
上海添力·2023-06-08 01:18

新时代人民日报分词语料库(NEPD)向学术界免费开放(转载)

语料库是由人工或机器标注好的真实语言材料组成的数据集，是开展与自然语言有关研究的有效工具和手段，在当前同时也是人工智能算法的训练集，直接决定了机器学习的运算效果。
上海添力·2023-06-08 01:48

《人民日报》热点金句 | 申论规范化表达词 | 结构化面试 | 公考国考省考素材积累23（2022年8月31日）

参考语料公务员是干部队伍的重要组成部分，是社会主义事业的中坚力量，是人民的公仆。新时代是奋斗者的时代，为人民幸福而奋斗是最大幸福。
47fed7735c2d·2023-06-07 21:02

word2vec中文相似词计算和聚类的使用说明及c语言源码

word2vec相关基础知识、下载安装参考前文：word2vec词向量中文文本相似度计算目录：word2vec使用说明及源码介绍1.下载地址2.中文语料3.参数介绍4.计算相似词语5.三个词预测语义语法关系
Eastmount·2023-06-07 21:12

[Python爬虫] Selenium获取百度百科旅游景点的InfoBox消息盒

获取维基百科的消息盒，同样可以通过Spider获取网站内容，最近学习了Selenium+Phantomjs后，准备利用它们获取百度百科的旅游景点消息盒（InfoBox），这也是毕业设计实体对齐和属性的对齐的语料库前期准备工作
Eastmount·2023-06-07 21:08

python文本相似度分析：TF-IDF方法

然后对生成的语料
ZGlenfiddich·2023-06-07 20:36

如何使用 ChatGPT 作为多语言翻译工具

ChatGPT经过数十种语言的大型文本语料库的培训，并部署在对话界面上，在翻译方面提供了无与伦比的灵活性，远远超过传统翻译工具所能提供的灵活性。
知否AI问答·2023-06-07 18:43

新闻推荐_特征工程

workers:表示训练时候的线程数量min_count:设置最小的iter:训练时遍历整个数据集的次数注意训练的时候输入的语料库一定要是字符组成的二维数组，如：[[‘北’,‘京’,‘
58506fd3fbed·2023-06-07 12:44

自学大语言模型之Bert和GPT的区别

该模型是在大量文本语料库上结合无监督和监督学习进行训练的。BERT的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。
深度学习的学习僧·2023-06-07 10:33

自学大语言模型之BERT

它是一种双向变换器，使用掩码语言建模目标和对包含多伦多图书语料库和维基百科的大型语料库的下一句预测的组合进行预训练。BERT旨
深度学习的学习僧·2023-06-07 10:22

Generative AI 新世界 | 大语言模型（LLMs）在 Amazon SageMaker 上的动手实践

在上一篇《GenerativeAI新世界：大型语言模型（LLMs）概述》中，我们一起探讨了大型语言模型的发展历史、语料来源、数据预处理流程策略、训练使用的网络架构、最新研究方向分析（AmazonTitan
亚马逊云开发者·2023-06-07 08:32

《人民日报》评论热点话题金句45| 结构化面试考点 | 申论规范化表达词 | 公务员国考省考申论素材积累（2022年9月23日

参考语料群众利益无小事。群众的一件件“小事”，是构成国家、集体“大事”的“细胞”，小的“细胞”健康，大的“肌体”才会充满生机活力。
47fed7735c2d·2023-06-07 02:27

Generative AI 新世界 | 大语言模型（LLMs）在 Amazon SageMaker 上的动手实践

在上一篇《GenerativeAI新世界：大型语言模型（LLMs）概述》中，我们一起探讨了大型语言模型的发展历史、语料来源、数据预处理流程策略、训练使用的网络架构、最新研究方向分析（AmazonTitan
·2023-06-07 02:03

实现LDA主题模型分析网购满意度数据|附代码数据

研究人员对各大电商平台海量用户的评价数据进行分析，得出智能门锁剁手攻略语义透镜顾客满意度和关注点我们对于评价数据进行LDA建模，就是从语料库中挖掘出不同主题并进行分析，换言之，LDA提供了一种较为方便地量化研究主题的机器学习方法
·2023-06-06 22:23

通俗易懂的ChatGPT的原理简介

其基本原理是通过训练大规模语料库中的数据，生成模型，从而实现自然语言处理的任务。本文着重介绍了ChatGPT的训练方法和应用场景，并提到了一些面临的挑战和问题。
qq_41771998·2023-06-06 21:34

embedding之word2vec

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。那么它是如何帮助我们做自然语言处理呢？
不可能打工·2023-04-21 20:34

收藏丨20个中文语料数据集，含数学考试、公务员考题、医患对话等

#要想训练出具有中文语境特色的大语言模型，中文语料数据必不可少，今天给大家分享20个中文语料数据集，欢迎转发、分享，催更下一期No.1Math23K(Math23KforMathWordProblemSolving
OpenDataLab·2023-04-21 13:06

Chat GPT模型GPT-3学习

什么是ChatGPTGPT全称GenerativePre-trainedTransformer，是一种预训练语言模型，旨在通过学习大量语料来生成合理的文本。
AIGCer·2023-04-21 10:47

企业不会用、不敢用AIGC+ 服务怎么办，不妨试一下它？

AIGC是指人工智能通用语言模型(ArtificialGeneralLanguageModel),是一种具有极高自然语言理解能力的人工智能模型,其通过大规模语料库训练,能够像人类一样自然地理解和生成语言
洋葱1702·2023-04-21 05:43

【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目 统计语言模型之HMM初步学习总结

目录语法模型二元语法模型HMM（隐马尔可夫模型）概率计算引入概念初始概率向量状态转移概率矩阵观测概率矩阵（也称发射概率矩阵）语法模型语料库文本：研究生命起源研究生命题大纲研究生招生信息网计算3个句子的概率
鹏晓星·2023-04-20 20:32

事件抽取综述

事件抽取综述1基本概念1.1事件1.2事件抽取2国内外研究现状3语料库3.1ACE事件语料库3.2MUC语料库3.3TDT语料库3.4KBP语料库3.5ECB语料库3.6CEC语料库4典型方法4.1限定域事件抽取
凡心curry·2023-04-20 17:15

知识图谱（七）——事件抽取

文章目录一、任务概述1、事件的定义2、事件抽取的定义3、相关评测和语料资源二、限定域事件抽取1、基于模式匹配的事件抽取方法1）有监督的事件模式匹配2）弱监督的事件模式匹配3）优缺点：2、基于机器学习的事件抽取方法
__盛夏光年__·2023-04-20 17:44

分享一个国内使用的ChatGPT的方法

它是由OpenAI公司开发的一种语言模型，可以在大规模语料库上进行无监督学习，并生成高质量的自然语言文本。ChatGPT可以用于多种应用场景，例如智能客服、语音助手、聊天机器人等。
書盡·2023-04-20 06:23

词的表示方法——词向量

缺点：（1）纬度灾难，有多少个词语我们的维度就多大，对于庞大的语料库来说，存储量和计算量都
我是小蔡呀～～～·2023-04-20 00:38

BERT的输入输出是什么？

从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP
诚诚程程成·2023-04-20 00:56

二分类负采样方法

负采样的采样方法：抽取负例：让语料库中常出现的单词易被抽到，不常出现的单词难被抽到。基于频
算法技术博客·2023-04-19 18:31

采用推理的方法认知单词、CBOW模型

需要生成所有单词的共现矩阵，再对这个矩阵进行SVD，以获得密集向量，如果语料库处理的单词数量非常大，将需要大量的计算资源和时间。
算法技术博客·2023-04-19 18:31
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他