语料库

大型语言模型构建指南：从头开始构建大语言模型《Build a Large Language Model (From Scratch)》免费PDF

你将从最初的设计和创建到通用语料库的预训练，一直到特定任
AGI大模型学习·2025-01-30 05:34

书籍推荐：《从零构建大型语言模型》附免费PDF下载

你将从最初的设计和创建到通用语料库的预训练，一直到特定任
大模型入门学习·2025-01-30 05:33

Qwen-VL论文解读

从Qwen-LM开始，我们通过精心设计的（i）视觉受体，（ii）输入-输出接口，（iii）3阶段训练管道，以及（iv）多语言多模态清洗语料库，赋予其视觉能力。
dream_home8407·2025-01-29 09:10

# 第一章：认识chatgpt

基于大规模语料库
出门喝奶茶·2025-01-28 09:27

python 语音识别

在python中训练一个语音识别系统主要需要以下几个步骤：-语料库准备-数据预处理-特征提取-训练模型第一部分：语料库的准备什么是语料库？语料库长什么样？
柚梓sir·2025-01-26 19:01

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有
绒绒毛毛雨·2025-01-26 01:35

基于Python的自然语言处理系列（2）：Word2Vec（负采样）

负采样是一种优化Skip-gram模型训练效率的技术，它能在大规模语料库中显著减少计算复杂度。接下来，我们将通过详细的代码实现和理论讲解，帮助你理解负采样的工作原理及其在Word2Vec中的应用。
会飞的Anthony·2025-01-25 15:51

用Python实现概率语言模型（2-元语法模型）

首先构造一个语料库，由6句话组成，每句话3个字。
peanutwang·2025-01-22 01:16

告诉你为什么数据要取对数

例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。
LensonYuan·2025-01-18 08:10

【笔记】自然语言处理NLP---概论

自然语言处理概论1.1自然语言处理研究的意义、历史与现状1.1.1自然语言的特点1.1.2自然语言处理研究的意义1.1.3国外研究现状1.2NLP的方法、特点和规律1.2.1理性主义与经验主义1.2.2语料库语言学
xhanZ·2024-09-12 17:10

大模型书籍推荐：从头开始构建一个大型语言模型（含PDF免费）《Build a Large Language Model (From Scratch)》

你将从最初的设计和创建到通用语料库的预训练，一直到特定任
AI女王·2024-09-12 15:58

【拥抱AI】浅谈Prompt的书写规范及要点

Prompt的工作原理是通过建立相应的语料库和语义解析模型，将自然语言转换为机器可识别的指令。在大模型时代，Prompt的使用尤为重要，因为它可以帮助模型更好地理解用户的意图并
奔跑草-·2024-09-12 13:19

基于Langchain的大模型RAG技术介绍（附示例代码）

这些模型在大小和性能上各有所长，但大多数都是在通用语料库上进行训练的，因此它们只具备通用知识，对于专业领域的知识了解较少。
赵放-AI·2024-09-11 19:16

RAFT: Adapting Language Model to Domain Specific RAG

RAFT：使语言模型适应特定领域的RAG摘要1引言2LLM用于开卷考试3RAFT4评估5RAFT推广到Top-KRAG6相关工作7结论摘要在文本数据的大型语料库上预训练大型语言模型（LLM）现在是一种标准范式
UnknownBody·2024-09-07 21:43

【大模型系列篇】预训练模型：BERT & GPT

该模型是在大量文本语料库上结合无监督和监督学习进行训练的。BERT的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。
木亦汐丫·2024-09-06 18:13

NLP从零开始------17.文本中阶处理之序列到序列模型（2）

机器翻译领域较为有名的平行语料库来自机器翻译研讨会(workshoponmachinetrans
人生百态，人生如梦·2024-09-04 22:20

graphrag论文精读

然而，RAG方法在处理涉及整个文本语料库的全局问题时效果不佳，比如“数据集中主要的主题是什么？”这些问题本质上是一个面向查询的总结任
Ramos_zl·2024-08-30 09:48

FrameNet介绍——从同义词语义知识库到框架语义知识库

FrameNet是一个为期三年的项目，获得了NSF（美国国家科学基金会）的支持，专注于基于语料库的计算词典编纂。
禾风wyh·2024-08-30 07:35

语料清洗软件工具测评推荐

以下是对之前提到的几个工具的简要评估，以帮助你做出选择：MicrosoftWord：如果你已经熟悉Word的操作，并且需要处理的语料库规模不大，那么Word可能是一个很好的选择。
热爱分享的博士僧·2024-08-29 23:11

常见的NLP处理框架介绍！

它提供了丰富的资源，包括文本处理、语料库、分类、标记、解析、语义推理
weixin_54503231·2024-08-27 09:21

ChatGPT：智能论文写作指南，让您成为写作高手

通过训练大量的语料库
AI臻蚌·2024-03-27 01:48

汉语教学备课工具推荐

BCC语料库网站地址：http://bcc.blcu.edu.cn150亿字的超大容量，堪称全面反映当前社会语言生活的大规模语料库。既有书面语体，又有口语体语料。
Mil_Pasos·2024-02-27 14:15

认知篇-剖析LLM基座

在众多PLM中，基于大规模语料库的预训练语言模型（LargeLanguageModel，LLM）以其强大的语言生成和理解能力，受到了广泛的关注。本文将深入探讨L
·2024-02-20 18:29

openai公司的chatgpt-3.5参数库内还未增加sora的语料信息

看来，sora的语料库信息还未来得及加入chatgpt3.5的训练模型中。如图，chatgpt3.5回答了，说它不知道。
yrldjsbk·2024-02-20 17:46

【摸鱼分享】2021年度网络用语大盘点！里面有你今年的关键词吗？

收录方法“2021年度十大网络用语”是基于国家语言资源监测语料库（网络媒体部分），采用“以智能信息处理技术为主，兼顾领域专家意见和相关站点收录情况”的方式获得的。
摸鱼人日历·2024-02-20 03:55

基于 InternLM 和 LangChain 搭建你的知识库(三)

这些模型通常在大型文本语料库上训练，以学习语言的广泛特征和结构。特定任务的数据：接着，收集和准备针对特
骆驼穿针眼·2024-02-19 12:41

gpt4国内怎么用 gpt4和chatGPT的区别是什么

GPT的工作原理是通过先前的大规模语料库进行训练，从而使模型能够理解语言的结构和上下文。这使得GPT能够以人类般的方式生成自然语言文本，回答问题，进行对话等。大家好，我
氧惠佣金真的高·2024-02-13 07:24

DL4J中文文档/DataVec/读取器

除了数据集中的单个条目之外，阅读器的用处包括：如果想要在语料库上训练文本生成器，或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办？读取器实现对于复杂的文件类型或分布式存储机制是有用的。
hello风一样的男子·2024-02-12 22:18

神经语言程式(NLP)项目的15 个开源训练数据集

用于聊天机器人训练的问答数据集问题-答案数据集：该语料库包括维基百科文章、从中手动生成的事实问题以及这些问题的手动生成的答案，用于学术研
suoge223·2024-02-12 09:54

LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践

1.1检索组件：目的：检索组件的主要功能是响应查询或提示，从大型数据库或语料库中提取相关文档或信
wshzd·2024-02-11 06:03

python使用nltk进行中文语料库的词频分布统计

文章目录问题描述构建语料库统计字数统计词频分布问题描述根据给定的语料库，统计其中共包含多少字、平均每个词使用了多少次以及常用词的分布以及累计分布情况。
Love _YourSelf_CS·2024-02-09 02:19

python nltk中文_NLTK中文词性标注

比如标注功能,它自身提供了带标注的中文语库(繁体语料库sinica_treebank).下面来看看怎样通过数据训练来实现中文词性自动标注.可以利用它来标注中本，也可
weixin_39560064·2024-02-09 02:49

Python与自然语言处理库Gensim实战

它能够自动化训练出一个文本语料库，然后用该语料库来训练出一个词向量模型。在语料库中，每个语料库都是由一个个文档组成，每个文档则是由若干个单词组成。
心梓知识·2024-02-08 11:17

使用ChatGpt和文心一言辅助文章创作

在使用过程中，感觉文心的中文能力更强一些，主要体现在：1语料库更大，比如对水浒传了解的更多2对中文的理解更细致一些。所以大部分都是使用文心一言进行辅助文章创作。
skywalk8163·2024-02-08 11:46

NLP_Seq2Seq编码器-解码器架构

文章目录Seq2Seq架构构建简单Seq2Seq架构1.构建实验语料库和词汇表2.生成Seq2Seq训练数据3.定义编码器和解码器类4.定义Seq2Seq架构5.训练Seq2Seq架构6.测试Seq2Seq
you_are_my_sunshine*·2024-02-08 09:53

NLP_神经概率语言模型(NPLM)

文章目录NPLM的起源NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的
you_are_my_sunshine*·2024-02-07 13:20

NLP_Bag-Of-Words(词袋模型)

文章目录词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度词袋模型小结词袋模型词袋模型是一种简单的文本表示方法，也是自然语言处理的一个经典模型
you_are_my_sunshine*·2024-02-06 10:48

NLP_词的向量表示Word2Vec 和 Embedding

我们把语料库中的词和某些上下文信息，都“嵌入”了向量表示中。将词映射到向量空间时，会将这个词和它周围的一些词语一起学习，这就
you_are_my_sunshine*·2024-02-06 10:10

GPT原始论文：Improving Language Understanding by Generative Pre-Training论文翻译

尽管大量未标注的文本语料库很丰富，但用于学习这些特定任务的标注数据却很稀缺，这使得基于区分性训练的模型难以充分发挥作用。
iKang_dlut·2024-02-05 15:15

NLTK：一个先进的用来处理自然语言数据的Python程序。

它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器和一个活跃的讨论论坛
遗忘_eea2·2024-02-05 13:36

文本挖掘HW3

importosimportos.pathimportcodecsimportpandasaspdimportnumpyasnpfilePaths=[]fileContents=[]a=os.walk("C:/Users/dell/Desktop/datamining/2.1+语料库
在做算法的巨巨·2024-02-05 11:55

【使用 Python 进行 NLP】 第 2 部分 NLTK

它内置了50多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推理。
无水先生·2024-02-04 12:11

一些概念

1.一个文本集合称为语料库（Corpus），当有几个这样的文本集合的时候，我们称之为语料库集合(Corpora)。2.中文汉语有搜狗语料、人民日报语料。
半大人·2024-02-04 11:01

2021-04-12

#11-自然语言与编程语言的比较)-[1.2自然语言处理的层次](#12-自然语言处理的层次)-[1.3自然语言处理的流派](#13-自然语言处理的流派)-[1.4机器学习](#14-机器学习)-[1.5语料库
零一安·2024-02-03 20:43

2018-7-28 托福基础写作

Corpus:BNCCOCA百度搜索语料库的用法，用处特别多TheRightWordOrganization组织统一第一段：直接支持第二段：直接支持用用加粗字体表示间接支持为正常字体递进1.段与段之间过渡词
L7_526d·2024-02-02 05:04

YAYI-UIE: 一个用于通用信息提取的聊天增强的指令微调框架

3、主要方法：两步指令微调：第一步：在构建的对话语料库上对基础LLM进行微调，以获得可以聊天的LLM：Ddialogue=instruct
Ly大可爱·2024-02-01 11:53

sklearn 计算 tfidf 得到每个词分数

fromsklearn.feature_extraction.textimportTfidfVectorizer#语料库可以换为其它同样形式的单词corpus=[list(range(-5,5)),list
小何才露尖尖角·2024-01-31 16:58

机器学习算法实现刑事案件文本分类

因此，通过收集法律与犯罪领域文本，构建起司法领域语料库，使用自然语言处理技术进行挖掘，实现文本分类，并利用机器学习等技术实现对法律案件的预测具有重要意义。
deleteeee·2024-01-30 08:23

DB-GPT: Empowering Database Interactions with Private Large Language Models 导读

其核心创新在于采用了私有化的LLM技术，在特定领域的语料库上进行微调，以确保用户隐私和数据安全的同时，获得最先进的LLM的好处。DB-GPT的架构包括一个新颖的知识
一只特蕉·2024-01-30 06:04

TF-IDF 找出文章关键词

一个词在文章中出现的次数词频标准化1：按占比处理TF=某个词在文章中出现的次数/文章的总词数词频标准化2：按最大值处理TF=某个词在文章中出现的次数/该文出现次数最多的词的出现次数IDF（反文档频率）：log(语料库的文档总数
Logan_addoil·2024-01-29 20:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他