语料

用TF-IDF处理文本数据

诸如“the”、“will”和“you”等被称为停顿词的词在语料库中出现得最多，但意义不大。相反，那些罕见的词实际上是那些有助于区分数据的词，而且更有分量。TF-IDF简介TF-
沉住气CD·2024-01-12 05:49

rasa算法_（十八）基于RASA开始中文机器人实现机制

机器人管理概述框架是多租户SAAS系统，每个用户可以创建多个机器人，每个机器人关联独立的语料库，机器人能力，话术流程，在RASA中对应一个RASA运行实例。
我读过书不要骗我·2024-01-11 23:26

SFT会改善LLM性能，RLHF可能会损害性能

SFT可以提高性能的原因有几个：领域自适应：预训练的语言模型通常在大规模通用语料库上进行训练，而SFT可以通过在特定领域的数据上微调模型，使其更好地适应该领域的特定模式、术语和上下文。
小草cys·2024-01-11 19:26

中国科学院大学 移动互联网技术2018年原题 大题最后一题

问题：假设我们现在有一个语料库如下，其中是句首标记，是句尾标记：yesnonononoyesnononoyesyesyesno下面利用trigram模型来计算这个句子出现的概率：yesnonoyes
UCASXS·2024-01-11 05:43

免费英-挪平行语料赠送啦！

因为工作的原因业余时间整理出5W英语-挪威语平行语料，现免费赠送给各位NLP大佬，有意向的同学麻烦私信我获取！希望大家多多交流共同进步！
AONDATA·2024-01-10 23:34

TF-IDF（Term Frequency-Inverse Document Frequency）算法详解

它可以定义为计算一个词在一系列或语料库中与文本的相关性。其含义与词在文本中出现的次数成比例增加，但受语料库（数据集）
EulerBlind·2024-01-10 19:37

自然语言处理之文本表示（二）

实例假设我们的语料库如下：```荣荣爱玩游戏垃圾该分类了我爱自然语言处理```经过tokenization化之后得到如下的`vocabulary`字典```{"荣荣":0,"爱":1,"玩游戏":2,"
fighting_7c21·2024-01-10 08:54

N-gram 分词

github地址数据说明本实验使用的语料是人民日报1998年中文标注的语料库，19484条。在处理过程中，按照训练集:测试集=9:1的比例进行随机划分。数据预
Silence_Dong·2024-01-09 16:23

人而不学，其犹正墙面而立。

——《尚书孔传》节选【释义·点评】《尚书孔传》是《尚书》的注疏语料。“人而不学，其犹正墙面而立”是《尚书孔传》对《尚书》中“不学墙面”一语的注疏。
钩钩手·2024-01-09 15:44

ERNIE: Enhanced Representation through Knowledge Integration论文笔记

maskPhrase-LevelMasking：短语级别的maskEntity-LevelMasking：实体级别的mask2.HeterogenereousCorpusPre-training加入更多语料
大可爱学习·2024-01-09 15:19

用通俗易懂的方式讲解：结合检索和重排序模型，改善大模型 RAG 效果明显

许多这类应用都采用了用于检索增强生成（RAG）的标准技术栈，其中包括以下关键步骤：向量存储库：使用向量存储库来存储非结构化文档，即知识语料库。
Python算法实战·2024-01-08 11:52

cs244n笔记（二）

这个矩阵包含了所有的中心词向量，从语料库的第一个窗口开始取出第一个词向量，代入上图的式子，然后最大化这个概率式值，然后为了所有这些不同的词取词向量，下一步是计算中心词(into)和其他词的概率。
周老师元亨利贞文化教育·2024-01-08 06:40

深圳内推 | 腾讯大数据平台混元AIGC团队招聘文生3D方向算法实习生

腾讯腾讯混元大模型是由腾讯全链路自研的实用级大模型，拥有超千亿参数规模、预训练语料超2万亿tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。
PaperWeekly·2024-01-08 02:08

第一章：文字和语言VS数字和信息

概念与主题：通信的原理和信息传播的模型（信源）编码和最短编码解码的规则，语法聚类校验位双语对照文本，语料库，机器翻译多义性和利用上下午消除歧义性image.png信息的冗余是信息安全的保障。
dreampai·2024-01-07 18:14

数据清洗：用一行Python代码去掉文本中的各种符号

前言在搜集了很多文本语料之后，会开始漫长的数据清洗过程，通常要不断迭代。1.问题描述有些文本数据中，会包含一些特殊符号。猜想可能是从某些富文本编辑器中直接粘贴到了网页。
coder1479·2024-01-07 10:27

《军神》教学中的“学程”组建 ——一种“寻视”和“共在”，一种“烦忙”和“烦神”

任何存在都是在时间之内的存在，当然，语文教学中孩子也一定是一种时间之内的存在，孩子与孩子虽则存在于各自的位置，却同处于一个场所，又因为那手中的一本教材，或者正在经历的一个语料，而处于一种“共同寻视”的状态
宝应陈林·2024-01-07 03:26

BERT通过堆叠Transformer编码器

BERT是一种基于Transformer架构的预训练模型，它通过在大规模文本语料上进行无监督的
dream_home8407·2024-01-07 02:31

4.1 文本预处理

文本预处理1.1认识文本预处理学习目标:了解什么是文本预处理及其作用.了解文本预处理中包含的主要环节.文本预处理及其作用:文本语料在输送给模型前一般需要一系列的预处理工作,才能符合模型输入的要求,如:将文本转化成模型需要的张量
迟耿耿·2024-01-06 19:05

爬取各大新闻网站所有新闻

想利用word2vec训练一个同义词模型，准备采用新闻数据做为语料库。
John Stones·2024-01-05 22:51

自然语言处理 one-hot编码

one-hot编码的优劣势：优势：操作简单，容易理解.劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.importtorchfrompyhanlpimport*fromsklearn.preprocessingimportOneHotEncoderimportnumpyasnpcontent
<编程路上>·2024-01-05 22:54

基于维基百科英文语料的Word2Vec模型使用

关于这方面的知识还没有弄透彻模型使用的常用方法有（见博文）：另外还可参看gensim.Word2Vec的官方文档记在这里，以免后面忘掉了
MilkLeong·2024-01-05 11:13

一步步解析ChatGPT：从头训练或者微调GPT模型，实现差异化AI助手的定制

然而，这些语料库都是开源，因而对应模型训练的结果也都是一样的。那么，我们该如何从头训练或者微调自己的模型，生成极具个性化的AI助手或者写作助手呢？
码说AI·2024-01-05 10:22

LLM 幻觉现象及 RAG 解决方案

大模型的回答有编造成分或错误.比如问“tensorflow1.12版本有xxx这个api么”,模型回答“有”,其实没有.原因训练语料质量低,本身有错误答案存在.LLM的训练并不关注“事实是否正确”,自然不能保证生成答案一定符合事实
yichudu·2024-01-04 16:45

自然语言基础: 文本标记算法 (Tokenization Algorithm) : Byte-Pair Encoding (BPE) 和 WordPiece

1.算法a.CorupsCorpus（语料库）是指收集和组织的一系列文本的集合。它可以是不同类型的
disanda·2024-01-04 16:12

Byte-Pair Encoding（BPE）

BPE的基本思想是通过迭代地合并文本语料库中最频繁的相邻字节或字符对，直到达到预定的词汇大
白马负金羁·2024-01-04 16:39

如何读取csv文件内容建立映射表（基于pandas）

前言在进行NLP模型训练的时候，训练数据集经常是被保存在csv文件中，我们训练模型的时候就需要从csv文件中取数据同时，一些公司的大语言模型的语料来源，往往是通过爬虫等技术从网路上爬取下来的，数据的训练的标签
草莓橙子碗·2024-01-04 11:54

介绍图灵机器人php API

截止到目前为止，平台已经积累了近百亿条语料库和PB级别的基础数据，经测试平台的整体准确度已经达到90%以上，而且平台已经应用于HTC的小Hi语音助手、中国电信的微信平台、海尔的智能家电控制系统等，广受企业的好评
梦回丶故里·2024-01-03 15:43

Word2Vec（词向量）---机器学习

Word2Vec是一种用于将词语映射到向量空间的词嵌入技术，它通过学习大量文本语料库中的词语上下文关系，将每个词语表示为高维向量。这一表示形式使得具有相似语境的词语在向量空间中更加接近。
普通研究者·2024-01-03 13:12

NLP基础——TF-IDF

该方法用于评估一个词语（word）对于一个文件集（document）或一个语料库中的其中一份文件的重要程度。它是一种计算单词在文档集合中的分布情况的统计方法。
小风_·2024-01-03 11:55

大语言模型LLM微调技术：Prompt Tuning

典型代表是BERT、GPT、XLNet等；第二阶段：逐步扩大模型参数和训练语料规模，探索不同类型的架构。典型代表是BART、T5、GPT-3等
智慧医疗探索者·2024-01-03 08:57

机器学习-基于Word2vec搜狐新闻文本分类实验

Word2vec可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应用研究提供了新的工具。
septnancye·2024-01-03 08:24

GPT降重技术原理与应用

用指令也是一个繁琐的工作，其实可以用训练好的工具：二、GPT降重技术的基本原理GPT降重技术基于自然语言处理（NLP）和深度学习技术，通过训练大量的语料库来学习文章的结构、语义和表达方式。
chatgpt001·2024-01-03 06:54

大语言模型（LLM）框架及微调 (Fine Tuning)

这些模型通常使用深度学习方法，在巨大的文本语料库上进行训练，以学习语言的各种结构、规则和特征。LLM在自然语言处理（NLP）任务中表现出色，如机器翻译、文本生成、问题回答等。
m0_黎明·2024-01-03 01:06

2022-02-21：NlP处理基本思路

1.获取预料预料是nlp研究的内容，通常使用文本集合作为语料库，预料的来源分为3种：(1)已有的预料----积累的文档。(2)下载现有的语料---搜狗语料，人民日报语料等。(3)使用爬虫抓取。
AllTimeStudy·2024-01-03 00:07

day4--GPT/GPT2.0

目录GPTGPT训练的两个阶段：GPT的架构图：自注意力机制：GPT-2GPT-2的架构图：GPTGPT训练的两个阶段：第一个阶段是Pre-training阶段，主要利用大型语料库完成非监督学习；第二阶段是
呆呆有库·2024-01-02 14:13

了解自然语言处理NLP-语料库和预处理

一.获取语料获取语料本质上就是制作需要训练模型的数据集，所有的NLP问题都是从语料中学习到数据分布的规律。1.1语料的分类单语料：只有句子和句子的集合。平行语料：句子1V1对应的关系。
Algorithm_Engineer_·2024-01-01 18:48

【NLP论文】03 基于 jiagu 的情感分析

目录1基于Jiagu的情感分析1.1Jiagu介绍1.2情感分析计算①语料②Jiagu计算③xx关键词匹配2XX评价体系结合情感
尹煜·2024-01-01 16:33

共情关注

优化大脑的亲子沟通方式——3T原则一、Tunein（共情关注）我们已经知道，一个语料丰富的语言环境对于婴儿和儿童大脑的发育是至关重要的。
MCH朴·2024-01-01 00:56

【干货】口语PART 3：Environment 主题7.5分语料

1biodegradable能进行生物降解的Theycandesignandmanufacturebiodegradablepackagingfromwaste,paper,agricultural,eventextilewaste.他们能从**中设计并生产能进行生物降解的包装。这些**包括废止，作物甚至纺织废料。2disposable用完即可丢弃的Theyusethenewonetoreplac
粥粥雅思·2023-12-31 09:29

Fuzz工具对比及使用体验

什么是FUZZ模糊测试（FuzzTesting）是一种自动化的测试方法，通过输入大量的随机、无效或异常数据（称为“语料集”或“测试输入”）来评估目标程序的稳定性和安全性。
INSBUG·2023-12-30 13:25

T5 PEGASUS：开源一个中文生成式预训练模型-摘要生成

诚然，mT5做中文生成任务也是一个可用的方案，但缺乏完全由中文语料训练出来模型总感觉有点别扭，于是决心要搞一个出来。
javastart·2023-12-30 11:44

GPT-3: Language Models are Few-Shot Learners

GPT-3论文数据集CommonCrawl：文章通过高质量参考语料库对CommonCrawl数据集进行了过滤，并通过模糊去重对文档进行去重，且增加了高质量参考语料库以增加文本的多样性。
u013308709·2023-12-30 06:31

逝者安息，向前同行 | Brochure Broker特辑：美国驻华使团的一封公开信

R.I.P.今天为大家选择的语料是4月3日由美国驻华使团在互联网上的多个平台发表的中英双语的公开信《向前同行》，以对中国在抗疫方面作出的贡献表达感谢，并期望为人类美好健康的未来一起携手同行。
冷萃选手小刘·2023-12-30 02:59

使用ChatGLM3自定义工具实现大模型查询MySQL数据库

什么是工具调用大模型虽然强大，但是由于训练的时间和语料限制。大模型通常会存在以下问题：只能获取训练数据集中有的事件和内容，这意味着大模型不具备访问最新资料的能力。
我在北国不背锅·2023-12-29 20:19

GPT翻译水平探究：人工智能的语言艺术

一、GPT翻译水平的现状GPT模型通过大量的语料库学习，能够理解和生成多种语言的文本。在翻译方面，GPT模
Blind.894·2023-12-29 14:13

搭建简单的GPT聊天机器人

目录第一步进行语料库读取、文本预处理，完成data_utls.py第二步进行Seq2Seq模型的构建，完成Seq2Seq.py第三步进行模型参数设置、加载词典和数据、数据准备、GPU设置、构建优化器和损失函数
挽风起苍岚·2023-12-29 14:38

动手做个DialoGPT：生成式多轮对话模型

文|苏剑林编|兔子酱前段时间刷Arixv的时候，发现清华大学开源了一个大规模的中文闲聊语料库LCCC，从开源的文件上来看，这可能是目前开源的数量最大、质量最好的闲聊语料库了，而且还包含了部分多轮对话聊天
夕小瑶·2023-12-29 14:20

关键词抽取模型

是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数呈正比地增加，但同时也会
士416·2023-12-29 14:18

《人民日报》公考申论面试热点素材选编13（2022年8月21日）

参考语料“红色基因就是要传承”，革命传统教育要从娃娃抓起。青少年阶段是人生的“拔节孕穗期”，通过革命传统教育，厚植爱党、爱国、爱社会主义的情感，有利于引导
47fed7735c2d·2023-12-29 13:02

SpaCy 和 Flask API 构建 Python 命名实体自动提取器

因此，数据科学团队将能够在语料库中看到所有人员、公司、地点等名称的结构化表示，可作为进一步分析和调查的出发点。在自然语言工具包（NLTK）和SpaCy构建Python命名实体识
亚图跨际·2023-12-27 14:52
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他