语料

BERT通过堆叠Transformer编码器

BERT是一种基于Transformer架构的预训练模型，它通过在大规模文本语料上进行无监督的
dream_home8407·2024-01-07 02:31

4.1 文本预处理

文本预处理1.1认识文本预处理学习目标:了解什么是文本预处理及其作用.了解文本预处理中包含的主要环节.文本预处理及其作用:文本语料在输送给模型前一般需要一系列的预处理工作,才能符合模型输入的要求,如:将文本转化成模型需要的张量
迟耿耿·2024-01-06 19:05

爬取各大新闻网站所有新闻

想利用word2vec训练一个同义词模型，准备采用新闻数据做为语料库。
John Stones·2024-01-05 22:51

自然语言处理 one-hot编码

one-hot编码的优劣势：优势：操作简单，容易理解.劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.importtorchfrompyhanlpimport*fromsklearn.preprocessingimportOneHotEncoderimportnumpyasnpcontent
<编程路上>·2024-01-05 22:54

基于维基百科英文语料的Word2Vec模型使用

关于这方面的知识还没有弄透彻模型使用的常用方法有（见博文）：另外还可参看gensim.Word2Vec的官方文档记在这里，以免后面忘掉了
MilkLeong·2024-01-05 11:13

一步步解析ChatGPT：从头训练或者微调GPT模型，实现差异化AI助手的定制

然而，这些语料库都是开源，因而对应模型训练的结果也都是一样的。那么，我们该如何从头训练或者微调自己的模型，生成极具个性化的AI助手或者写作助手呢？
码说AI·2024-01-05 10:22

LLM 幻觉现象及 RAG 解决方案

大模型的回答有编造成分或错误.比如问“tensorflow1.12版本有xxx这个api么”,模型回答“有”,其实没有.原因训练语料质量低,本身有错误答案存在.LLM的训练并不关注“事实是否正确”,自然不能保证生成答案一定符合事实
yichudu·2024-01-04 16:45

自然语言基础: 文本标记算法 (Tokenization Algorithm) : Byte-Pair Encoding (BPE) 和 WordPiece

1.算法a.CorupsCorpus（语料库）是指收集和组织的一系列文本的集合。它可以是不同类型的
disanda·2024-01-04 16:12

Byte-Pair Encoding（BPE）

BPE的基本思想是通过迭代地合并文本语料库中最频繁的相邻字节或字符对，直到达到预定的词汇大
白马负金羁·2024-01-04 16:39

如何读取csv文件内容建立映射表（基于pandas）

前言在进行NLP模型训练的时候，训练数据集经常是被保存在csv文件中，我们训练模型的时候就需要从csv文件中取数据同时，一些公司的大语言模型的语料来源，往往是通过爬虫等技术从网路上爬取下来的，数据的训练的标签
草莓橙子碗·2024-01-04 11:54

介绍图灵机器人php API

截止到目前为止，平台已经积累了近百亿条语料库和PB级别的基础数据，经测试平台的整体准确度已经达到90%以上，而且平台已经应用于HTC的小Hi语音助手、中国电信的微信平台、海尔的智能家电控制系统等，广受企业的好评
梦回丶故里·2024-01-03 15:43

Word2Vec（词向量）---机器学习

Word2Vec是一种用于将词语映射到向量空间的词嵌入技术，它通过学习大量文本语料库中的词语上下文关系，将每个词语表示为高维向量。这一表示形式使得具有相似语境的词语在向量空间中更加接近。
普通研究者·2024-01-03 13:12

NLP基础——TF-IDF

该方法用于评估一个词语（word）对于一个文件集（document）或一个语料库中的其中一份文件的重要程度。它是一种计算单词在文档集合中的分布情况的统计方法。
小风_·2024-01-03 11:55

大语言模型LLM微调技术：Prompt Tuning

典型代表是BERT、GPT、XLNet等；第二阶段：逐步扩大模型参数和训练语料规模，探索不同类型的架构。典型代表是BART、T5、GPT-3等
智慧医疗探索者·2024-01-03 08:57

机器学习-基于Word2vec搜狐新闻文本分类实验

Word2vec可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应用研究提供了新的工具。
septnancye·2024-01-03 08:24

GPT降重技术原理与应用

用指令也是一个繁琐的工作，其实可以用训练好的工具：二、GPT降重技术的基本原理GPT降重技术基于自然语言处理（NLP）和深度学习技术，通过训练大量的语料库来学习文章的结构、语义和表达方式。
chatgpt001·2024-01-03 06:54

大语言模型（LLM）框架及微调 (Fine Tuning)

这些模型通常使用深度学习方法，在巨大的文本语料库上进行训练，以学习语言的各种结构、规则和特征。LLM在自然语言处理（NLP）任务中表现出色，如机器翻译、文本生成、问题回答等。
m0_黎明·2024-01-03 01:06

2022-02-21：NlP处理基本思路

1.获取预料预料是nlp研究的内容，通常使用文本集合作为语料库，预料的来源分为3种：(1)已有的预料----积累的文档。(2)下载现有的语料---搜狗语料，人民日报语料等。(3)使用爬虫抓取。
AllTimeStudy·2024-01-03 00:07

day4--GPT/GPT2.0

目录GPTGPT训练的两个阶段：GPT的架构图：自注意力机制：GPT-2GPT-2的架构图：GPTGPT训练的两个阶段：第一个阶段是Pre-training阶段，主要利用大型语料库完成非监督学习；第二阶段是
呆呆有库·2024-01-02 14:13

了解自然语言处理NLP-语料库和预处理

一.获取语料获取语料本质上就是制作需要训练模型的数据集，所有的NLP问题都是从语料中学习到数据分布的规律。1.1语料的分类单语料：只有句子和句子的集合。平行语料：句子1V1对应的关系。
Algorithm_Engineer_·2024-01-01 18:48

【NLP论文】03 基于 jiagu 的情感分析

目录1基于Jiagu的情感分析1.1Jiagu介绍1.2情感分析计算①语料②Jiagu计算③xx关键词匹配2XX评价体系结合情感
尹煜·2024-01-01 16:33

共情关注

优化大脑的亲子沟通方式——3T原则一、Tunein（共情关注）我们已经知道，一个语料丰富的语言环境对于婴儿和儿童大脑的发育是至关重要的。
MCH朴·2024-01-01 00:56

【干货】口语PART 3：Environment 主题7.5分语料

1biodegradable能进行生物降解的Theycandesignandmanufacturebiodegradablepackagingfromwaste,paper,agricultural,eventextilewaste.他们能从**中设计并生产能进行生物降解的包装。这些**包括废止，作物甚至纺织废料。2disposable用完即可丢弃的Theyusethenewonetoreplac
粥粥雅思·2023-12-31 09:29

Fuzz工具对比及使用体验

什么是FUZZ模糊测试（FuzzTesting）是一种自动化的测试方法，通过输入大量的随机、无效或异常数据（称为“语料集”或“测试输入”）来评估目标程序的稳定性和安全性。
INSBUG·2023-12-30 13:25

T5 PEGASUS：开源一个中文生成式预训练模型-摘要生成

诚然，mT5做中文生成任务也是一个可用的方案，但缺乏完全由中文语料训练出来模型总感觉有点别扭，于是决心要搞一个出来。
javastart·2023-12-30 11:44

GPT-3: Language Models are Few-Shot Learners

GPT-3论文数据集CommonCrawl：文章通过高质量参考语料库对CommonCrawl数据集进行了过滤，并通过模糊去重对文档进行去重，且增加了高质量参考语料库以增加文本的多样性。
u013308709·2023-12-30 06:31

逝者安息，向前同行 | Brochure Broker特辑：美国驻华使团的一封公开信

R.I.P.今天为大家选择的语料是4月3日由美国驻华使团在互联网上的多个平台发表的中英双语的公开信《向前同行》，以对中国在抗疫方面作出的贡献表达感谢，并期望为人类美好健康的未来一起携手同行。
冷萃选手小刘·2023-12-30 02:59

使用ChatGLM3自定义工具实现大模型查询MySQL数据库

什么是工具调用大模型虽然强大，但是由于训练的时间和语料限制。大模型通常会存在以下问题：只能获取训练数据集中有的事件和内容，这意味着大模型不具备访问最新资料的能力。
我在北国不背锅·2023-12-29 20:19

GPT翻译水平探究：人工智能的语言艺术

一、GPT翻译水平的现状GPT模型通过大量的语料库学习，能够理解和生成多种语言的文本。在翻译方面，GPT模
Blind.894·2023-12-29 14:13

搭建简单的GPT聊天机器人

目录第一步进行语料库读取、文本预处理，完成data_utls.py第二步进行Seq2Seq模型的构建，完成Seq2Seq.py第三步进行模型参数设置、加载词典和数据、数据准备、GPU设置、构建优化器和损失函数
挽风起苍岚·2023-12-29 14:38

动手做个DialoGPT：生成式多轮对话模型

文|苏剑林编|兔子酱前段时间刷Arixv的时候，发现清华大学开源了一个大规模的中文闲聊语料库LCCC，从开源的文件上来看，这可能是目前开源的数量最大、质量最好的闲聊语料库了，而且还包含了部分多轮对话聊天
夕小瑶·2023-12-29 14:20

关键词抽取模型

是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数呈正比地增加，但同时也会
士416·2023-12-29 14:18

《人民日报》公考申论面试热点素材选编13（2022年8月21日）

参考语料“红色基因就是要传承”，革命传统教育要从娃娃抓起。青少年阶段是人生的“拔节孕穗期”，通过革命传统教育，厚植爱党、爱国、爱社会主义的情感，有利于引导
47fed7735c2d·2023-12-29 13:02

SpaCy 和 Flask API 构建 Python 命名实体自动提取器

因此，数据科学团队将能够在语料库中看到所有人员、公司、地点等名称的结构化表示，可作为进一步分析和调查的出发点。在自然语言工具包（NLTK）和SpaCy构建Python命名实体识
亚图跨际·2023-12-27 14:52

解决gensim训练时出现killed问题

因为从中文维基百科中取得的语料库大约有11G，在使用gensim进行训练时，经常出现killed的问题，最后想到把语料库文件进行切割，然后再训练。
一个爱折腾的小人物·2023-12-27 06:18

2024年度AI大模型趋势解读

文章目录2024年度AI大模型趋势解读写在前面大模型时代大模型未来发展趋势总结2024年度AI大模型趋势解读写在前面大模型指具备超大规模预训练语料、拥有超千亿规模模型参数的深度学习模型。
落798.·2023-12-26 23:36

谷歌大模型承认自己是“百度文心一言”，网友炸锅了！

Datawhale分享大模型：Gemini，编辑：量子位谷歌Gemini中文语料疑似来自文心一言？？？
Datawhale·2023-12-23 16:47

2024 年 8 个顶级开源 LLM（大语言模型）

它们之所以被称为“大”，是因为它们有数亿甚至数十亿个参数，这些参数是使用大量文本数据语料库预先训练的。LLM是流行且广泛使用的聊天机器人（如ChatGPT和GoogleBard）的基础模型。
yule.yang·2023-12-22 07:28

NLP入门- 分布语义学（Distributional Semantics）

从语料库中直接学习单词含义，这个领域也被称为分布语义学（DistributionalSemantics）分布假设：可以通过其周围的上下文单词来了解一个目标单词共现文档通常指示了主题（文档（document
noobiee·2023-12-22 05:55

人工智能大模型互相“薅羊毛”，AI时代的数据侵权问题何去何从？

近期，字节跳动和OpenAI的争议以及谷歌Gemini使用百度文心一言进行中文语料训练等事件引发了行业关注。
喜好儿aigc·2023-12-21 22:06

Gemini自曝中文用百度文心一言训练，网友看呆：大公司互薅羊毛？？

谷歌Gemini中文语料疑似来自文心一言？？？先是有读者向我们爆料：在谷歌VertexAI平台使用该模型进行中文对话时，Gemini-Pro直接表示自己是百度语言大模型。
智云研·2023-12-20 18:19

复旦团队提出思维交流框架EoT，由CoT到EoT，可跨模型通信，表现更出色

大型语言模型（LLM）通过利用庞大的训练语料和强大的计算资源，在众多NLP任务中表现卓越。然而，在理解和进行推理方面，这些模型仍显得相对薄弱，仅依靠增加模型的大小无法解决这一问题。
夕小瑶·2023-12-20 13:44

libFuzzer-workshop学习

fuzzer会跟踪哪些代码区域已经测试过，然后在输入数据的语料库上进行变异，来使代码覆盖率最大化。代码覆盖率的信息由LLVM的SanitizerC
Nevv·2023-12-20 10:30

Kyligence 发布数据和分析领域垂直大模型司南（Compass）

基于多年数据和分析领域的实践积累和全行业指标洞察的海量语料，Kyligence司南大模型已具备自然语言对话分析、指标搜索与推荐、自动化数据洞察、KPI评估、智能决策建议等核心能力。
Kyligence·2023-12-19 21:08

《人民日报》评论热点话题金句41| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月18日）

参考语料在各行业、各领域广阔的科技前沿，都需要
47fed7735c2d·2023-12-18 17:44

【GPT4技术揭秘】GPT-4 Architecture,Infrastructure,Training Dataset,Costs,Vision,MoE

群友分享了总结内容如下：13Ttokens预训练语料（llama和palm是1.4T）MoE，16个110B大的模型（更多的experts理论上效果更好但工程难度更高(内存带宽要求高)，更难收
易寻fly·2023-12-18 12:49

机器学习之特征提取 TF-IDF

一、概念“词频－逆向文件频率”（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。词语由t表示，文档由d表示，语料库由D表示。
辣椒种子·2023-12-18 04:15

SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析

如果有什么需要改进的地方还请大佬指出⛺️作者简介：大家好，我是青衿☁️博客首页：CSDN主页放风讲故事每日一句：努力一点，优秀一点目录文章目录**目录**一、说明二、自然语言处理简介三、Hanlp文本分类与情感分析基本概念语料库用
放风讲故事·2023-12-18 03:45

2018年度十大网络用语出炉

“2018年十大网络用语”是基于国家语言资源监测语料库（网络媒体部分），采用“以智能信息处理技术为主，以人工后期微调为辅”的方式提取获得的。
江湖人称王大大·2023-12-17 04:19

大语言模型：开启自然语言处理新纪元

1.简介大语言模型是基于深度学习和变压器（Transformer）架构的巨型神经网络，通过在庞大的文本语料库上进行预训练，使其具备深刻的语言理解和生成能力。2.基本原理Transformer架构：
鳗小鱼·2023-12-17 02:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他