语料

基于多种CNN模型在清华新闻语料分类效果上的对比

该实验项目目录如图：1、模型1.1.TextCNN#coding:UTF-8importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimportnumpyasnpclassConfig(object):"""配置参数"""def__init__(self,dataset,embedding):self.model_name='TextCNN
伪_装·2024-01-31 18:22

sklearn 计算 tfidf 得到每个词分数

fromsklearn.feature_extraction.textimportTfidfVectorizer#语料库可以换为其它同样形式的单词corpus=[list(range(-5,5)),list
小何才露尖尖角·2024-01-31 16:58

基于BiLSTM-CRF对清华语料文本进行分类

安装TorchCRF!pipinstallTorchCRF==1.0.6构建BiLSTM-CRF#encoding:utf-8importtorchimporttorch.nnasnnfromTorchCRFimportCRFfromtorch.utils.dataimportDatasetfromsklearn.model_selectionimporttrain_test_splitimpor
伪_装·2024-01-31 07:49

TensorFlow2实战-系列教程10：RNN文本分类2

TensorFlow2实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传4、构建语料表构建语料表，基于词频来进行统计
机器学习杨卓越·2024-01-31 07:18

从零训练模型：BERT模型【任务：①MLM（掩码语言模型）、②NSP（下一句预测）】

想要继续训练BERT的话首先需要弄懂NSP和MLM这两个预训练任务的原理，然后再根据这两个任务来通过自己的语料从头训练一个BERT模型或者是以开源的模型参数为基础进行追加训练。
u013250861·2024-01-31 07:38

《人民日报》申论面试热点金句积累19 #20220827

参考语料历史文化是城市的灵魂。每一座城市都有自己的发展历史，都蕴含着丰富的历史记忆。城市的历史文化风貌，不仅蕴藏在一条条老街道、一幢幢老建筑之中，
47fed7735c2d·2024-01-31 01:00

机器学习算法实现刑事案件文本分类

因此，通过收集法律与犯罪领域文本，构建起司法领域语料库，使用自然语言处理技术进行挖掘，实现文本分类，并利用机器学习等技术实现对法律案件的预测具有重要意义。
deleteeee·2024-01-30 08:23

DB-GPT: Empowering Database Interactions with Private Large Language Models 导读

其核心创新在于采用了私有化的LLM技术，在特定领域的语料库上进行微调，以确保用户隐私和数据安全的同时，获得最先进的LLM的好处。DB-GPT的架构包括一个新颖的知识
一只特蕉·2024-01-30 06:04

TF-IDF 找出文章关键词

一个词在文章中出现的次数词频标准化1：按占比处理TF=某个词在文章中出现的次数/文章的总词数词频标准化2：按最大值处理TF=某个词在文章中出现的次数/该文出现次数最多的词的出现次数IDF（反文档频率）：log(语料库的文档总数
Logan_addoil·2024-01-29 20:57

基于BERT的文本分类——附-简单的示例代码

BERT通过在大规模文本语料上进行预训练，学习了深层次的语言表示，然后可以通过微调用于各种下游任务，包括文本分类。文本分类是一个常见的自然语言处理任务，它涉及将文本分为不同的类别或标签。
技术宅学长·2024-01-29 18:54

datawhale 大模型学习 第六章-大模型之Adaptation

一、为什么需要Adaptation1.1简介从语言模型的训练方式来说，例如GPT-3，训练语料通常是海量的，各种领域的，不针对任何特定任务的文本信息。
fan_fan_feng·2024-01-29 18:25

Byte Pair Encoding（BPE）算法及代码笔记

BytePairEncoding（BPE）算法BPE算法是Transformer中构建词表的方法，大致分为如下几个步骤：将语料中的文本切分为字符统计高频共现二元组将共现频率最高的二元组合并加入词表重复上述第二和第三直到词表规模达到预先设置的数量
等风来随风飘·2024-01-29 13:50

全球大模型陷入高质量语料荒？

Gemini自我介绍提问测试截图当前谷歌团队已修复了该错误，但大模型“胡言乱语”现象也带出了另一个问题——互联网语料污染。知乎、微博、小红书等内容平台
海睿思·2024-01-29 13:42

NLP学习------HanLP使用实验

我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。
lanlantian123·2024-01-28 06:51

GPT等大语言模型是典型的人机环境交互、协同系统

在预训练阶段，GPT使用大规模的语料库进行训练，以学习语言的统计特征和上下文关系。在微调阶段，GPT通过与人类进行
人机与认知实验室·2024-01-28 06:33

Chatgpt的崛起之路

国内使用情况及应用的领域面临的数据安全挑战与建议ChatGPT获取数据产生的问题数据泄露问题删除权问题语料库获取合规问题ChatGPT恶意利用产生的问题结语OpenAI11月30号发布，首先在北美、欧洲等已经引发了热烈的讨论
Sirius·Black·2024-01-27 21:00

三个方面浅析数据对大语言模型的影响

因此，在训练大语言模型之前，构建一个准备充分的预训练语料库尤为重要。本篇文章中，将从数据规模、数量质量以及数据多样性三个方面分析数据对大语言模型的性能的影响。
快乐非自愿·2024-01-27 14:16

体验华为云对话机器人服务 CBS

浩泽学编程：个人主页推荐专栏：《深入浅出SpringBoot》《java对AI的调用开发》《RabbitMQ》《Spring》《SpringMVC》学无止境，不骄不躁，知行合一文章目录前言一、开通使用新建语料对话体验二
浩泽学编程·2024-01-26 23:43

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama
JasonLiu1919·2024-01-26 16:24

构建Wiki中文语料词向量模型(python3)

本实例主要介绍的是选取wiki中文语料，并使用python3完成Word2vec模型构建的实践过程，不包含原理部分，旨在一步一步的了解自然语言处理的基本方法和步骤。
南七澄江·2024-01-26 09:51

FinBert模型：金融领域的预训练模型

文章目录模型及预训练方式模型结构训练语料预训练方式下游任务实验结果实验一：金融短讯类型分类实验任务数据集实验结果实验二：金融短讯行业分类实验任务数据集实验结果实验三：金融情绪分类实验任务数据集实验结果实验四
dzysunshine·2024-01-26 08:39

ChatGPT 和文心一言哪个更好用？

ChatGPT主要基于Transformer架构，通过大量的语料库训练，能够自动地学习到语言的规则和模式。而文心一言则主要依赖于规则和模板，通过人工制定规则和模板来生成回复。
车马去闲闲丶·2024-01-25 17:52

Dify学习笔记-知识库(六)

例如GPT-3.5是基于2021年的语料进行训练的，且有每次约4KToken的限制。这意味着开发者如果想让AI应用基于最新的、私有的上下文对话，必须使用类似嵌入（Embedding）之类的技术。
有语忆语·2024-01-25 12:21

【文献阅读】K-BERT Enabling Language Representation with Knowledge Graph

原文链接摘要指出问题：预训练的语言表示模型，例如BERT，从大规模的语料库中捕获通用的语言表示，但缺乏特定领域的知识。实际场景下:当专家阅读领域文本时，会利用相关知识进行推理。
SuperCooper·2024-01-24 22:04

【文献阅读】ERNIE Enhanced Language Representation with Informative Entities

论文链接摘要背景：在大规模语料库上预训练的BERT等LR模型可以很好地从纯文本中捕获丰富地语义模式，并进行微调以持续提高各种NLP任务的性能。
SuperCooper·2024-01-24 22:04

预训练对话大模型深度解读

预训练对话大模型是自然语言处理领域的一项革命性技术，它通过大规模预训练语料库的利用，实现了对自然语言的高效理解和生成。
百度_开发者中心·2024-01-24 16:14

分享一个“产业级，开箱即用”的NLP自然语言处理工具

它主要关注计算机如何准确并快速地处理大量的自然语言语料库。什么是自然语言语料库？它是用现实世界语言表达的语言学习，是从文本和语言与另一种
李楷杰·2024-01-24 15:22

自然语言处理--基于HMM+维特比算法的词性标注

自然语言处理作业2--基于HMM+维特比算法的词性标注一、理论描述词性标注是一种自然语言处理技术，用于识别文本中每个词的词性，例如名词、动词、形容词等；词性标注也被称为语法标注或词类消疑，是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术
Java之弟·2024-01-24 12:01

NLP自然语言处理原理应用讲解

NLP的基本原理是通过对大量的语料库进行训练，让计算机学习到语言的语法、语义、上下文等信息，从而能够理解人类的语言。
打工人何苦为难打工人·2024-01-23 13:51

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

然而，大量实验证明，在高质量的训练语料进行指令微调（Instruction-tuning）的前提下，超过百
机器学习社区·2024-01-23 01:02

每日一看大模型新闻（2023.11.29）ChatGPT被曝“重复漏洞” 大量泄露训练数据；研究人员发布Starling-7B:基于AI反馈的大语言模型；智源等共建开源中文互联网语料库CCI

1.产品发布1.1字节大模型产品首出海，推出“ChitChop”发布日期：2023.11.29独家｜字节大模型产品首出海，推出“ChitChop”|ai|软件安装包|chitchop_网易订阅主要内容：字节跳动在海外推出了一款名为"ChitChop"的大型产品，由POLIGON开发和运营。字节跳动的海外社交产品Helo也由该公司运营，并已上线独立的手机应用和网页版。据报道，ChitChop是一个A
超爱玩大模型·2024-01-22 20:24

人虫语料收集18-2

年轻的罗银水：听都没听说过金大爷：这不闲唠吗，挑那（内）些玩意儿可得有眼力，稍一走眼就得让人笑话。年轻的罗银水：这（zhei去声）里边儿这么多学问？金大爷：那是啊，不过现在用不着了，没人弄这个，跟您也就是说着玩儿呗，就当一乐儿。年轻的罗银水：呵呵，来金大爷【干杯】罗银水独白：金大爷肚子里东西可真多，到现在为止，我的好多活计，都是从金大爷那儿学来的。可有一样儿，对金大爷家的东西，我真没敢惦记。事情就
禾戈君·2024-01-22 14:58

海外抖音TikTok、正在内测 AI 生成歌曲功能，依靠大语言模型 Bloom 进行文本生成歌曲

它是在一个称为ROOTS的语料库上训练的
喜好儿aigc·2024-01-22 09:14

生成式语言大模型的工程实践

与传统的基于规则或模板的方法不同，生成式语言大模型通过对大量语料库的学习，自动地生成符合语法和语义规则的自然语言文本。这种模型的应用范围
百度_开发者中心·2024-01-22 02:30

Scikit-Learn进行命名实体识别

1.数据数据是BIO和POS标签注释的特征设计语料库。image.png有关实体的基本信息geo-区域实体（GeographicalEntity）org-组织（Organization）per-人（P
魏鹏飞·2024-01-21 04:10

语音识别软件列表

大部分的开源声学模型和语音语料库都是只支持英语的，所以在这里就不介绍了，重点介绍一下终端输入采集的工具介绍：在Chrome浏览器中作为Web应用程序运行的语音识别软件。
李二狗的星球·2024-01-20 18:41

2019河南语文真题简析

辛老师析2019年河南语文中考真题2019年河南省中考语文题型、分值、题量、难度系数等基本不变，文字阅读量基本不变；在不变中也有创新，如通过选用新语料，创设情境，考查考生的基础知识以及语言文字的实际运用能力
一身书生气·2024-01-20 17:04

AI聊天伴侣的语料采集大揭秘：OpenCV如何轻松识别聊天图片？

最近，负责元宇宙中AI聊天伴侣的语料数据采集，这些数据主要用于AI虚拟角色聊天的训练和测试。虽然语料获取有多种渠道，但由于部分数据涉及隐私，这里就不多说了（感兴趣的朋友可以私聊我）。
黄昏中起飞的猫头鹰·2024-01-20 17:51

大模型专业术语语料如何采集！XPath高级技巧助力狩猎

最近采集大模型的某领域的专业术语语料，却发现一些网站的专业术语和名称解释深藏在一个节点下的多个同级节点中。这样的结构让爬虫在使用.
黄昏中起飞的猫头鹰·2024-01-20 17:51

如何增加ai虚拟聊天伴侣趣味性——OpenCV识别大量真实聊天图片采集高质量语料

图像转文字代码一：(文件run_batch.py)批量读取多个目录下的所有pdf多分页图片和jpg图片，并实现OCR识别图片文字，分别保存到多个json文件中importosimportjsonimportbase64,refromtqdmimporttqdmfromtencentcloud.commonimportcredentialfromtencentcloud.common.profile
黄昏中起飞的猫头鹰·2024-01-20 17:21

时评素材 | 年度词汇扎堆， 世界显示不确定性（2020年12月）

1.年度词汇扎堆，世界显示不确定性光明日报，黄典林时事：从2004年开始，作为当今全球最权威的英文词典之一，《牛津英语词典》基于对语料库的大数据分析，每年都会发布一个年度词汇。
一把锯子·2024-01-20 12:25

Big Model Basics1-2

不断增加他的参数，数据，显著提升各种任务的性能，参数每年10倍速增长，所需数据也变大，大模型具有很强的小样本或者少次学习的能力，引导，提取相关知识去解决具体的问题，如机器翻译，我们以前会需要大量的平行语料去做
ringthebell·2024-01-20 09:06

昨今读思

图片发自App图片发自App一、22:40睡，4:57起床还是得把积累做起来，比如精彩描写片段的朗读（熟读），还有语汇（语料）储蓄。
lsg003·2024-01-20 00:06

ChatGPT 和文心一言哪个更好用？

文心一言具有中文语言处理的优势，并且拥有庞大的中文语料库和知识图谱资源，这使得它在处理中文语言任务方面具有很高的准确率和效果。此外，百度在人工智能领域拥有深厚的技术积累和研发实力
小桥流水---人工智能·2024-01-19 19:54

自然语言处理大数据：spark ML Word2Vec详解

简介Word2Vec是一种著名的词嵌入（WordEmbedding）方法，它可以计算每个单词在其给定语料库环境下的分布式词向量（DistributedRepresentation，亦直接被称为词向量）。
nnnancyyy·2024-01-19 17:23

Bert模型的基本原理与Fine-tuning

基本原理BERT是一种预训练语言模型，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类
zhong_ddbb·2024-01-19 14:37

Elastic Search 查询详解（DSL Query）

关于索引以语料：【东芝电子元件（上海）有限公司,TOSHIBAELECTRONICDEVICES&STORAGECORPORATION】为例，在不同的分析器下，会生成不同的索引，具体如下。
EulerBlind·2024-01-19 13:13

文心一言 —— 中国的语言大模型

文心一言的背景文心一言是中国自主开发的大型语言模型，它集合了先进的机器学习技术和大量的语料数据，旨在更好地理解和生成中文文本。
竹字头虫字底·2024-01-19 12:16

GPT-4开启人工智能赋能教育的新时代

ChatGPT基于GPT-3.5架构的大型语言模型，通过大规模语料库的预训练技术，能够高效学习语言的特点和
do1twe11·2024-01-19 11:28

语言模型与视觉生态：技术解析与实践

一、语言模型与视觉生态的基本概念语言模型是一种基于统计学习的自然语言处理技术，通过大量的语料库训练，学会生成和理解人类语言。视觉生态
a谷雨c·2024-01-19 11:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他