NLP文本处理第23页

Pytorch学习记录-torchtext数据预处理

等会还会用中文分词试一下，希望之后文本处理可以使用torchtext做预处理。和torchvision类似torchtext是为了处理特定的数据和数据集而存在的。

我的昵称违规了·2024-01-12 09:22

自然语言处理（NLP）技术

自然语言处理（NaturalLanguageProcessing，NLP）技术涉及计算机对人类语言进行理解和处理的领域。下面是一些NLP技术的例子：文本分类：NLP可用于将文本数据划分到不同的类别中。

xianyinsuifeng·2024-01-12 09:59

NLP论文阅读记录 - 05 | 2023 抽象总结与提取总结：实验回顾

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1提取方法2.2抽象方法2.3数据集三.本文方法四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果4.6细粒度分析五总结思考前言Abstractivevs.ExtractiveSummarization:AnExperimentalReview（2306）0、

yuyuyu_xxx·2024-01-12 09:59

2、BERT：自然语言处理的变革者

BERT（BidirectionalEncoderRepresentationsfromTransformers）是Google在2018年提出的一种自然语言处理（NLP）预训练模型。

O_meGa·2024-01-12 09:27

NLP虚拟环境的创建

进入终端，利用condacreate-nNLP指令，可对虚拟环境进行创建，如下所示python版本可用指令python--version进行查看输入yes,即y，虚拟环境即可创建完成，利用activateNLP

Fjourney·2024-01-12 09:22

【python、nlp】文本预处理

文本预处理中包含的主要环节：文本处理的基本方法分词分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字

岩塘·2024-01-12 09:52

NLP论文阅读记录 - wos | 01 使用深度学习对资源匮乏的语言进行抽象文本摘要

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作三.本文方法四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果4.6细粒度分析五总结思考前言Abstractivetextsummarizationoflowresourcedlanguagesusingdeeplearning（2211）0、论文摘要人类必须能够

yuyuyu_xxx·2024-01-12 09:22

NLP（十八）：LLM 的推理优化技术纵览

原文：NLP（十八）：LLM的推理优化技术纵览-知乎目录收起一、子图融合（subgraphfusion）1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM

javastart·2024-01-12 09:46

编码器与解码器LLM全解析：掌握NLP核心技术的关键！

让我们深入了解：基于编码器和基于解码器的模型有什么区别？编码器与解码器风格的Transformer从根本上说，编码器和解码器风格的架构都使用相同的自注意力层来编码词汇标记。然而，主要区别在于编码器旨在学习可以用于各种预测建模任务（如分类）的嵌入表示。相比之下，解码器则设计用于生成新文本，例如回答用户查询。原始的Transformer2017年开发的原始Transformer架构，旨在进行英译法和英

wwlsm_zql·2024-01-12 09:15

【python、pytorch】NLP模型

自然语言处理（NaturalLanguageProcessing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。1.文本预处理文本预处理详情4.RNN模型

岩塘·2024-01-12 06:00

快速了解—机器学习、K-近邻算法及其API

一、ML机器学习（MachineLearning）1、应用领域：数据挖掘、自然语言处理NLP、计算机视觉CV等。

小林打怪中·2024-01-12 06:05

ChatSDK 全双工语音识别库

相对AIUI便宜很多baidulib:是对百度语音SDK封装,百度号称永久免费AIUITools:AIUI网络测试工具-折线图动态测试可持续观测共同特点：实现了全双工语音识别iat、合成tts、和语义nlp

guodashen007·2024-01-12 06:37

Linux进阶命令使用

以下是一些常见的Linux进阶命令及其用法：文本处理grep：搜索文本并打印匹配的行。grep'pattern'filenameawk：用于模式扫描和处理语言，非常强大的文本分析工具。

Walter Sun·2024-01-12 05:30

关于《语言的魔力》，与你分享我的收获

——NLP权威罗伯特•迪尔茨说今天约朋友聊天相聚，在谈话的过程中发现很多限制性语言，例如，我不行，我不能，我没有办法……无论与对方说什么，提任何建议，总能听到这些回应的话语。

唐婉茹·2024-01-12 05:18

BPE(Byte-Pair Encoding )代码实现

尽管贪婪，但它具有良好的性能,并被作为机器翻译等主流NLP任务的首选tokenize方法之一。

沉住气CD·2024-01-12 05:18

024 年1月11日最热NLP大模型论文： A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into...

颠覆性Prompt-tuning新法：引入场景特定概念，零样本文本分类效果大幅领先！引言：探索语言模型中的概念挖掘与级联校准在自然语言处理领域，语言模型的有效性往往取决于其对概念的理解和利用能力。概念挖掘与级联校准是两种关键技术，它们能够增强模型对文本分类任务的处理能力。概念挖掘指的是从文本中提取与特定类别相关的概念，而级联校准则是在此基础上进一步优化这些概念与类别之间的映射关系。通过这两个步骤，

夕小瑶·2024-01-12 05:44

2024年1月10日最热NLP大模型论文：Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering...

Google研究新突破：问答系统的革新，智能回答更准确，知识评估差距被缩小引言：多粒度问题回答的挑战与机遇在开放领域的问答（QA）任务中，事实问题通常可以在不同的粒度级别上得到正确的回答。例如，对于问题“奥巴马何时出生？”，“1961年8月4日”和“1961年”都是正确的答案。然而，标准的问答评估协议并没有明确考虑这一点，而是将预测答案与单一粒度级别的参考答案进行比较。在本工作中，我们提出了GRA

夕小瑶·2024-01-12 05:44

今日最佳NLP大模型论文解读：【Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation ......

如需查看本月份其他每日最佳NLP大模型论文解读，欢迎移步http://saibomaliang.com～复旦新作SpeechAgents：基于多模态语言模型的多智能体系统，模拟人类沟通引言：人类沟通的多模态模拟人类沟通是一个复杂多样的过程

夕小瑶·2024-01-12 05:43

清华AI第一，哈工大NLP第一

大家好我是二狗。这两天全球计算机科学排名CSRankings2024发布啦！下面二狗就带大家来看一下最新的排名情况。清华、北大、上海交大AI领域霸榜前三在AI板块，主要有人工智能、计算机视觉、机器学习、自然语言处理、网络&信息检索5个细分领域。当只勾选AI领域时，世界AI领域高校排名前20就出来啦。可以看到清华、北大、上交大直接霸榜前三，AI强校CMU仅仅排名第四，而浙江大学位列第五，另外在前二十

夕小瑶·2024-01-12 05:43

01.大型语言模型背后的基本概念的高级解释（LLMs）

他们开创了自然语言处理（NLP）的新时代。在大型语言模型出现之前，传统方法擅长分类任务，例如垃圾邮件分类和简单的模式识别，这些任务可以通过手工制定的规则或更简单的模型来捕获。

这就是编程·2024-01-12 05:04

【AI视野·今日NLP 自然语言处理论文速览第七十二期】Mon, 8 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Mon,8Jan2024Totally17papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersDeepSeekLLM

hitrjj·2024-01-12 04:39

【AI视野·今日NLP 自然语言处理论文速览第七十三期】Tue, 9 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Tue,9Jan2024Totally80papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersFFSplit

hitrjj·2024-01-12 04:38

【AI视野·今日NLP 自然语言处理论文速览第七十四期】Wed, 10 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Wed,10Jan2024Totally38papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersModelEditingCanHurtGeneralAbilitiesofLargeLanguageModelsAuthorsJiaChenGu

hitrjj·2024-01-12 03:34

昇腾910上分布式加载模型与增量训练

Modelarts16个节点128张昇腾910上从头训练130亿模型，模型代码修改自：https://gitee.com/mindspore/mindspore/tree/r1.3/model_zoo/official/nlp

昇思MindSpore·2024-01-12 01:18

密集检索：我们应该使用什么样的检索粒度？（如何提升召回率）

论文原文：https://arxiv.org/pdf/2312.06648.pdf在现代的自然语言处理（NLP）任务中，密集检索已经成为获取相关上下文或世界知识的突出方法。

水的精神·2024-01-12 01:14

人工智能学习与实训笔记（五）：百度AI能力AIP sdk调用实操

百度的很多AI能力是通过AIPsdk对外开放的，比如语音识别，语音合成，图像识别，NLP，人脸识别等等。

穿越光年·2024-01-11 22:02

NLP-Beginner任务五学习笔记：基于神经网络的语言模型

**用LSTM、GRU来训练字符级的语言模型，计算困惑度**数据集：https://github.com/FudanNLP/nlp-beginner/blob/master/poetryFromTang.txt

Q小Q琪·2024-01-11 18:16

NLP第四天学习小结

早上8:30听大家分享，很多伙伴分享他们的成长故事，我看到我的死党今天早上穿着一条特别漂亮的裙子，正在台上做分享，她的脸上绽放出幸福自信的笑容。

Minna明红·2024-01-11 16:35

下载python第三方库,python在哪下载库

前言awesome-python是vinta发起维护的Python资源列表，内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、

阳阳2013哈哈·2024-01-11 16:52

BERT Intro

继续NLP的学习，看完理论之后再看看实践，然后就可以上手去kaggle做那个入门的project了orz。

Karen_Yu_·2024-01-11 14:57

Intro project based on BERT

LeeMeng-進擊的BERT：NLP界的巨人之力與遷移學習这篇博客使用的是PyTorch，如果对PyTorch的使用比较陌生，建议直接去看PyTorch本身提供的tutorial，写的非常详细，还有很多例子

Karen_Yu_·2024-01-11 14:26

每个人竭是自己人生剧本的导演、编剧兼主演

这段时间比较迷恋心理学的学习，昨天就收到一份”大礼”，是NLP一个落地实操课，一看就对此很感兴趣，NLp对于我是默生的。

素心如竹焦点团队·2024-01-11 13:40

Linux常用命令

1.查看端口属于哪个程序lsof-i:8080netstat-tunlp|grep80802.查看一个程序是否运行ps-ef|greptomcat查看所有有关tomcat的进程3.终止线程kill-919979

Vicent_Z·2024-01-11 13:23

安谋科技“周易”NPU与飞桨完成II级兼容性测试，助力实现多样化AI部署

产品兼容性证明本次II级兼容性测试完成了对计算机视觉、智能文本处理、人像分割三大技术领域总计11个模型的验证。经过双方联合严格测试表明，安谋科技“周易”NPU系列IP在ResNet50、ResN

飞桨PaddlePaddle·2024-01-11 12:04

查准率与查全率在自然语言处理中的核心概念与联系、核心概念和实践应用，如何使用朴素贝叶斯、SVM 和深度学习实现查准率和查全率的计算？

1.背景介绍自然语言处理（NLP）是人工智能领域的一个重要分支，其主要目标是让计算机理解、生成

代码讲故事·2024-01-11 11:59

从零开始复现BERT，并进行预训练和微调

https://gitee.com/guojialiang2023/bert模型BERT是一种基于Transformer架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义，从而在各种NLP

青云遮夜雨·2024-01-11 11:28

【NLP】多标签分类【上】

简介《【NLP】多标签分类》主要介绍利用三种机器学习方法和一种序列生成方法来解决多标签分类问题（包含实验与对应代码）。

Twilight Sparkle.·2024-01-11 11:28

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等。

代码讲故事·2024-01-11 11:55

中文分词、去停用词、发现新词

NLP涵盖的内容较多，分词是基础，特别是对中文来说。中文分词目前使用过snownlp、jieba，简单对比下，jieba的默认模识更好用，snownlp分的过细了。

废柴社·2024-01-11 06:06

【论文阅读】InstructGPT: Training language models to follow instructions with human feedback

论文链接：InstructGPT关注公众号funNLPer了解更多AI算法文章目录1.摘要2.导论2.1背景2.2方法2.3发现3.方法及实验细节3.1数据集3.2模型3.3实验结果总结1.摘要把语言模型变大并不意味着会让模型更好的理解用户意图

orangerfun·2024-01-11 06:25

解释文本向量化的原理

在自然语言处理（NLP）中，文本向量化是一种常用的技术，用于将文本表示为计算机可以处理的形式。

andeyeluguo·2024-01-11 06:20

杀疯了的ChatGPT——开启AI智能交流新纪元「文末有彩蛋」

广泛的知识覆盖3.零样本学习4.多语言支持5.上下文感知对话如何使用ChatGPT1.智能助手2.个性化交互3.语言学习伙伴4.创造性写作5.技术支持结论文末彩蛋引言随着人工智能技术的飞速发展，自然语言处理（NLP

八了个戒·2024-01-11 04:54

Python--正则表达式

正则表达式概述正则表达式是文本处理极为重要的技术，用它可以对字符串按照某种规则进行检索、替换。分类BRE基本正则表达式，grep、sed、vi等软件支持。

sanqi2469·2024-01-11 03:25

2019-03-15

【优胜行动派️学习日记】[打卡宝宝]：王燕[打卡日期]：2019/3/15[学习内容]：教练式管理[学习笔记]：NLP教练技术的核心工作原理：ABCD法则如何定义‘NLP教练技术’的呢？

meng7277·2024-01-11 03:07

【NLP十二条前提假设之八】

【NLP十二条前提假设之八】八、每一个人都选择给自己最佳利益的行为(Everyonechoosesthebestbehavioratthemoment.)8.1每一个人做任何事都是为满足自己的一些深层需要

屈婧·2024-01-11 01:47

免费英-挪平行语料赠送啦！

因为工作的原因业余时间整理出5W英语-挪威语平行语料，现免费赠送给各位NLP大佬，有意向的同学麻烦私信我获取！希望大家多多交流共同进步！

AONDATA·2024-01-10 23:34

2018-09-13

2018年9月13日360修炼第67天，这两天的修炼一直围绕着NLP的破框法展开，之前一位学员问我：“如果我们一直持有接受的态度与外界互动，是否就纵容了一些不法分子的行为呢？”

丁调调·2024-01-10 21:32

【NLP大脑操作手册07】重定因果

在【NLP大脑操作手册06】里，我们学会了用“重定立场”的方式站在对方的角度看待事情，拿到对方最真实的感受和想法，合力将事情解决。今天将介绍第四种方法：重定因果。

龙姑娘Long·2024-01-10 21:05

Pytorch学习记录-基于CRF+BiLSTM的CGED

理论方面的论文也都是英文的2.AlibabaatIJCNLP-2017Task1:EmbeddingGrammaticalFeaturesintoLSTMsforChineseGrammat

我的昵称违规了·2024-01-10 20:06

实战美年健康AI大赛之二_相关问题与思考

说出来可能有人不信，我只用了五折的lightgbm，参数都没怎么调，去缺失值，去噪，特征选择，归一化，模型融合，目前为止都没做，所有时间都花在NLP上了，其中很多试尝还在进行中，还未加入模型，

xieyan0811·2024-01-10 16:58

推荐频道

NLP文本处理