NLP文本处理第30页

【PyTorch】torch.data.Field 参数与方法详解 & Embedding 层浅谈

Field类功能.构造参数.成员函数build_vocab.Embedding.Field类功能.Field\rmFieldField类对可以用张量Tensor\rmTensorTensor表示的常见文本处理数据类型进行处理

Anova.YJ·2023-12-27 11:24

RNN_循环神经网络_总结学习（持续更新）

目录1、什么是RNN2、RNN架构3、RNN工作流程4、具体操作的栗子——NLP（0）、问题介绍（0）、导入包（1）、创建句子集合（数据集）（2）预处理（3）、创建神经网络模型并实例化模型（4）、训练（

郭小儒·2023-12-27 11:14

余生很贵，请别浪费

前一段时间，在学习NLP，听到最多的一个词是“余生很贵，请别浪费”！

83b71b1699d8·2023-12-27 10:53

自然语言处理23-NLP中关键步骤：句子嵌入的原理与应用，并通过多种形式实现

大家好，我是微学AI，今天给大家介绍一下自然语言处理23-NLP中关键步骤：句子嵌入的原理与应用，并通过多种形式实现。

微学AI·2023-12-27 07:55

NLP论文阅读记录 - 以大语言模型为参考学习总结

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1文本生成模型的训练方法2.2基于LLM的自动评估2.3LLM蒸馏和基于LLM的数据增强三.本文方法3.1SummarizeasLargeLanguageModels3.1.1前提3.1.2大型语言模型作为参考具有准参考摘要的MLE3.1.3从基于法学硕士的评估中学习对比学习用于总结质量

yuyuyu_xxx·2023-12-27 07:55

社交媒体用户热词挖掘与情感分析：Python、NLP与Flask的综合应用

社交媒体用户热词挖掘与情感分析：Python、NLP与Flask的综合应用正文：社交媒体作为信息传播的主要平台，用户在平台上产生的大量文本数据蕴含着丰富的信息。

爱欲无极·2023-12-27 07:24

BPE-NLP重要的编码方式

这种算法最初被设计用于字节级的数据压缩，后来被应用于NLP。其核心思想是：BPE每一步都将最常见的一对相邻

沉住气CD·2023-12-27 07:21

搭建一个简单的问答系统（Python）

glove.6B:这个文件需要从网上下载，下载地址为：https://nlp.stanford.edu/projects/glove/，请使用d=100的词向量检索式的问答系统问答系统所需要的

学人工智能的菜菜·2023-12-27 07:16

解决gensim训练时出现killed问题

具体代码如下：importgensimimporttimeimportosimportglob#将语料库分成多个文件corpus_path='/mnt/e/ProLearn/NLP/wiki_nlp_data

一个爱折腾的小人物·2023-12-27 06:18

66 | 架构老化与重构

而上一讲“65|架构范式：文本处理”，介绍了文本处理领域的通用架构范式。架构的老化架构的功夫全在平常。无论是在我们架构范式的不断完善上，还是应对架构老化的经验积累上，都是在日常工作过程中见功夫。

_Rye_·2023-12-27 01:32

跨界于自然语言处理的广泛应用领域

目录前言1图灵测试和ImitationGame2基于数据的NLP应用3Google搜索引擎与在线广告的机制4知识图谱：连接现实世界的实体5智能音箱（虚拟助手）的交互能力6机器翻译：连接全球多语言7情感分析和意见挖掘

cooldream2009·2023-12-27 00:02

举例说明自然语言处理（NLP）技术。

自然语言处理（NLP）技术是指通过计算机对人类语言进行理解、处理和生成的技术。以下是一些常见的NLP技术的例子：机器翻译：将一种语言自动翻译成另一种语言。

秋珀·2023-12-26 23:13

Linux与Bash 编程——Linux文件处理命令-L1

的访问方式远程登录方式远程登录软件：mobaxterm的使用：使用电脑命令行连接：sshd的启动状态ssh的安装：连接方式保持心跳：配置ssh连接名：Linux文件树：linux常用命令之文件处理连接服务器:查看帮助:文件管理：文本处理

阿瞒有我良计15·2023-12-26 16:30

2021-02-21 NLP心理实操作线上课 day14（37讲、38讲、39讲）

#情绪【学习内容】：第37讲情绪概论1、说起情绪想到的都是负面的词2、情绪有两个视角（1）安装经验：情绪往往是基于过往经验的一些反应，而非当下的这一刻的反应。（2）情绪就像一个提取器，提取的是跟过往经验有关的那些情绪。图一3、不要不断强化负面情绪。4、我们要做情绪的主人。5、情绪是可以管理的。6、情绪是一种本能，情绪是流动在我们身体里的一种能量，可以把情绪训练成我们生活里的能力。7、我们们理不需要

海洋7606·2023-12-26 16:05

042、文本与语言模型

之——nlp基础目录之——nlp基础杂谈正文1.文本预处理2.语言模型3.语言模型实现杂谈在语言模型中，需要对文本进行预处理，进行数字化的一系列操作，而后才能进行网络的拟合。

Here we are——wxl·2023-12-26 15:40

优化模型：MATLAB非线性规划

一、非线性规划1.1非线性规划的定义非线性规划（NonlinearProgramming，NLP）是一种数学规划方法，用于解决含有非线性目标函数和/或非线性约束条件的优化问题。

抱抱宝·2023-12-26 12:52

Shell脚本应用（四）

一、文本处理器1、sed工具sed(StreamEDitor）是-个强大而简单的文本解析转换工具．可以读取文本．并根据指定的条件对文本内容进行编辑（删除．替换．添加、移动等)，最后输出所有行或者仅输出处理的某些行

IT_郑杰·2023-12-26 11:50

NLP 自然语言处理实战

自然语言处理(NaturalLanguageProcessing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。

AAI机器之心·2023-12-26 09:59

NLP系列(4)_朴素贝叶斯实战与进阶（转）

http://blog.csdn.net/han_xiaoyang/article/details/50629608作者：寒小阳&&龙心尘时间：2016年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/50629608http://blog.csdn.net/longxinchen_ml/article/details/5062961

weixin_34348111·2023-12-26 07:30

Pipeline 助您轻松驾驭海量数据！

PipelinePipeline是一个自然语言处理工具，可用于大规模数据下的文本处理，提供文本解析、处理、转换的能力，

观测云·2023-12-26 06:32

自己动手做 chatgpt:seq2seq翻译模型中GRU模块的原理和数据预处理

chatgpt是典型的NLP类型应用。也就是它主要于语言的处理和输出。因此它的模型设计必然借鉴了深度学习早期在语言翻译方面的算法设计。

tyler_download·2023-12-26 05:30

大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战

文章目录大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战1.概述1.1什么是文本摘要？1.2为什么需要文本摘要？

星川皆无恙·2023-12-26 00:25

（2021|EMNLP，CLIP，CLIPScore，RefCLIPScore）CLIPScore：图像标题的无参考评估指标

CLIPScore:AReference-freeEvaluationMetricforImageCaptioning公z号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）目录0.摘要1.简介2.相关工作3.CLIPScore4.标题评估基准4.1标题级别的Likert判断4.2Pascal-50S上的成对排名4.3MSCOCO的系统级相关性4.4CLIP-S对“

EDPJ·2023-12-26 00:25

【必知必懂论文】之多模态实体识别

引言命名实体识别（NER）是自然语言处理(NLP)领域中的最基础、最核心的任务之一，该任务旨在识别出文本中的命名实体（通常指特定类型事物的名称或符号，一般是一个名词或者短语），并将识别出的实体分类到预先定义好的实体类别中

爱科研的徐博士·2023-12-25 23:12

字符串与正则表达式python实验报告分析_《利用Python进行数据分析》第7章字符串操作与正则表达式...

字符串操作Python有简单易用的字符串和文本处理功能，大部分文本运算都直接做成了字符串对象的内置方法。对于更为复杂的模式匹配和文本操作，则可能需要用到正则表达式。

weixin_39615257·2023-12-25 22:41

【NLP】⚠️学不会打我! 半小时学会基本操作 1⚠️ 分词

【NLP】⚠️学不会打我!

我是小白呀·2023-12-25 17:34

简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 代码纯享版)

简洁高效的NLP入门指南:200行实现Bert文本分类Pytorch版概述NLP的不同任务Bert概述MLM任务(MaskedLanguageModeling)TokenizeMLM的工作原理为什么使用

我是小白呀·2023-12-25 17:02

GPU池化在AI OCR场景的应用

2012年AlexNet在ImageNet竞赛夺冠以来，深度学习方法开始在图像视频领域大幅超越传统算法，基于CV（计算机视觉）和NLP（自然语言处理）卷

virtaitech·2023-12-25 15:38

Kafka操作指令笔记

kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--describe--all-groups#查看所有组别的积压情况可以通过grep、awk或其他文本处理

是二狗诶·2023-12-25 12:22

【文本处理】正则表达式

一、简介正则表达式，又称规则表达式,（RegularExpression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a到z之间的字母）和特殊字符（称为"元字符"），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串，通常被用来检索、替换那些符合某个模式（规则）的文本。二、起源正则表达式的“鼻祖”或许可一直追溯到科学

一尘之中·2023-12-25 12:14

【AI】人工智能复兴的推进器之自然语言处理

词袋模型三、向量四、代码示例五、大模型和自然语言处理接上篇：【AI】人工智能复兴的推进器之机器学习-CSDN博客一、什么是自然语言处理自然语言处理（NaturalLanguageProcessing，NLP

giszz·2023-12-25 06:09

【数据保护】数据匿名的自定义NLP方法

自我介绍做一个简单介绍，酒架年近48，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【架构师酒馆】和【开发者开聊】，有更多的内容分享，谢谢大家收藏。企业架构师需要比较广泛的知识面，了解一个企业的整体的业务，应用，技术，数据，治理和合规。之前4年主要负责企业整体的技术规划，标准的建立和项目治理。最近一

架构师酒馆·2023-12-25 06:06

NLP学习（2）

关于NLP的词向量对比1.bag-of-wordsBOW是词袋模型，文本中各个词之间的顺序，语义，位置信息不予考虑，将文本看作若干个词的组合，这些词都是独立的，不依赖其他词，常用的有one-hot，tf-idf

Tang_Genie·2023-12-25 05:37

2018-06-09

学了NLP之后的我，最大的变化是:遇到很多事情挤在一起到来的时候，我发现自己特别有天赋，很强的规划能力和分配能力！并且不急不躁了，能够接纳自己不完美的地方，然后把所有事情耐心做好！

A忆思特教育赵敏·2023-12-25 05:10

今日无更新

这周Pytorch学的还算顺利，至少比之前AllenNLP要舒服一些，跑完Seq2Seq就要试着复现模型。

我的昵称违规了·2023-12-25 02:21

图像识别中的 Vision Transformers (ViT)

Transformer模型已成为自然语言处理(NLP)领域事实上的SOTA。例如，流行的ChatGPTAI聊天机器人就是基于Transformer的语言模

Garry1248·2023-12-24 21:04

超级学习力

接下来我来回顾一下今日最“烧脑”的部分吧，主要从思考力应用和NLP两个方面进行讲解，具体如下:一、思考力应用这部分主要讲解了如何建立结构化思维以及如何使用水平化思维，其中水平化思维又称

湄公河边的娟子·2023-12-24 17:16

CogAgent：带 Agent 能力的视觉模型来了

之前我们分享过智谱AI新一代多模态大模型CogVLM，该模型在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合，其中CogVLM-17B在14个多模态数据集上取得最好或者第二名的成绩。

机器学习社区·2023-12-24 16:29

Shell三剑客：awk（内部变量）

1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp

浅∶）笑·2023-12-24 15:56

CSS期末知识复习，重要知识点摘录

颜色2.背景图像3.背景是否平铺4.简写具体属性参考，不多赘述了，毕竟每个人薄弱点不一样background菜鸟教程CSS文本1.颜色2.对齐方式3.文本修饰这里特别注意，去除超链接格式更容易考到常用的文本处理增加行距菜鸟教程

Pigwantofly·2023-12-24 12:41

从文本到知识：Neo4j 图数据库 + NLP (自然语言处理) 实现案例

我们现在处于“大数据时代”，而在浩繁的“大数据”中，绝大多数是文本形式的非结构化数据。图其实可以非常灵活和有效地表示和处理文本内容中的词语、概念、依存关系，并用作知识推理、情感分析、智能问答等丰富的应用中。本文以百度云的自然语言处理API服务为例，介绍怎样将文本分析的结果保存到Neo4j图数据库中。1、准备Neo4j图数据库3.5.*。APOC扩展包。关于如何安装APOC，请参见这里。我们要用到A

俞博士·2023-12-24 12:39

5月10日丰盛日记

从上完NLP课程后，发现不管自己还是身边的人，都不断的在变化，一个人不能改变另外一个人，但是能改变自身去影响另外一个人，今天跟老哥聊了下天，觉得老哥真的像变了一个人一样，以往他三言不到两语就会莫名其妙的发起脾气来

罗树伟·2023-12-24 11:57

自然语言处理（NLP）：理解语言，赋能未来

目录前言1什么是NLP2NLP的用途3发展历史4NLP的基本任务4.1词性标注（Part-of-SpeechTagging）4.2命名实体识别（NamedEntityRecognition）4.3共指消解

cooldream2009·2023-12-24 09:53

文本处理神器Awk语言详解

文章目录初步认识命令执行脚本文件输入输出管道基本语法运算符流程控制函数封装内置变量内置函数算术和位操作函数字符串函数与正则表达式字符输出函数时间函数其它函数初步认识AWK主要用于文本数据处理，由Afred,Weinberger和Kernighan设计，故名AWK。AWK的初始版本由AT&T实验室开发，此外，NAWK是AWK的改进版本，而应用最广泛的当属GAWK，即GNUAWK，为Linux内置的默

微小冷·2023-12-24 08:50

编程语言学习目录

文章目录一篇入门系列C#Fortranerlang/elixirR语言Go语言Rust语言一篇入门系列文本处理神器awkbashshellclojure极简教程F#语言入门教程量子编程初步——Q#入门1

微小冷·2023-12-24 08:16

笔记-awk

1.Awk基础介绍awk不仅仅是一个文本处理工具，通常用于处理数据并生成结果报告，当然awk也是一门编程语言，是linux上功能最强大的数据处理工具之一。

口口帅日日·2023-12-24 06:00

详解Keras3.0 KerasNLP Models: GPT2 GPT2Tokenizer

1、GPT2Tokenizer用于将文本数据转换为适合训练和预测的格式，主要功能是将输入的文本进行分词、编码等操作，以便在神经网络中使用keras_nlp.models.GPT2Tokenizer(vocabulary

缘起性空、·2023-12-24 06:17

人生三件事和戏剧三角

Nlp心理学认为，我们心中有个非常核心的脚本，很有趣，也是我们会循环在玩的一个剧——戏剧三角。戏剧三角最初的模型，只有下面的这个三角——受害者三角。

湖畔听潮·2023-12-24 04:27

论文笔记--A Fine-grained Interpretability Evaluation Benchmark for Neural NLP

论文笔记--AFine-grainedInterpretabilityEvaluationBenchmarkforNeuralNLP1.文章简介2.文章概括3文章重点技术3.1数据收集3.2数据扰动3.3

Isawany·2023-12-24 03:35

你知道如何改变你的人生剧本吗？一句话，让我看到不一样的自己

2006年的时候想学点东西，一开始并不知道NLP是什么，不知道什么叫价值排序。上课之后发现，NLP深深地改变了我。在学习NLP执行师后，我尝试做导师，“做导师到底要导什么？”

心理学传播者·2023-12-24 02:50

推荐频道

NLP文本处理