NLP文本处理

【AI视野·今日NLP 自然语言处理论文速览 第六十七期】Mon, 1 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Mon,1Jan2024Totally42papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersPrincipledGradient-basedMarkovChainMonteCarloforTextGenerationAuthorsLiDu
hitrjj·2024-01-06 07:34

nlp中的transformer中的mask

由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。第1个地方就是在上一篇文章用介绍到的AttentionMask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息；第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding部分的信息进行掩盖。下面分别就这两种情况进
不当菜鸡的程序媛·2024-01-06 05:27

linux 命令系列目录 - Linux常用命令指南

linux系列目录linux命令系列目录-Linux常用命令指南Linux常用命令指南线上查询及帮助命令文件和目录管理文本处理系统、程序启动和资源管理压缩和解压用户和权限管理软件包管理编程和开发数据库管理安全性和权限窗口管理系统设置网络和通信输入法和国际化多媒体音频处理视频处理图像处理
yusq77·2024-01-06 05:49

What is Asciidoctor

WhatisAsciidoctorWhatisSyntaxAsciidoctorDiagramInstallReferenceWhatisAsciidoctor是一种快速的文本处理器和出版工具链，可以非常方便地将
qwfys200·2024-01-06 04:49

【AI视野·今日NLP 自然语言处理论文速览 第六十八期】Tue, 2 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Tue,2Jan2024Totally48papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersAComputationalFrameworkforBehavioralAssessmentofLLMTherapistsAuthorsYuYingChiu
hitrjj·2024-01-06 03:17

一文了解自然语言处理神经史（下）

摘要：越来越火的NLP到底经历了什么？2014年-序列到序列模型2014年，Sutskever等人提出序列到序列学习，一种通过神经网络将一个序列映射到另一个序列的通用框架。
城市中迷途小书童·2024-01-06 03:47

文本处理函数与时间日期处理函数的用法

1文本处理函数1.1显示表格SELECT*FROMstudent_info;Screenshot2020-02-29at9.00.25PM.png1.2LEFT()返回从左边取指定长度的子串SELECTLEFT
稀里糊涂司小呆·2024-01-06 00:21

LLM对齐方案再升级

Microsoft：WizardLMWizardLM:EmpoweringLargeLanguageModelstoFollowComplexInstructionsGitHub-nlpxucan/WizardLM
人工智能小豪·2024-01-06 00:11

我的知识观2 什么才是聪明

人工智能如何看起来不智障，分成了三个技术门槛：1ASR我识别出了你说的话；2NLP我正确地理解了你的意图；3TTS我正确地执行了任务。这一套技术应用构成了AI人工智能基础。
怀山2018·2024-01-05 22:28

自然语言处理 one-hot编码

one-hot编码的优劣势：优势：操作简单，容易理解.劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.importtorchfrompyhanlpimport*fromsklearn.preprocessingimportOneHotEncoderimportnumpyasnpcontent
<编程路上>·2024-01-05 22:54

NLP[3] - [Word Embedding系列] : one-hot编码

本《WordEmbedding系列》文章包括：（1）One-hot编码（2）WordEmbedding（3）LSA（LatentSemanticAnalysis）（4）Word2vec的CBOW模型（5）Word2vec的Skip-gram模型（6）GloVe模型（7）相关编程实现本文介绍one-hot编码目录一、前言二、举例三、缺点一、前言自然语言处理的目标在于希望计算机能够理解(NLU，Und
ZhuNian的学习乐园·2024-01-05 22:53

自然语言处理入门指北 之 one-hot

与编程语言等为计算机而设的“人造”语言相对，自然语言无法直接被计算机等“理解”，在这个前提下，如何让计算机认识、学习乃至理解自然语言就成了一个重要的研究方向：自然语言处理(NaturalLanguageProcessing,NLP
数据湖开发者社区·2024-01-05 22:23

遗传算法实现-- one-hot编码

今天想跟大家讨论的是编码问题；编码作为遗传算法最开始的算子，其作用非常关键；目前网上大部分资料都是用二进制方法来编码；前段时间我看到一些NLP的文章，了解到one-hot方法来表示特征；能不能用到
DATARUSHER·2024-01-05 22:52

词向量系列之One-Hot编码详解

独热编码例子1.2独热编码的优点1.3独热编码的缺点1.4独热编码适用的情况2.独热编码的实现2.1python简单实现one-hot编码2.2sklearn2.3Keras2.4tensorflow3NLP
Elenstone·2024-01-05 22:22

NLP one-hot编码

本文为[365天深度学习训练营学习记录博客\n参考文章：365天深度学习训练营\n原作者：[K同学啊|接辅导、项目定制]\n文章来源：[K同学的学习圈子](https://www.yuque.com/mingtian-fkmxf/zxwb45)one-hot编码独热编码（One-HotEncoding）是一种处理类别型数据的常用编码方式。在机器学习中，经常需要处理非数字数据，例如颜色、国家名、产品
风筝超冷·2024-01-05 22:21

成长分享20181213

我所有的就是潜意识中升起的忙碌，孩子的起床穿衣，当日即将要待办的事情，生活的琐事……我的断舍离书还没看完，我的时间管理的学习还没有学习个道道，我的NLP的书还没有开始看，我的书写还没能坚持，我没有什么时间学习家庭教育学习课
幸福人生世界·2024-01-05 20:09

02 Deep learning algorithm

trainingmyownmodelpracticaladviceforbuildingmachinelearningsystemdecisionTressapplication:speech（语音识别）---->images(计算机视觉)—>text(NLP
叮咚Zz·2024-01-05 14:06

Java实现汉字拼音转换和关键字分词（pinyin4j、hanlp）

文章目录pinyin4jhanlp关键字分词pinyin4j添加maven依赖com.belerwebpinyin4j2.5.0获取文本拼音/***获取文本拼音*@paramcontext文本内容*@paramexistNotPinyin
少爷晚安。·2024-01-05 09:00

浅析Transformer为什么在多模态任务中受欢迎的原因——以kaggle热门比赛为例

而Transformer，作为曾经nlp领域的SOTA模型，近些年来开始不断入驻其他领域，并拿下了SOTA结果。随着去年ViT的出现，cv领域也同样掀起了transformer热潮
CV案例精选·2024-01-05 08:03

BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【3】

本文要利用BERT实现一个“垃圾邮件分类”的任务，这也是NLP中一个很常见的任务：TextClassification。我们的实验环境仍然是Python3+Tensorflow/Keras。
白马负金羁·2024-01-05 08:21

开源一套原创文本处理工具：Java+Bat脚本实现自动批量处理对账单工具

原创/朱季谦这款工具是笔者在2018年初开发完成的，时隔两载，偶然想起这款小工具，于是，决定将其开源，若有人需要做类似Java批处理实现整理文档的工具，可参考该工具逻辑思路来实现。该工具是运行在windos系统上的，基于bat脚本与jar包形式协同运行。当时开发该工具的背景是，需要每天定时处理大批量的对账单txt文本信息，将其统一整合到一张Excel文档上，供会计人员获取。在没有该工具之前，项目组
朱季谦·2024-01-05 07:28

【AI】人工智能的五大技术

人工智能的五大技术计算机视觉应用场景：医疗成像分析、人脸识别、安防及监控、购物机器学习应用场景：数据分析NLP应用场景：识别垃圾邮件机器人目前机器人按应用场景分为三个类别：工业级机器人监护级机器人探险级机器人语音识别
火禾子_·2024-01-05 05:09

20191109(要点) 降维打击～真爱与替代品～讨好型人格～成长四阶段

首先，因为没有绝对真实的世界只有由感官经验塑造的世界(NLP~4)，所以，每个人都无法看到事件的全貌，所以，这个打击必然是有失偏颇的；第二，我们是一个三维的生命，有不好的侧面，定然有更多好的侧面，所以即
麒麟_702b·2024-01-05 03:40

【AI视野·今日NLP 自然语言处理论文速览 第六期】Fri, 11 Jun 2021

AI视野·今日CS.NLP自然语言处理论文速览Fri,11Jun2021Totally37papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersImaginE
hitrjj·2024-01-05 02:31

举例说明自然语言处理（NLP）技术

自然语言处理（NLP）技术是一种人工智能技术，它涉及处理和理解人类语言的能力。以下是一些使用NLP技术的示例：机器翻译：NLP技术可以用于将一种语言翻译成另一种语言。
代码真的养发·2024-01-05 01:12

CE314 Computer Science NLP

CE314/887Assignment2TextclassificationDecember2023Deadline:PleasefollowdeadlineonFASERBuildatextclassifierontheIMDBsentimentclassificationdataset,youcanuseanyclassificationmethod,butyoumusttrainingyou
_0206girl·2024-01-05 01:07

KnowLM知识抽取大模型

的知识抽取的智析大模型数据集构建及训练过程预训练数据集构建预训练训练过程指令微调数据集构建指令微调训练过程开源的数据集及模型局限性信息抽取Prompt部署环境配置模型下载预训练模型使用LoRA模型使用KnowLM项目介绍KnowLM是由浙江大学NLP
dzysunshine·2024-01-05 00:13

FinGPT——金融领域开源大模型

以数据为中心的方法用于FinLLMs金融数据和独特特性应对处理金融数据的挑战FINGPT概述：FINLLM的开源框架数据来源面向金融NLP的实时数据工程流程大型语言模型（LLM）应用结论未来工作背景FinGPT
dzysunshine·2024-01-05 00:41

剖析腾讯知文，智能问答机器人路在何方

在技术和商业化应用上，智能客服背后的NLP和语音技术虽然已经取得了很多进步，近年来却鲜有突破性进展，成功的商业化应用仍然屈指可数。如今，NLP和语音技术在商业化应用上遇到了哪些瓶颈？为何迟
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2024-01-04 22:36

探索大模型语言（LLM）科技的革新

这种技术通过构建大规模的语言模型，使机器能够理解和生成人类语言，进而实现自然语言处理（NLP）任务。大
猴哥是肖鸿·2024-01-04 21:38

备份一个文本处理python代码

昨天一个朋友提了个需求，处理一个excel文档，固定第一列，第二列是第三列编号，使得同一行第三列和第一列内容相同，且对应调整第2列，还花了一个小时左右，碰到些奇葩问题，比如python重定向报错，windows上不知道怎么解决，懒得搜了，直接写文件。还有就是长数字被excel当成数字，怎么改格式也不行。查了下，输出的时候加了个“\t”就好了。#-*-coding:utf-8-*-"""Create
haithink·2024-01-04 20:53

生命对生命的支持 原雪峰

从2017年接触并修习了NLP，我自己的生命状态发生了很大的变化，尤其是学习了马龙飞老师的情绪和沟通课后，状态更真实，和谐了。感恩一切最好的安排。我是一名大学教师，感恩学生，是他们让我成为老师。
阿童木他爸有话说·2024-01-04 20:35

我真正想要的是什么？

一有时间就开始学习，一会学学NLP,一会学学思维导图，一会学学销售。学了很多东西，看似很忙碌，这是一个很上进的小伙。本质上却是在瞎忙。学了那么多，真正对自己有帮助的又有多少。
杠杆学法·2024-01-04 19:08

《重塑心灵:NLP——一门使人成功快乐的学问》 读书笔记（九）

第九章：《情绪》人生的最高境界，也许该是淡定从容里蕴蓄一份积极果敢，宽容大度中包含对未来的信心和憧憬。然而，身处于繁杂多变的社会，濡染于庸常琐碎的现实，很多人无法从各种各样的情绪中超脱，因此，家庭、生活、学习、工作都受到不良的影响。情绪并非如我们想象的那样难以调控。重视它、理解它、尊重它、引导它，我们不但不会成为情绪的奴隶，而且能利用一些负面情绪的正面价值，令我们的人生更多滋多味、丰富多彩。同时，
亓冬·2024-01-04 17:40

利用Embedding优化搜索功能

Embedding是一种自然语言处理(NLP)技术，可将文本转换为数值向量。Embedding捕获语义含义和上下文，从而导致具有相似含义的文本具有更接近的Embedding。
fireshort·2024-01-04 16:39

NLP中的Tokenization方法——BPE（Byte-Pair Encoding）

目录1.字粒度2.词粒度3.Subword粒度3.1BPE字节对编码3.2WordPiece(Character-LevelBPE)3.3Byte-levelBPE我们知道很多NLP模型（Transformer
云从天上来·2024-01-04 16:44

NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】

Byte-PairEncoding(BPE)/Byte-levelBPE1、BPEBPE，即字节对编码。其核心思想在于将最常出现的子词对合并，直到词汇表达到预定的大小时停止。首先，它依赖于一种预分词器pretokenizer来完成初步的切分。pretokenizer可以是简单基于空格的，也可以是基于规则的；分词之后，统计每个词出现的频次，供后续计算使用。例如，我们统计到了5个词的词频("hug",
u013250861·2024-01-04 16:14

NLP中的BPE（byte pair encoding）分词算法

本篇博客的算法来源的论文是NeuralMachineTranslationofRareWordswithSubwordUnits，感兴趣的读者可以自行在Google学术上搜索。算法提出的问题背景2016年左右（改论文发表于2016）Neuralmachinetranslation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000
算法菜鸟飞高高·2024-01-04 16:13

关于byte pair encoding(BPE)的一些相关介绍

https://towardsdatascience.com/byte-pair-encoding-the-dark-horse-of-modern-nlp-eb36c7df4f10https://leimao.github.io
爱生活爱自己爱学习·2024-01-04 16:42

BPE(Byte Pair Encoding)算法

BPE算法，最早应用于NLP任务出现于《NeuralMachineTranslationofRareWordswithSubwordUnits》这篇文章，是一种解决NMT任务中，出现OOV（out-of-vocabulary
Foneone·2024-01-04 16:12

Byte-Pair Encoding（BPE）

Byte-PairEncoding（简称BPE）是一种在自然语言处理（NLP）中使用的压缩算法，它用一小组子词单元表示大词汇量。
白马负金羁·2024-01-04 16:39

一文掌握文本语义分割：从BERT切分、Cross-Segment到阿里SeqModel

LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答》的3.5节中，我们曾分析过langchain-chatchat项目中文本分割相关的代码，当时曾提到该项目中的文档语义分割模型为达摩院开源的：nlp_bert_document-segmentation_chinese-base
v_JULY_v·2024-01-04 15:13

【深度学习：（Contrastive Learning） 对比学习】深入浅出讲解对比学习

这种方法已被证明在计算机视觉、自然语言处理（NLP）和强化学习等不同领域都是有效的。
jcfszxc·2024-01-04 14:08

大模型周报丨微软发布GPT-4V报告，MiniGPT-5不仅续写还配图，内附AMiner AI综述

这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。2022年底，OpenAI推出的基于GPT-3.5的大型语言模型ChatGPT，由于
AMiner学术搜索和科技情报挖掘·2024-01-04 12:11

李沐机器学习系列2--- mlp

1IntroductionLP中有一个很强的假设，输入和输出是线性关系，这一般是不符合事实的。通过几何的方式去对信息进行理解和压缩是比较高效的，MLP可以表示成下面的形式。
expectmorata·2024-01-04 11:45

Specializing Word Embeddings (for Parsing) by Information Bottleneck

SpecializingWordEmbeddings(forParsing)byInformationBottleneck来源：EMNLP2019最佳论文链接：https://arxiv.org/abs
ltochange·2024-01-04 11:43

如何读取csv文件中的复杂多层嵌套字典（基于pandas）

前言对于很多NLP类型的标注任务，往往在标注人员标注完数据后都会把对应的数据保存到一个csv文件中，这个时候，标注的内容一般都是在一个比较复杂的多层嵌套字典中的，这篇博客就跟大家分享一下如何去获取csv
草莓橙子碗·2024-01-04 11:25

如何读取csv文件内容建立映射表（基于pandas）

前言在进行NLP模型训练的时候，训练数据集经常是被保存在csv文件中，我们训练模型的时候就需要从csv文件中取数据同时，一些公司的大语言模型的语料来源，往往是通过爬虫等技术从网路上爬取下来的，数据的训练的标签
草莓橙子碗·2024-01-04 11:54

Flume基础知识（三）：Flume 实战监控端口数据官方案例

2）需求分析：3）实现步骤：（1）安装netcat工具sudoyuminstall-ync（2）判断44444端口是否被占用sudonetstat-nlp|grep44444（3）创建FlumeAgent
依晴无旧·2024-01-04 10:26

RNN 为什么不能直接反向传播？为什么会出现梯度消失和梯度爆炸？

RNN应该是目前用的比较多的技术框架，无论是NLP还是CV等领域，今天我们就详细的讲解一下关于RNN的具体知识1、RNN为什么不能直接反向传播呢？
Humprey·2024-01-04 08:26
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他