04_自然语言处理第48页

自然语言处理实战项目9-大语言模型的训练与文本生成过程，详细步骤介绍

大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目9-大语言模型的训练与文本生成过程，详细步骤介绍。大语言模型的训练是通过深度学习技术实现的。

微学AI·2023-10-22 12:20

自然语言处理时，通常的文本清理流程是什么？

自然语言处理文本清理流程，主要分为二步：1.文本预处理，我们的文本基本都是网络文本，主要是网页html的形式，网页中存在很多不必要的信息，比如说一些广告、导航栏，html、JS代码，注释等等，无用的价值信息

一抹斜阳尽余辉·2023-10-22 12:16

自然语言处理---文本预处理概述

自然语言处理（NaturalLanguageProcessing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。其主要应用于：语音助手、机器翻译、搜索引擎、智能问答等。

lichunericli·2023-10-22 12:14

自然语言处理---Transformer构建语言模型

语言模型概述以一个符合语言规律的序列为输入，模型将利用序列间关系等特征，输出一个在所有词汇上的概率分布，这样的模型称为语言模型。#语言模型的训练语料一般来自于文章，对应的源文本和目标文本形如:src1="Icando"tgt1="candoit"src2="candoit",tgt2="doit"语言模型能解决哪些问题：根据语言模型的定义，可以在它的基础上完成机器翻译，文本生成等任务，因为通过最后

lichunericli·2023-10-22 12:48

自然语言处理---迁移学习

fasttext介绍作为NLP工程领域常用的工具包，fasttext有两大作用：进行文本分类、训练词向量。在保持较高精度的情况下，快速的进行训练和预测是fasttext的最大优势。fasttext优势的原因:fasttext工具包中内含的fasttext模型具有十分简单的网络结构。使用fasttext模型训练词向量时使用层次softmax结构，来提升超多类别下的模型性能。由于fasttext模型过

lichunericli·2023-10-22 12:18

自然语言处理---huggingface平台使用指南

1huggingface介绍Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。

lichunericli·2023-10-22 12:47

Transformer时间序列预测-多变量输入-单变量输出+多变量输出，完整代码数据，可直接运行

Transformer模型是一种基于自注意力机制的神经网络模型，被广泛应用于自然语言处理和计算机视觉任务。

StyVue·2023-10-22 09:03

自然语言处理---Transformer机制详解之GPT模型介绍

1GPT介绍GPT是OpenAI公司提出的一种语言预训练模型.OpenAI在论文>中提出GPT模型.OpenAI后续又在论文>中提出GPT2模型.GPT和GPT2模型结构差别不大,但是GPT2采用了更大的数据集进行训练.OpenAIGPT模型是在GoogleBERT模型之前提出的,与BERT最大的区别在于GPT采用了传统的语言模型方法进行预训练,即使用单词的上文来预测单词,而BERT是采用了双向上

lichunericli·2023-10-22 09:29

NLP进阶之路——CS224n（一）

NLP绪论什么是自然语言处理？NLP的层次NLP的应用人类语言的特殊之处什么是深度学习为什么NLP很难？NLP语义层面的表示Reference什么是自然语言处理？

技术宅zch·2023-10-22 08:18

80个国内可用的Chatgpt网页版（2023.10.21更新）

ChatGPT：革命性的人工智能语言模型ChatGPT，一款能够与人类进行自然流畅对话的人工智能语言模型，通过大量训练数据和先进算法，展现出卓越的自然语言处理能力。

流光歲月leyt·2023-10-22 08:43

【NLP】第 3 章：NLP 和文本Embeddings

共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python

Sonhhxg_柒·2023-10-22 07:44

自然语言处理---Transformer机制详解之BERT GPT ELMo模型的对比

1BERT、GPT、ELMo的不同点关于特征提取器:ELMo采用两部分双层双向LSTM进行特征提取,然后再进行特征拼接来融合语义信息.GPT和BERT采用Transformer进行特征提取.很多NLP任务表明Transformer的特征提取能力强于LSTM,对于ELMo而言,采用1层静态tokenembedding+2层LSTM,提取特征的能力有限.单/双向语言模型:三者之中,只有GPT采用单向语

lichunericli·2023-10-22 05:20

自然语言处理---经典序列模型

1HMM模型介绍1.1HMM模型的输入和输出HMM(HiddenMarkovModel),中文称作隐含马尔科夫模型,因俄国数学家马尔可夫而得名.它一般以文本序列数据为输入,以该序列对应的隐含序列为输出.什么是隐含序列:*序列数据中每个单元包含的隐性信息,这些隐性信息之间也存在一定关联.举个例子:给定一段文本:"人生该如何起头"我们看到的这句话可以叫做:观测序列我们可以将这句话以词为单位进行划分得到

lichunericli·2023-10-22 05:20

自然语言处理---Transformer机制详解之GPT2模型介绍

1GPT2的架构从模型架构上看,GPT2并没有特别新颖的架构,它和只带有解码器模块的Transformer很像.所谓语言模型,作用就是根据已有句子的一部分,来预测下一个单词会是什么.现实应用中大家最熟悉的一个语言模型应用,就是智能手机上的输入法,它可以根据当前输入的内容智能推荐下一个要打的字.GPT2也是一个语言预测生成模型,只不过比手机上应用的模型要大很多,也更加复杂.常见的手机端应用的输入法模

lichunericli·2023-10-22 05:19

基于Milvus和BERT搭建AI智能问答系统（基础概念与架构）

AI智能问答系统通常包含以下组件：自然语言处理（NLP）模块：用于将自然语言问题转化为计算机可处理的形式，并提取问题的语义和意图。知识库：包含各种领域的知识和信息，如百科全书、专业数据库、文档等。知识

lichunericli·2023-10-22 05:49

自然语言处理---RNN、LSTM、GRU模型

RNN模型RNN模型概述RNN(RecurrentNeuralNetwork)，中文称作循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出。RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响。RNN模型的作用因为RNN结构能

lichunericli·2023-10-22 05:46

Java 8怎么了之二：函数和原语

【编者按】本文作者为专注于自然语言处理多年的Pierre-YvesSaumont，Pierre-Yves著有30多本主讲Java软件开发的书籍，自2008开始供职于Alcatel-Lucent公司，担任软件研发工程师

OneAPM官方技术·2023-10-22 03:55

聊天机器人（chatbot）终极指南：自然语言处理（NLP）和深度机器学习（Deep Machine Learning）...

在过去的几个月中，我一直在收集自然语言处理（NLP）以及如何将NLP和深度学习（DeepLearning）应用到聊天机器人（Chatbots）方面的最好的资料。

weixin_30701521·2023-10-22 01:30

ChatGPT编程能力实证研究

[email protected]南京大学计算机软件新技术国家重点实验室复旦大学计算机科学技术学院摘要近年来，大型语言模型（LLM）得到了快速的发展，这些模型可以自动编码文本并生成具有上下文相关性的语言，对自然语言处理领域的研究和应用带来了革命性的变化

pengxin_ce·2023-10-21 22:32

TF-IDF与TextRank

这两个可以说自然语言处理当中比较经典的关键词提取算法，虽然简单，但是应用还是相当广泛，面试中被问起这两个，不能说清楚也是一件很尴尬的事情。废话不多说，直接开始。

【敛芳尊】·2023-10-21 21:50

为什么嵌入通常优于TF-IDF：探索NLP的力量

塔曼纳一、说明自然语言处理（NLP）是计算机科学的一个领域，涉及人类语言的处理和分析。它用于各种应用程序，例如聊天机器人、情绪分析、语音识别等。

无水先生·2023-10-21 21:48

Transformers基本组件（一）快速入门Pipeline、Tokenizer、Model

Transformers基本组件（一）快速入门Pipeline、Tokenizer、ModelHuggingFace出品的Transformers工具包可以说是自然语言处理领域中当下最常用的包之一，实现了大量的主流预训练模型架构

undo_try·2023-10-21 18:55

自然语言处理基础——词表示

词表示把自然语言中最基本的语言单元——词转换为机器能够理解的词表示能完成以下两个能力词相似度计算词与词之间语义的关系近义词&上位词使用近义词或上位词表示的问题遗漏差异遗漏新的释义带有主观性数据吸收需要大量人工构建One-HotRepresentation常用的，把每个词表示成一个独立的符号One-HotRepresentation的问题假设词与词之间的向量是正交的，所以任意两个词进行相似的计算都等

一碗水不行吗·2023-10-21 13:30

自然语言处理基础

自然语言自然语言处理是人工智能能够通过图灵测试的重要工具。

一碗水不行吗·2023-10-21 13:56

使用Spyder进行动态网页爬取：实战指南

同时，知乎上的问题并回答也是宝贵的学习资源，用于知识图谱构建和自然语言处理研究。爬取知乎数据为决策和创新提供强有力的支持。概述在爬虫领域，Spyder扮演着重要的角色。

小白学大数据·2023-10-21 11:11

《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：05 特征工程和NLP算法

05特征工程和NLP算法5.1理解特征工程5.1.1特征工程的定义5.1.2特征工程的目的5.1.3一些挑战5.2NLP中的基础特征5.2.1句法解析和句法解析器5.2.2词性标注和词性标注器理解词性标注和词性标注器的概念一步步开发词性标注器即插即用现有词性标注器使用词性标注作为特征挑战5.2.3命名实体识别NER类StanfordNERSpacyNER提取和理解特征挑战5.2.4n元语法5.2.

miniAI学堂·2023-10-21 11:48

python基础04_字符串的格式化和高级操作

字符串的高级操作字符串的操作使用'+'拼接字符串使用.format()来对字符进行格式化操作格式说明符还可以包括以下选项：f-string字符串格式化方法字符串索引与切片操作索引操作字符串切片操作一个简单的应用操作字符串的内置函数介绍查看str内置函数帮助一个Python中的magicmethod：字符串的操作今天要学习的内容，主要与字符串相关，即涉及之前字符串拼接的复习，同时也学习一些新的操作方

马大胡子·2023-10-21 10:40

【无标题】

参与任务中文拼写检查任务是中文自然语言处理中非常具有代表性和挑战性的任务，其本质是找出文本段落中的错别字。这项任务在各种领域，如公文，新闻、财报中都有很好的落地应用价值。

AI界小学生·2023-10-21 10:46

Python 速学！不懂怎么入门python的小白看这篇就够了！

也可以用像NLTK这样的Python库进行自然语言处理（NLP）。本文讨论基本的Python编程，后续会写一些

delishcomcn·2023-10-21 09:33

【Python第三方包】如何让中文变成拼音呢？(pypinyin包)

将单个中文字符转化为拼音：2.2将中文字符串转化为拼音：2.3指定拼音风格：2.4处理多个中文字符：2.5自定义错误处理：2.6获取拼音的首字母：总结前言当我们处理中文文本时，有时候需要将中文字符转换成拼音，这在文本处理、自然语言处理以及多语言应用中非常有用

人才程序员·2023-10-21 09:52

Transformer模型 | 利用最优传输理论来对齐并融合两个或多个Transformer模型

作者在多个视觉和自然语言处理任务上验证了该方法,结果表明融合后的模型在微调后能够超越单个父模型的性能。Transfo

算法如诗·2023-10-21 07:23

图神经网络 | 图神经网络模型

图神经网络（GNN）是深度学习领域的一个重要模型，已广泛应用于推荐系统、计算机视觉、自然语言处理、分子分析、数据挖掘和异常检测等现实场景。

码农腾飞·2023-10-21 05:02

多变的动词 - 词性识别在人工智能自然语言处理中的不足与改进

因此，在人工智能的自然语言处理领域，对于动词的处理也是重中之重。如果对一句话的动词分析不准确，往往会导致计算机对整个句子的分析出现偏差。

陆满庭·2023-10-21 05:55

编辑距离问题与动态规划

这个问题在自然语言处理、拼写检查、DNA序列比对等领域中都有广泛的应用。在本文中，我们将介绍编辑距离的概念，并使用动态规划来解决这个问题。

尚可签·2023-10-21 04:36

大模型的实践应用2-基于BERT模型训练医疗智能诊断问答的运用研究，协助医生进行疾病诊断

医疗智能诊断是医疗大模型的重要应用之一，它利用深度学习和自然语言处理等技

微学AI·2023-10-21 04:29

特征工程的方法和步骤

目录0.示意图1.特征类别1.1.类别特征1.2.数值特征1.3.时间特征1.4.空间特征1.5.自然语言处理1.6.深度学习/神经网络1.7.图特征1.7.Leakage1.8.统计聚合1.9.自动化特征工程

褚骏逸·2023-10-21 02:28

你知道什么是大语言模型吗

在自然语言处理领域，大语言模型是一类十分重要的技术。顾名思义，大语言模型指的是比较“大”的（神经网络）语言模型，它们以自上文推理词语概率为核心任务。

Fsafn·2023-10-21 00:03

探索聊天型AI进阶：从ChatGPT到提示工程入门

游戏大全】【神级源码资源网】前端学习课程：【28个案例趣学前端】【400个JS面试题】寻找学习交流、摸鱼划水的小伙伴，请点击【摸鱼学习交流群】导言近年来，人工智能（AI）领域取得了突飞猛进的发展，尤其是在自然语言处理领域

海拥✘·2023-10-21 00:32

Python切词

中文分词指的是将中文文本按照一定的规则划分成词语的过程，是中文自然语言处理的重要技术之一。

r_martian·2023-10-20 19:12

GPT4到底是何方神圣？

而ChatGPT，作为一种强大的自然语言处理模型，具备显著优势，能够帮助您在各个领域取得突破。ChatG

_遇见jia·2023-10-20 19:18

AI驱动的未来：探索人工智能的无限潜力 | 开源专题 No.39

开源服务指南·2023-10-20 17:24

【打卡-Coggle竞赛学习2023年3月】对话意图识别

在本次学习中我们将学习：自然语言处理基础文本分类路线：TFIDF、Fa

irrationality·2023-10-20 15:27

深度学习文本纠错实战——BART 微调finetune

今天学习一个新的自然语言处理任务——文本纠错。文本纠错这个领域其实有细分成很多不同的类型：如下图所示image.png其中不同的问题需要采取不同的策略进行解决。

王同学死磕技术·2023-10-20 15:05

数据科学家成长指南(中)

“Datawhale”，选择“星标”公众号第一时间获取价值内容大家新年好呀，在《数据科学家成长指南(上)》中已经介绍了基础原理、统计学、编程能力和机器学习的要点大纲，今天更新后续的第五、六、七条线路：自然语言处理

Datawhale·2023-10-20 15:43

如何使用BERT生成单词嵌入？

它已广泛用于自然语言处理任务，例如情感分析、文本分类和命名实体识别。BERT的主要特征之一是它能够生成单词嵌入，这些嵌入是单词的数字表示，捕获其含义和与其他单词的关系。

无水先生·2023-10-20 14:26

Stanford CS224n 第一讲：深度自然语言处理

第一节课主要是介绍了NLP（尤其是DeepNLP）的背景知识。主要有一下几点：什么是NLP？NLP的应用NLP的难点MachineLearningvs.DeepLearning接下来，根据课程视频+自己的理解，我将一一详细介绍以上的4部分。1.什么是NLP？Naturallanguageprocessing(NLP)是计算机科学+AI+语言学的交叉产物；它的目标是让机器能够处理或者明白自然语言(t

江南丶·2023-10-20 12:29

python知识：从PDF 提取文本

一、说明PDF到文本提取是自然语言处理和数据分析中的一项基本任务，它允许研究人员和数据分析师从PDF文件中包含的非结构化文本数据中获得见解。

无水先生·2023-10-20 12:18

python 分词工具训练_Python中文分词工具大合集：安装、使用和测试

首先介绍之前测试过的8款中文分词工具，这几款工具可以直接在AINLP公众号后台在线测试，严格的说，它们不完全是纯粹的中文分词工具，例如SnowNLP,Thulac,HanLP，LTP，CoreNLP都是很全面的(中文)自然语言处理工具

weixin_39695323·2023-10-20 12:46

python 中文情感分析 Snownlp库的使用

SnowNLP训练自己的数据集可在我的python智能算法专栏获取一、Snownlp简介SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的

qq_30895747·2023-10-20 12:13

SnowNLP使用自定义语料进行模型训练

如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowNLP本身使用的

qq_30895747·2023-10-20 12:12

推荐频道

04_自然语言处理