E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
NLP自然语言理解
文字模型训练分析评论(算法实战)
文字模型训练,尤其是在自然语言处理(
NLP
)领域,是构建能够理解、解释、生成人类语言系统的核心步骤。这类模型广泛应用于文本分类、情感分析、机器翻译、聊天机器人、摘要生成等多个方面。
富士达幸运星
·
2024-08-31 04:55
算法
人工智能
机器学习
1-pipeline()函数-transformers-python库
Transformer模型用于解决各种
NLP
任务,Transformers库提供了创建和使用这些模型的功能。我们先来看一看pipeline()是如何解决
NLP
问题。
Flora-pi
·
2024-08-31 04:53
人工智能
人工智能
小琳AI课堂:单向模型 vs 双向模型 —— 揭秘大语言模型生成文本的奥秘
今天,我们要深入探讨自然语言处理(
NLP
)领域中的两种基础模型架构:单向模型和双向模型。这两种模型在处理和理解语言序列(如句子)的方式上有显著差异,它们的工作原理直接影响着大语言模型生成文本的方式。
小琳ai
·
2024-08-31 01:29
小琳AI课堂
人工智能
语言模型
自然语言处理
【Python机器学习】
NLP
词频背后的含义——隐性语义分析
隐性语义分析基于最古老和最常用的降维技术——奇异值分解(SVD)。SVD将一个矩阵分解成3个方阵,其中一个是对角矩阵。SVD的一个应用是求逆矩阵。一个矩阵可以分解成3个最简单的方阵,然后对这些方阵求转置后再把它们相乘,就得到了原始矩阵的逆矩阵。它为我们提供了一个对大型复杂矩阵求逆的捷径。SVD适用于桁架结构的应力和应变分析等机械工程问题,它对电气工程中的电路分析也很有用,它甚至在数据科学中被用于基
zhangbin_237
·
2024-08-30 14:22
Python机器学习
python
机器学习
自然语言处理
人工智能
开发语言
自然语言处理(
NLP
)与机器学习:深度探索两者的关系
自然语言处理(
NLP
)与机器学习:深度探索两者的关系1.自然语言处理(
NLP
)的概述
NLP
的主要任务包括:2.机器学习(ML)的概述机器学习的主要类型包括:3.
NLP
与机器学习的关系1.机器学习驱动
NLP
听忆.
·
2024-08-30 10:51
自然语言处理
机器学习
人工智能
大模型训练和推理
文章目录一、
NLP
基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术(1)模型并行
李明朔
·
2024-08-30 01:27
AIGC
深度学习
人工智能
自然语言处理系列四十二》新词发现与短语提取》新词发现》代码实战
自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列四十二新词发现》代码实战短语提取算法原理总结自然语言处理系列四十二新词发现》代码实战新词发现是
NLP
陈敬雷-充电了么-CEO兼CTO
·
2024-08-29 20:24
自然语言处理
人工智能
nlp
ai
chatgpt
gpt
java
计算机毕业设计之基于Python的旅游景点评论内容分析与研究
通过运用自然语言处理(
NLP
)技术,清洗并预处理了这些数据,以便于后续分析。随后,采用情感分析方法来识别和量化评论中的主观态度和情绪倾向,从而判断游客的整体满意度。
微信bishe58
·
2024-08-29 10:49
课程设计
spring
boot
python
信息可视化
【机器学习-随记】使用 Slack 和 Facebook Messenger 的消息机器人实现虚拟客服人员
使用Slack和FacebookMessenger的消息机器人实现虚拟客服人员1.平台选择与集成2.消息机器人开发3.自然语言处理(
NLP
)4.虚拟助手功能实现5.语音助手集成6.安全与用户隐私7.测试与部署边走
听忆.
·
2024-08-29 06:19
机器学习
facebook
机器人
论文:Retrieval-Augmented Generation for Knowledge-Intensive
NLP
Tasks
论文:Retrieval-AugmentedGenerationforKnowledge-Intensive
NLP
Taskscode:https://github.com/huggingface/transformerscode
Ian_Wonder
·
2024-08-28 18:27
论文阅读
初识LangChain的快速入门指南
初识LangChain的快速入门指南LangChain是一个强大的自然语言处理(
NLP
)工具链,旨在帮助开发者快速构建复杂的语言处理应用。
hai40587
·
2024-08-28 17:50
langchain
【好书分享第十期】大模型应用解决方案_基于ChatGPT和GPT-4等Transformer架构的自然语言处理(文末送书)
文章目录前言一、内容简介二、作者简介三、目录四、摘录粉丝福利前言在不到4年的时间里,Transformer模型以其强大的性能和创新的思想,迅速在
NLP
社区崭露头角,打破了过去30年的记录。
屿小夏
·
2024-08-28 14:56
书籍推荐
chatgpt
transformer
架构
大模型
AI
【Python机器学习】
NLP
分词——利用分词器构建词汇表(三)——度量词袋之间的重合度
如果能够度量两个向量词袋之间的重合度,就可以很好地估计他们所用词的相似程度,而这也是它们语义上重合度的一个很好的估计。因此,下面用点积来估计一些新句子和原始的Jefferson句子之间的词袋向量重合度:importpandasaspdsentence="""ThomasJeffersonBeganbulidingMonticelliastheageof26.\n"""sentence=senten
zhangbin_237
·
2024-08-28 05:33
Python机器学习
机器学习
自然语言处理
人工智能
python
开发语言
【Python机器学习】
NLP
概述——深度处理
自然语言处理流水线的各个阶段可以看作是层,就像是前馈神经网络中的层一样。深度学习就是通过在传统的两层机器学习模型架构(特征提取+建模)中添加额外的处理层来创建更复杂的模型和行为。上图中,前四层对应于聊天机器人流水线中的前两个阶段(特征提取和特征分析)。例如,词性标注(POS标注)是在聊天机器人流水线的分析阶段生成特征的一种方法。POS标签由默认的SpaCY流水线自动生成,该流水线包括上图中所有的前
zhangbin_237
·
2024-08-28 05:03
Python机器学习
python
机器学习
自然语言处理
人工智能
机器人
【Python机器学习】
NLP
分词——词干还原的挑战
要想使用自然语言处理的相关应用,第一件事就是需要一个强大的词汇表。我们要把文档或任何字符串拆分为离散的有意义的词条,这里说的词条仅限于词、标点符号和数值,但是这里使用的技术可以很容易推广到字符序列包含的任何其他有意义的单元,比如ASCII表情符号、Unicode表情符号和数学符号。从文档中检索词条需要一些字符串处理方法,这些方法不仅仅是str.split(),处理时需要把标点符号与词分开,还需要将
zhangbin_237
·
2024-08-28 05:03
Python机器学习
自然语言处理
人工智能
机器学习
python
开发语言
NLP
化学反应式
我只能承认,这样子理解
NLP
的人一定是个奇葩。对,我必须承认自己是个奇葩。因为以前的我总认为这世界很奇葩,所以我也只能变成个奇葩才能适应它……呃,Whatonearth我奇葩吗?
福哥0075826
·
2024-08-27 17:07
常见的
NLP
处理框架介绍!
自然语言处理(
NLP
)处理框架是指一系列用于开发、实现和部署自然语言处理应用程序的工具、库和框架。
weixin_54503231
·
2024-08-27 09:21
自然语言处理
人工智能
NLP
学习——信息抽取
信息抽取自动从半结构或无结构的文本中抽取出结构化信息的任务。常见的信息抽取任务有三类:实体抽取、关系抽取、事件抽取。1、实体抽取从一段文本中抽取出文本内容并识别为预定义的类别。实体抽取任务中的复杂问题:重复嵌套,原文中多个实体之间共享片段不连续,一个实体由多个不连续片段组成2、关系抽取从文本中抽取一对实体和预定义的关系类型。传统的关系抽取任务实现方案是先进行实体抽取,再输入头尾实体与原文进行关系分
P-ShineBeam
·
2024-08-27 01:36
NLP基础
学习
Prompt-Tuning:大模型微调技术
随着深度学习技术的不断发展,大模型(如GPT、BERT等)在各种自然语言处理(
NLP
)任务中取得了显著的成功。然而,训练和部署大模型需要大量的计算资源和时间,这限制了其在一些资源有限场景中的应用。
百度_开发者中心
·
2024-08-26 19:14
prompt
自然语言处理
大模型
喝了那么多鸡汤,你知道哪一碗有毒吗?
虽然曾经我也学过
NLP
里一句话:“一个人不能改变另一个人。”在此之后我也一直在做出改变,不再去强势的想要改变别人,可是最近我却被文章开始的这句话迷失自我。
b66c6f1f6d41
·
2024-08-26 11:28
从零开始大模型开发与微调:有趣的词嵌入
从零开始大模型开发与微调:有趣的词嵌入作者:禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理(
NLP
)领域近年来取得了飞速发展
AGI通用人工智能之禅
·
2024-08-26 08:33
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
【Python机器学习】
NLP
概述——自然语言智商
就像人类的智能一样,如果不考虑多个智能维度,单凭一个智商分数是无法轻易衡量
NLP
流水线的能力的。衡量机器人系统能力的一种常见方法是:根据系统行为的复杂性和所需的人类监督成都这两个维度来衡量。
zhangbin_237
·
2024-08-26 01:20
Python机器学习
机器学习
自然语言处理
人工智能
python
机器人
《人工智能与自然语言处理:开启智能交流新时代》
其中,自然语言处理(NaturalLanguageProcessing,简称
NLP
)作为人工智能的一个重要分支,正逐渐改变着我们与计算机交互的方式。那么,人工智能究竟是如何进行自然语言处理的呢?
程序猿阿伟
·
2024-08-25 22:03
人工智能
自然语言处理
深度学习--复制机制
复制机制(CopyMechanism)是自然语言处理(
NLP
)中特别是在文本生成任务中(如机器翻译、摘要生成等)使用的一种技术。
Ambition_LAO
·
2024-08-25 21:28
深度学习
python通过Gurobi求解线性规划
Gurobi使用基本步骤求解线性规划模型代码实现GurobiGurobi是一款强大的商业数学规划求解器,用于解决线性规划(LP)、整数规划(IP)、混合整数规划(MIP)、二次规划(QP)、非线性规划(
NLP
vibag
·
2024-08-25 18:09
数学建模
python
算法
将遍历出的结果字符串装在列表
fromKeyword_extractionimportThe_original_titleKey_word=[]foriinThe_original_title:fromdtl_
nlp
importmax_length_wordsll
月夜星空下
·
2024-08-25 17:54
阿里云力夺 FewCLUE 榜首!知识融入预训练+小样本学习的实战解析
中文语言理解权威评测基准CLUE自成立以来发布了多项
NLP
评测基准,包括分类榜单,阅读理解榜单和自然语言推断榜单等,在学术界、工业界产生了深远影响。其中,FewCLUE是CLUE最新推出的一
阿里云技术
·
2024-08-25 16:26
自然语言处理
机器学习
人工智能领域--RAG技术
RAG,即Retrieval-AugmentedGeneration(检索增强的生成),是一种结合了检索(Retrieval)和生成(Generation)机制的人工智能技术,常用于提升自然语言处理(
NLP
胡萝卜不甜
·
2024-08-25 13:39
机器学习
人工智能
python
学习
算法
【ShuQiHere】“从 One-Hot 到 GPT:窥探词表示技术的演变”
【ShuQiHere】在自然语言处理(
NLP
)领域,如何让机器理解人类语言一直是一个核心问题。而词表示(WordRepresentation)正是解决这个问题的基础技术。
ShuQiHere
·
2024-08-25 08:06
gpt
神经网络
机器学习
人工智能
用 Unsloth 微调 LLaMA 3 8B
用Unsloth微调LLaMA38B今年4月份,Meta公司发布了功能强大的大型语言模型(LLM)Llama-3,为从事各种
NLP
任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。
liugddx
·
2024-08-25 08:05
AI
微调
大模型
llama
探索Ruby的自然语言处理宝库:文本魔法的艺术
标题:探索Ruby的自然语言处理宝库:文本魔法的艺术在人工智能的浪潮中,自然语言处理(
NLP
)成为了连接人类语言与机器理解的桥梁。
2401_85743969
·
2024-08-25 05:47
ruby
自然语言处理
开发语言
23 注意力机制—BERT
目录BERT预训练
NLP
里的迁移学习BERTBERT动机BERT预训练
NLP
里的迁移学习在计算机视觉中比较流行,将ImageNet或者更大的数据集上预训练好的模型应用到其他任务中,比如小数据的预测、图片分类或者是目标检测使用预训练好的模型
Unknown To Known
·
2024-08-25 01:57
动手学习深度学习
bert
人工智能
深度学习
【2025校招】4399
NLP
算法工程师笔试题
目录1.第一题2.第二题3.第三题⏰时间:2024/08/19输入输出:ACM格式⏳时长:2h本试卷分为单选,自我评价题,编程题单选和自我评价这里不再介绍,4399的编程题一如既往地抽象,明明是
NLP
岗位的笔试题
Iareges
·
2024-08-25 01:25
秋招笔面试汇总
自然语言处理
算法
面试
秋招
面经
求职招聘
笔试
自然语言处理
NLP
之中文分词和词性标注
注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录一、Python第三方库jieba(中文分词、词性标注)特点二、jieba中文分词的安装关键词抽取基于TF-IDF算法TF-IDF原理介绍基于TextRank算法的关键词抽取textRank算法原理介绍总结一、Python第三方库jieba
陈敬雷-充电了么-CEO兼CTO
·
2024-08-24 10:53
自然语言处理
Google BERT 算法全面分析
一、什么是BERT算法BERT全称是BidirectionalEncoderRepresentationsfromTransformers,BERT算法诞生于2018年,从当时开始就引起了AI界尤其是
NLP
云点SEO
·
2024-08-24 08:44
外贸推广
谷歌优化
谷歌SEO
算法
百度
python
机器学习
java
paddle
nlp
3.0 全面拥抱开源大模型
首先安装神圣的飞桨自然语言处理框架3.0pipinstall--upgradepaddle
nlp
==3.0.0b0阿里云通义千问(Qwen2)系列大模型介绍阿里云通义千问(Qwen2)是阿里云推出的一系列先进的大型语言模型
路人与大师
·
2024-08-24 04:40
paddle
自然语言处理
开源
7个使用大语言模型的最佳情绪分析 API
在自然语言处理(
NLP
)中,情感分析是指使用人工智能(A
幂简集成
·
2024-08-23 17:36
语言模型
人工智能
自然语言处理
API
小琳AI课堂:Llama——
NLP
界的多面手
Llama:
NLP
界的多面手引言:大家好,这里是小琳AI课堂。今天,我们要探索的是自然语言处理(
NLP
)领域的一位明星——Llama。
小琳ai
·
2024-08-23 14:43
小琳AI课堂
人工智能
llama
自然语言处理
深入解析Doctran:使用AI和
NLP
优化文本处理
深入解析Doctran:使用AI和
NLP
优化文本处理引言在当今数据驱动的世界中,高效处理和分析大量文本信息变得至关重要。
qq_37836323
·
2024-08-23 13:11
人工智能
自然语言处理
python
【Python机器学习】
NLP
概述——聊天机器人的自然语言流水线
构建对话引擎或者聊天机器人所需的
NLP
流水线类似于某些问答系统。聊天机器人需要4个处理阶段和一个数据库来维护过去语句和回复的记录。
zhangbin_237
·
2024-08-23 10:51
Python机器学习
自然语言处理
机器人
人工智能
python
机器学习
Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task03笔记
自然语言处理(
NLP
):了解文本编码、语言模型等
NLP
技术,因为Kolors在生成图像时需要理解并处理输
汪贤阳
·
2024-08-22 11:30
人工智能
AIGC
笔记
电商搜索革命:大模型如何重塑购物体验?
在AI助手,
NLP
和搜索领域
京东零售技术
·
2024-08-22 00:54
人工智能
人工智能
【Python机器学习】
NLP
的部分实际应用
自然语言处理在现实中非常多的应用,下表是其中的一些例子:应用示例1示例2示例3搜索web文档自动补全编辑拼写语法风格对话聊天机器人助手行程安排写作索引用语索引目录电子邮件垃圾邮件过滤分类优先级排序文本挖掘摘要知识提取医学诊断法律法律断案先例搜索传票分类新闻事件检索真相核查标题排字归属剽窃检测文字取证风格指导情感分析团队士气监控产品评论分类客户关怀行为预测金融选举预测营销创作电影脚本诗歌歌词如果在索
zhangbin_237
·
2024-08-21 21:00
Python机器学习
机器学习
自然语言处理
人工智能
python
大数据
大模型的学习 LLaMa和ChatGLM,minichatgpt4
NLU(
自然语言理解
)任务效果很好,单卡GPU可以部署,速度快,V100GPU下1秒能处理2千条以上。ChatGLM-6B,
贝猫说python
·
2024-03-27 07:55
学习
llama
人工智能
2021-02-07
NLP
心理实操作线上课 day7(16讲、17讲)
#前提假设(上)(下)【学习内容】:第十六讲:前提假设(上)1、前提假设A.对人的前提假设【看人】:(1)没有两个人是一样的(2)沟通的效果取决于对方的回应【每当做出一个沟通需要向对方做出一个核对】(3)一个人不能改变另外一个人(4)每一个人都选择给自己最佳利益的行为(5)每人都已经具备使自己成功快乐的资源和能力(6)动机和情绪总不会错,只是行为没有效果而已第十七讲:前提假设(下)B.对事的前提假
海洋7606
·
2024-03-25 12:26
自然语言处理概念以及发展
自然语言概念总结自然语言处理(NaturalLanguageProcessing,简称
NLP
)是计算机科学领域与人工智能领域的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法
黑夜照亮前行的路
·
2024-03-18 23:05
自然语言处理
读《重塑心灵》,悟个人与企业系统关系
系统动力派
NLP
的创始人李中莹先生在他的《重塑心灵》中写到:一个人生于宇宙之间,不可能脱离其它人事物的影响,也不可能完全不影响其他人,因此只有充分尊重这种系统性才能摆正自己的位置,达到天人合一,内外和谐的境界
猫咪06
·
2024-03-18 16:24
自然语言处理(
NLP
)技术的概念及优势
自然语言处理(
NLP
)是人工智能领域的一个重要分支,其目标是使计算机能够理解、处理和生成人类自然语言的形式和含义。
刘小董
·
2024-03-18 00:36
学习心得
自然语言处理
今日无更新
,根据原来的改改就好……这周真的是有点繁杂了,搞定之后连着四五月份要写两篇论文,再加上五月底的课程论文还有紧接着的文献综述,看样子要疯……现在梳理一下自己手里的锤子:转到Pytorch,使用Allen
NLP
我的昵称违规了
·
2024-03-17 17:12
大型语言模型RAG(检索增强生成):检索技术的应用与挑战
随着大型预训练语言模型(LLMs)如GPT-3和BERT的出现,自然语言处理(
NLP
)领域取得了显著进展。然而,这些模型在处理知识密集型任务时仍存在局限性,特别是在需要最新或特定领域知识的情况下
in_tsz
·
2024-03-17 15:22
语言模型
人工智能
自然语言处理
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他