E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
语料库
NLP 项目:维基百科文章爬虫和分类 -
语料库
阅读器
在接下来的文章中,我将展示如何实现维基百科文章爬虫,如何将文章收集到
语料库
中,如何应用文本预处理、标记化、编码和矢量化,以及最后应用机器学习算法进行聚类和分类。本
无水先生
·
2023-09-28 11:47
LLM和ChatGPT
人工智能
自然语言处理
爬虫
分类
推荐一个AI人工智能技术网站(一键收藏,应有尽有)
通过学习和理解海量的
语料库
数据,Mental
偷拨网线的william
·
2023-09-26 16:00
人工智能
[学术前沿]2021年5月arxiv简介论文浅读
5月2日Text-to-TextMulti-viewLearningforPassageRe-ranking近期自然语言处理地很多进展都是由在大型
语料库
上预训练得到的深度语境化表征推动的。
be5e948f337b
·
2023-09-23 01:42
技术动态 | 面向知识图谱构建的电子战领域
语料库
建设
转载公众号|专知本文发表于《指挥信息系统与技术》2023年第2期作者:王航,张宏军,程恺,徐有为,申秋慧,李大硕引用格式:王航,张宏军,程恺,等.面向知识图谱构建的电子战领域
语料库
建设[J].指挥信息系统与技术
开放知识图谱
·
2023-09-22 15:29
知识图谱
人工智能
大数据
WordNet
wordNetwordNet是普林斯顿大学开发的英语
语料库
,可以理解为就是一个词典,在python中的nltk.corpus可以直接获得,它良好的组织结构使得它在nlp中可以帮助我们更好的理解语义。
Athenaearl
·
2023-09-22 11:49
ChatGpt介绍和国产ChatGpt对比
它使用深度学习技术,通过对大量
语料库
的学习和训练,可以生成类似人类语言的回复。ChatGPT可以用于各种场景,如客户服务、智能助手、社交媒体等。3.ChatGPT
萧鼎
·
2023-09-21 09:58
笔记
chatgpt
TF-IDF算法
TF-IDF(TermFrequency-InverseDocumentFrequency)是一种常用于信息检索和文本挖掘的统计方法,用于评估一个词在文档集或一个
语料库
中的重要程度。
·
2023-09-20 10:40
运维
《多模态
语料库
“书生·万卷” 1.0 详细解读 | 附下载地址》
一、书生·万卷1.0书生·万卷1.0为书生·万卷多模态
语料库
的首个开源版
OpenDataLab
·
2023-09-18 22:54
开源数据集下载
多模态数据集
人工智能
大数据
计算机视觉
深度学习
机器学习
完美解决torchtext方法bug问题:AttributeError: module ‘torchtext.data‘ has no attribute ‘Field‘
以下是TorchText的一些主要特点和功能:文本数据的处理:数据加载:TorchText允许用户轻松加载文本数据集,例如
语料库
、CSV
源代码杀手
·
2023-09-17 13:20
报错记录
bug
Llama2-Chinese项目:2.2-大语言模型词表扩充
思路通常是在中文
语料库
上训练一个中文tokenizer模型,然后将中文tokenizer与LLaMA原生tokenizer进行合并,最终得到一个扩展后的tokenizer模型。
NLP工程化
·
2023-09-17 10:39
人工智能
自然语言处理
Llama
大语言模型
如何实现“AI SEO伪原创”?
市面上已经有众多【AI伪原创】工具,看产品说明,介绍是基于NPL卷积神经网络千万
语料库
机器学习生成的文章。
福水
·
2023-09-17 08:30
Gensim库的使用——Gensim库的核心概念介绍
核心概念在gensim中有一些核心的概念,这里简要介绍一下:1、Document(文档):主要是指一些文本2、Corpus(
语料库
):文档的一个集合3、Vecto
桉夏与猫
·
2023-09-16 08:47
gensim
python
机器学习
深度学习
自然语言处理
人工智能
【2023】数据挖掘课程设计:基于TF-IDF的文本分类
课程设计题目基于TF-IDF的文本分类二、课程设计设置1.操作系统2.IDE3.python4.相关的库三、课程设计目标1.掌握数据预处理的方法,对训练集数据进行预处理;2.掌握文本分类建模的方法,对
语料库
的文档进行建模
QomolangmaH
·
2023-09-14 07:46
人工智能
机器学习
数据挖掘
机器学习
自然语言处理
人工智能
文本分类
中文
语料库
下载链接:https://github.com/SophonPlus/ChineseNlpCorpus包括:
wendy云泽
·
2023-09-14 00:55
ACL论文阅读笔记_2019-10-20
EffectsofCreativityandClusterTightnessonShortTextClusteringPerformance摘要
语料库
的属性有:词汇的多样程度相关文档集群的紧密程度
语料库
的属性往往影响聚类算法的表现
雨住多一横
·
2023-09-13 23:40
推荐10个AI人工智能技术网站(一键收藏,应有尽有)
通过学习和理解海量的
语料库
数据,MentalAI能够从中
偷拨网线的william
·
2023-09-13 16:14
人工智能
TF-IDF算法介绍和基于Python的实现
TF是词频(TermFrequency),IDF是逆文本频率(InverseDocumentFrequency) TF-IDF是一种统计方法,用以评估一字词对于一个
语料库
中的其中一份文件的重要程度。
weiambt
·
2023-09-13 12:55
python
python
数据挖掘
算法
听说最近ChatGPT很火?我来整个废话版ChatGPT!
文章目录需求分析项目初始化读取
语料库
文件实现随机模块生成文章保存文章命令行配置参数命令行交互废话版ChatGPT网页版废话版ChatGPT的功能是能根据
语料库
的配置和用户输入的规则,随机生成一篇可长可短的文本
萌萌哒の瑞萌萌
·
2023-09-13 07:14
前端
chatgpt
前端
node.js
开放域问答论文-Generator-Retriever-Generator: A Novel Approach to Open-domain Question Answering
4.1数据集4.2文件编号的选择4.3实验设置5结果5.1开放域QA结果消融6结论论文链接:https://arxiv.org/pdf/2307.11278.pdf摘要开放域问答(QA)任务通常需要从大型
语料库
中检索相关信息以生成准确的答案
无脑敲代码,bug漫天飞
·
2023-09-12 07:23
知识图谱
论文阅读
tokenizer.texts_to_sequences()
#如果不为不在
语料库
中的单词创建一个单独的标志,例如"",则可能出现下述情况当seed_text为"Iwenttodublin"时,长度为4;当seed_text为"Lawrencewenttodublin
唐生一
·
2023-09-10 19:27
NLP
python
nlp
自然语言处理NLP:一文了解NLP自然语言处理技术,NLP在生活中的应用,图导加深了解,NLP
语料库
,NLP开源工具
目录1.自然语言处理NLP1.1NLP中英对照(双份)1.2相关文章2.NLP
语料库
2.1NLP
语料库
列举2.2相关文章3.NLP开源工具3.1NLP开源工具列举3.2相关文章4.自然语言文本分类模型代码
Solitary_孤影照惊鸿
·
2023-09-10 00:04
自然语言处理(NLP)
计算机
/
人工智能
自然语言处理
人工智能
MathGPT是什么,MathGPT与ChatGPT的区别是什么,MathGPT十大应用场景
与ChatGPT相比,MathGPT主要关注数学领域而非通用性的自然语言理解,因此其训练
语料库
和预测任务都与数学有关,同时还加入了数学专有的结构和语法规则,以更好地服从数学领域的特点。
『六道』
·
2023-09-09 22:58
自然语言处理
AI写作
深度学习
数据挖掘
人工智能
NLP:中科院NLP
语料库
中科院NLP
语料库
是由中国科学院自然语言处理与社会人文计算实验室(CASIA-NLP)研发的中文大规模自然语言处理
语料库
。该
语料库
包含了多种不同类型的文本数据,如新闻、论坛、微博、百科、小说等。
Solitary_孤影照惊鸿
·
2023-09-07 05:06
自然语言处理(NLP)
计算机
/
人工智能
自然语言处理
人工智能
【ERNIE: Enhanced Language Representation with Informative Entities】
大规模文本
语料库
和KG来训练增强语言模型ERNIE(充分利用词汇&语法&知识信息)introduction里面前两段说了现有的预训练语言模型好,但没考虑知识,而考虑知识很关键。所以就提出了ERNIE。
唯师默蓝
·
2023-09-07 03:58
【小沐学NLP】Python使用NLTK库的入门教程
文章目录1、简介2、安装2.1安装nltk库2.2安装nltk
语料库
3、测试3.1分句分词3.2停用词过滤3.3词干提取3.4词形/词干还原3.5同义词与反义词3.6语义相关性3.7词性标注3.8命名实体识别
爱看书的小沐
·
2023-09-04 18:15
Python
NLP
自然语言处理
python
人工智能
nlp
nltk
分词
数据清洗
NLP:生成熟悉NLP开源工具,如NLTK、 HanLP等,并搜寻、下载和熟悉PKU、 CoreNLP, LTP MSR, AS CITYI 等
语料库
。
它提供了大量已经预处理好的文本数据和
语料库
,以及一些常用的文本处理算法和NLP工具。例如,NLTK提供了分词、词性标注、命名实体识别、情感分析等功能。
Solitary_孤影照惊鸿
·
2023-09-03 21:24
自然语言处理(NLP)
自然语言处理
easyui
人工智能
ChatGPT和文心一言的优缺点比较
大规模训练:ChatGPT基于大规模
语料库
进行训练,并且采用了自监督学
BigData_001_Lz
·
2023-09-02 17:44
AI写作
chatgpt
文心一言
人工智能
雅思备考复习不到一个月首考7.5建议
所以也是有蛮大原因是基础还不错啦)这些是我当时参考的一些复习资料,有需要的就各取所需吧~视频推荐:l听力何琼技巧班l阅读冯涛高分班/刘洪波看视频直接切入真题,做剑桥雅思官方真题,看真题解析分析总结经验:l王陆真题
语料库
听写单词
一口白
·
2023-09-02 00:04
大学生毕业设计论文题目大全_kaic
信达雅视角下国内护肤品产品信息的翻译策略研究听说法应用于宁江中学英语听力教学的行动研究目的论视角下亚马逊家居类产品页面翻译策略研究基于单片机的42步进电机闭环控制系统设计疫情防控下广州市从化区沙贝小学开展线上教学策略的研究功能对等视角下的雅诗兰黛广告翻译策略研究基于
语料库
的广东理工学院大三英语专业四级考试听力理解内容分析任务型教学法在英语教学中的积极作用
开心工作室_kaic
·
2023-09-01 04:56
计算机文章
毕业设计
课程设计
大数据
数据结构
线性回归
链表
javascript
java
ChatGPT是否可以进行情感交流?
由于ChatGPT是在巨大的互联网文本
语料库
上进行训练的,它可以为用户提供有关情感的信
心似浮云️
·
2023-09-01 02:30
chatgpt
人工智能
深度学习
英语假期开始
五天的
语料库
循环后进入精听,这个到时候还是要再找一些课来看看,又要费一番功夫,唉。说:我确实上了一阵子口语课,面对外国人也没啥紧张。但是确实也不意味着我对着一个问题侃侃而谈。
稚笔_
·
2023-08-31 18:25
ChatGPT进阶——如何辅助设计E-R图、流程图和时序图等
OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,也是GPT-3.5架构,这是一种用于处理序列数据的模型,拥有语言理解和文本生成能力,尤其是它会通过连接大量的
语料库
来训练模型
山科智能信息处理实验室
·
2023-08-31 05:59
chatgpt
流程图
人工智能
自然语言处理(六):词的相似性和类比任务
实际上,在大型
语料库
上预先训练的词向量可以应用于下游的自然语言处理任务,为了直观地演示大型
语料库
中预训练词向量的语义,让我们将预训练词向量应用到词的相似性和类比任务中。
青云遮夜雨
·
2023-08-31 03:19
深度学习
自然语言处理
人工智能
word2vec
In-Context Retrieval-Augmented Language Models
相关工作3我们的框架4实验细节5具有现成检索器的上下文RALM的有效性6用面向LM的重新排序改进上下文RALM7用于开放域问答的上下文RALM8讨论摘要检索增强语言建模(RALM)方法在生成过程中对基础
语料库
中的相关文档设置语言模型
UnknownBody
·
2023-08-30 20:53
LLM
知识图谱
人工智能
语言模型
Transformer系列模型笔记
输入层包括上下出现单词的向量化表示;投影层是把输入层的向量累加求和后做映射;输出层(计算
语料库
中所有单词的概率,计算量大!)
抓个马尾女孩
·
2023-08-29 14:46
深度学习
transformer
笔记
深度学习
【整合一切08/8】:用变压器实现语言翻译
二、嵌入层嵌入层为
语料库
中的每个标记提供相应的矢量表示形式。这是每个序列必须通过的
无水先生
·
2023-08-29 14:46
LLM和ChatGPT
人工智能
机器翻译
自然语言处理
7、Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
简介主页:https://imagen.research.google/文本提示图片生成已经有很多工作了,如DALLE系列、stablediffusion论文经过实验发现:在纯文本
语料库
上预训练的通用大型语言模型
C--G
·
2023-08-29 14:21
#
扩散模型
深度学习
计算机视觉
人工智能
Elasticsearch实战(二):Springboot实现Elasticsearch自动汉字、拼音补全,Springboot实现自动拼写纠错
文章目录系列文章索引一、安装ik拼音分词器插件1、下载地址2、下载安装3、属性大全二、自定义
语料库
1、新增索引映射2、批量新增文档3、查询结果三、产品搜索与汉字、拼音自动补全1、概念2、java实现汉字自动补全
秃了也弱了。
·
2023-08-28 11:13
其他数据库
elasticsearch
spring
boot
jenkins
自然语言处理NLTK(一):NLTK和
语料库
对于文本的研究,对于语言主要是中文,英文的研究反而会少了很多,主要还是因为应用的问题,而现在对于海外的产品来说,英文的语言处理,会越来越显得重要,其实对英文语言处理资料会比中文的来得多,来得全,很多中文研究的方法是借鉴了英文处理的思想。NLTK是python中研究自然语言的非常优秀的第三方库,里面集中了非常多的自然语言处理方式的算法,不需要自己去编写算法,可以让我们更多的去关系应用本身。NLTK的
go2coding
·
2023-08-27 11:52
自然语言处理NLTK
NLTK
【NLP的python库(01/4) 】: NLTK
它还具有一组丰富的附加功能,例如内置
语料库
,NLP任务的不同模型以及与SciKitLearn和其他Python库的集成。本文是对NLTK的简要介绍。
无水先生
·
2023-08-27 11:51
LLM和ChatGPT
自然语言处理
python
人工智能
BERT 模型微调实战:使用Transformers微调BERT模型实现问答和文本分类任务
BERT模型的核心是Transformer编码器,它可以在大规模
语料库
上进行无监督预训练,然后通过微调在各种NLP任务上进行微调。
技术狂潮AI
·
2023-08-27 08:24
LLM应用实战
bert
分类
人工智能
基于LDA模型的主题分析
先看下数据:1、建立词典、
语料库
fromgensimimportcorpora,models#主题挖掘,提取关键信息#建立词典,去重pos_dict=corpora.Dictionary([[i]foriinword_data_pos.word
桂花很香,旭很美
·
2023-08-26 14:53
Python
NLP
python
机器学习
【seaweedfs】3、f4: Facebook’s Warm BLOB Storage System 分布式对象存储的冷热数据
论文地址Facebook的照片、视频和其他需要可靠存储和快速访问的二进制大型对象(BLOB)的
语料库
非常庞大,而且还在继续增长。
呆呆的猫
·
2023-08-25 05:56
#
seaweedfs
facebook
分布式
ChatGPT 教程--生成代码
chatGPT的核心技术是基于GPT(GenerativePre-trainedTransformer)模型,它是一种预训练语言模型,可以通过大规模的
语料库
进行训练,从而学习到语言的
炭烤毛蛋
·
2023-08-23 04:50
GPT
chatgpt
人工智能
Adapting Language Models to Compress Contexts
使语言模型适应上下文压缩摘要1引言2相关工作3方法4实验5上下文学习6压缩检索
语料库
实现高效推理7结论不足摘要1引言2相关工作3方法4实验5上下文学习6压缩检索
语料库
实现高效推理7结论我们引入了一种训练策略
UnknownBody
·
2023-08-22 08:31
LLM
语言模型
人工智能
自然语言处理
工作场景下英语学习:方法与路径 (课堂笔记)
现任上海交通大学外国语学院院长,上海交通大学中国形象研究中心主任,兼任第三届全国翻译专业学位研究生教育指导委员会委员、中国翻译协会翻译理论与翻译教学委员会副主任、全国
语料库
与跨文化研究论坛理事长、中国认知神经语言学研究会副会长等社会职务
ali子迁
·
2023-08-22 03:08
Python如何把英文句子切分成单词列表
在
语料库
语言学中,为了得到词表,有时需要把英文切分成列表。这时就需要对字符串中的标点进行处理。本人经过探索发现了几种不错的方法,供大家参考使用。
PythonFun
·
2023-08-17 11:00
python
基础操作
python
nlp
genism word2vec方法
文章目录概述使用示例模型的保存与使用训练参数详解([原链接](https://blog.csdn.net/weixin_44852067/article/details/130221655))
语料库
训练概述
琼06
·
2023-08-17 10:34
word2vec
人工智能
自然语言处理
大语言模型LLM的一些点
LLM发展史GPT模型是一种自然语言处理模型,使用Transformer来预测下一个单词的概率分布,通过训练在大型文本
语料库
上学习到的语言模式来生成自然语言文本。
远洋号
·
2023-08-16 14:29
语言模型
人工智能
自然语言处理
大语言模型LLM的一些点
LLM发展史GPT模型是一种自然语言处理模型,使用Transformer来预测下一个单词的概率分布,通过训练在大型文本
语料库
上学习到的语言模式来生成自然语言文本。
超人汪小建(seaboat)
·
2023-08-16 00:14
LLM
大模型
语言模型
人工智能
自然语言处理
大模型
LLM
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他