E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
语料库
NLPer福利-中文语言理解基准测【CLUEbenchmark】
www.cluebenchmarks.com/Github链接:https://github.com/CLUEbenchmark/CLUE中文语言理解测评基准,包括代表性的数据集、基准(预训练)模型、
语料库
致Great
·
2023-10-28 20:56
ChatGLM2部署实战体验
然而,这些模型大都对中文的支持能力相当有限,国内清华大学针对这个问题,扩充中文token,采用自建的中文
语料库
进行训练,生成ChatGLM2模型,较上一代ChatGLM1性能有了显著提升,在答复内容的可靠性和推理速度
Spielberg_1
·
2023-10-28 08:08
人工智能
大规模语言模型(LLM)
自然语言处理
语言模型
nlp
chatgpt
自制儿童启蒙集中识字
语料库
与分级字表
儿童启蒙阶段的识字,按核心目标和相应的教学形式,可以分为集中识字和随机识字两个大类。所谓集中识字,就是在有限的时间,通过有限的文字材料,使儿童尽可能快,尽可能多地识字。它的核心目标是效率。汉字多得很,学哪些,先学哪些、后学哪些,很有讲究。周有光先生说:字数太多、字无定量,是汉字难学难用的主要原因。在难于减少字量的今天,可以用“分层使用”的方法,减少学习和使用的不便。……经验告诉我们,与其学多而不能
黄复雄
·
2023-10-27 23:06
大语言模型(LLM)综述(二):开发大语言模型的公开可用资源
ASurveyofLargeLanguageModels前言3.RESOURCESOFLLMS3.1公开可用的模型CheckPoints或API3.2常用
语料库
3.3库资源前言随着人工智能和机器学习领域的迅速发展
青云遮夜雨
·
2023-10-27 20:33
NLP
语言模型
人工智能
自然语言处理
只需100GB内存,让Falcon 180B在你的电脑上起飞
以下是有关Falcon180B的一些主要特点:使用精选
语料库
增强的RefinedWeb的3.5万亿个Token进行预训练(
技术狂潮AI
·
2023-10-27 04:00
LLM应用实战
AI模型
Falcon
180B
GPTQ量化
[论文笔记]NEZHA
预训练语言模型由于具有通过对大型
语料库
进行预训练来捕获文本中深层上下文信息的人能力,因此在各种自然语言理解任务中均取得了巨大成功。然而,对中文预训练模型B
愤怒的可乐
·
2023-10-27 01:01
论文翻译/笔记
论文阅读
NEZHA
LLM-Based Agent
如果将NLP到AGI的发展路线分为五级:
语料库
、互联网、感知、具身和社会属性,
银晗
·
2023-10-26 19:56
深度学习基础
算法
1024程序员节
吴军数学之美第二版学习笔记1
第一章文字和语言vs数字和信息一、概念和主题1,通信的原理2,信息传播的模型信息源--->信道--->接收者3,信源编码4,最短编码5,解码的规则和语法6,聚类7,校验位8,双鱼对照文本9,
语料库
和机器翻译
汤普森
·
2023-10-26 10:11
[BELLE] Chathome:development and evaluation of a domain-specific llm for home renovation
通过在大规模
语料库
上进行预训练,L
Kun Li
·
2023-10-26 08:58
大模型
多模态和生成
BELLE
chatgpt
【Gensim概念】01/3 NLP玩转 word2vec
在人工智能和自然语言处理领域,Gensim是一个流行的工具,用于处理大量的文本和
语料库
。该模块使用高度优化的C例程、数据流和Pythonic接口来实现word2vec系列算法。word2ve
无水先生
·
2023-10-26 02:37
NLP高级和ChatGPT
人工智能
自然语言处理
word2vec
人工智能
python beautifulsoup 抓取网页正文内容
最近要跟着同学做一个小项目,需要自己找
语料库
,于是我用python的beautifulsoup和urllib来抓取一些网页内容来做训练语料。现在写下来备忘,虽然还有些不足。
lan_se_ye_ge
·
2023-10-25 00:04
python
python
巧用4招高效提升雅思口语印象分
同时也要不断的充实自己的
语料库
,可以像口
女IM二
·
2023-10-24 07:49
1.写一个算法模型以及python算法工程化步骤
这可以是一个包含大量文本数据的
语料库
。数据预处理:对数据进行预处理以准备训练。这可能包括文本清洗、分词、去除停用词等操作。构建词汇表:根据预处理后的数据,构建一个词汇表。
森火123
·
2023-10-23 20:05
AI基本开发技术
算法
python
开发语言
NLP:从头开始的文本矢量化方法
在整个
语料库
的统计NLP中,应用了不同的向量化技术,例如one-hot、计数或频率编码。在神经NLP中,词向量(也称为词嵌入)占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。
无水先生
·
2023-10-23 08:41
NLP高级和ChatGPT
人工智能
自然语言处理
人工智能
基于文本内容的推荐系统开发记录
gensim等模块的调用)内存溢出问题的解决编写Pythonrest服务接口推荐模型逻辑模块逻辑类图基本思路是围绕一个json文件展开,将文本对应信息保存在json中,json定时根据更新过后的字典库、
语料库
进行更新
IMISer
·
2023-10-23 05:45
Selenium获取百度百科旅游景点的InfoBox消息盒
获取维基百科的消息盒,同样可以通过Spider获取网站内容,最近学习了Selenium+Phantomjs后,准备利用它们获取百度百科的旅游景点消息盒(InfoBox),这也是毕业设计实体对齐和属性的对齐的
语料库
前期准备工作
进击的雷神
·
2023-10-22 10:42
selenium
测试工具
NLP:从头开始的文本矢量化方法
在整个
语料库
的统计NLP中,应用了不同的向量化技术,例如one-hot、计数或频率编码。在神经NLP中,词向量(也称为词嵌入)占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。
无水先生
·
2023-10-22 07:37
LLM和ChatGPT
人工智能
自然语言处理
人工智能
基于pytorch的文本情感识别(LSTM,CNN)
使用的是谭松波酒店评价
语料库
,其中包含3000条负面评价,7000条正面评价。一、数据处理与Word2ve
Die Young?
·
2023-10-20 23:18
NLP文本
python
自然语言处理
深度学习
pytorch
为何BERT在 NLP 中的表现如此抢眼?
www.toutiao.com/a6701812430017659396/2019-06-1308:55:01Transformer体系结构模型,特别是BERT,已经被证明在许多NLP任务中是相当有效的,通过在大规模
语料库
上以非监督方式预先训练的模型进行微调
喜欢打酱油的老鸟
·
2023-10-20 14:35
人工智能
为何BERT在
NLP
中的表现如此抢眼?
2021斯坦福CS224N课程笔记~2
GloVe模型词向量评估wordsenses2.2.回顾:word2vec的主要思想2.2.1.主要步骤具体见1.3.2Word2Vec算法的具体思路(1)随起:从随机的词向量开始;(2)遍历:遍历整个
语料库
中的每个单词
mwcxz
·
2023-10-20 12:54
斯坦福CS224N学习笔记
机器学习
算法
人工智能
写论文不用构建
语料库
!只需要福昕PDF阅读器高级搜索
写论文不用构建
语料库
!只需要福昕PDF阅读器高级搜索文章目录写论文不用构建
语料库
!
hehedadaq
·
2023-10-20 11:07
论文阅读笔记
学习笔记
教程
pdf
人工智能
语料库
福昕
论文写作
Github上下载txt文档乱码问题
这几天在学着做中文自然语言处理,跟着aespresso博主的教程,采用谭松波老师的酒店评论
语料库
,进行情感识别训练。但是这个过程中遇到一些文档转码的问题。
屁屁肉
·
2023-10-19 06:30
语料库
与术语库
在线
语料库
(国内)
语料库
:http://yulk.org/BCC
语料库
:http://bcc.blcu.edu.cn/
语料库
在线:http://www.cncorpus.org/北京大学中国语言学研究中心
windfunkey
·
2023-10-19 02:31
NLP学习------HanLP使用实验
我跟据词向量的作者[6]所使用的分词工具来分词,会比不同工具(jieba)的效果要好,因为都是同一模式的分词,分出来的词应该都会存在于大型
语料库
中。
gladosAI
·
2023-10-18 12:03
NLP
NLP
hanlp
jieba
python 单词纠错_用 Python 实现英文单词纠错功能
比如在Word中:单词拼写错误单词纠错算法首先,我们需要一个
语料库
,基本上所有的NLP任务都会有
语料库
。
Showtime 100
·
2023-10-18 09:37
python
单词纠错
Wor2vec application for Recommenders and Advertising
软件中每个月有超过700million首歌曲被听,其中每个用户为
语料库
中的单个单词,其歌单就如一个句子,通过该Context-Word信息,训练出每首歌单独的嵌入。
BoringFantasy
·
2023-10-18 08:23
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference
NarrowBERT:加速掩蔽语言模型的预训练和推理摘要1引言2NarrowBERT3实验4讨论与结论局限性摘要大规模语言模型预训练是自然语言处理中一种非常成功的自监督学习形式,但随着时间的推移,模型和预训练
语料库
变得越来越大
UnknownBody
·
2023-10-18 02:12
LLM
语言模型
人工智能
自然语言处理
AFL安全漏洞挖掘
安全之安全(security²)博客目录导读ATF(TF-A)/OPTEE之FUZZ安全漏洞挖掘汇总目录一、AFL简介二、AFL的安装三、代码示例及种子
语料库
四、AFL插桩编译五、AFL运行及测试六、AFL
安全二次方security²
·
2023-10-18 00:57
FUZZ模糊测试
AFL
FUZZ
模糊测试
安全漏洞挖掘
怎么测孩子的英语单词量?3个免费好方法
它的测试原理是,基于英国国家
语料库
(BNC)、英国词典,从450000个单词库里,选取难度不等的160个单词,让测试者勾选出自己认识,再根据复杂的算法得出单
小Oly英语启蒙
·
2023-10-17 13:18
深入推荐引擎2:YouTube 视频推荐系统
他们的推荐帮助数十亿用户从不断增长的视频
语料库
中发现个性化内容。根据CristosGoodrow(YouTube工程副总裁)的说法,推荐
程序媛一枚~
·
2023-10-16 01:19
Python
OpenCV
图像处理
Python进阶
计算机视觉
视频推荐系统
推荐引擎
YouTube
排名网络
候选生成网络
python
语料库
应用入门讲座
语料库
应用入门讲座引言主要介绍
语料库
的概念、功能、意义和基础的方法。主要包括:1.什么是
语料库
?
语料库
有什么作用?2.
语料库
的分类有哪些?3.
语料库
有什么功能?4.常见的
语料库
工具有哪些?
PythonFun
·
2023-10-15 18:52
基础操作
语料库
人工智能
机器学习
隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注
不同的
语料库
采用了不同的词性标注集,一般都含有形容词、动词、名词等常见词性。下图就是Han
mantch
·
2023-10-13 01:55
自然语言处理步骤
1、语料获取语料的来源一般有:(1)大厂公开的已经建立好的开放
语料库
;(2)利用python等工具从网页上爬取的内容;(3)公司自己的内部数据。
Alina0619
·
2023-10-12 17:06
DYVAL: GRAPH-INFORMED DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS
然而,对其性能的担忧是由于其大量的训练
语料库
中潜在的数据污染。此外,当前基准的静态
UnknownBody
·
2023-10-12 16:29
LLM
语言模型
人工智能
自然语言处理
[源码和文档分享]基于开源Alice的聊天机器人
语料库
中的pattern是模式的意思,可理解为问题,而相应的template可理解为回答(而这一对问答被包裹在了category标签里面)。
ggdd5151
·
2023-10-12 03:49
【NLTK系列01】:nltk库介绍
它为50多个
语料库
和词汇提供了易于使用的界面资源,如WordNet,以及一套用于分类、标记化、词干提取、标记、解析和语义推理的文
无水先生
·
2023-10-11 00:19
LLM和ChatGPT
人工智能
自然语言处理
人工智能
nlp
NLP项目:维基百科文章爬虫和分类【02】 -
语料库
转换管道
其次,一个
语料库
对象,它处理完整的文章集,允许方便地访问单个文件,并提供全局数据,如单个令牌的数量。二、背景介绍在本文中,我将继续展示如何创建一个NLP项目,以从
无水先生
·
2023-10-10 17:52
LLM和ChatGPT
人工智能
自然语言处理
爬虫
分类
网络
语料库
减少论文语言错误利器!
利用网络
语料库
是一个很好的办法,今天查尔斯沃思论文润色将告诉大家如何利用网络
语料库
自主的解决上述问题。网络
语料库
突破了时间和空间的限制,利用互联网技术成为极其便利的语言学习和研究资源。
查尔斯沃思英国编辑团队
·
2023-10-09 22:03
都在喂大规模互联网文本,有人把著名的 C4
语料库
“读”透了
大规模语言模型使得许多下游自然语言处理任务取得了值得注意的进展,研究人员倾向于使用更大的文本
语料库
来训练更强力的语言模型。
数据派THU
·
2023-10-09 12:53
大数据
编程语言
python
机器学习
人工智能
第2章 构建自定义
语料库
与所有机器学习应用程序一样,最主要的挑战是确定噪声中是否存在信号,以及信号具体隐藏在何处。这是通过特征分析过程完成的,确定文本的含义和潜在结构通过编码体现为哪些特征、属性或维度。前一章中,我们看到,尽管自然语言具有复杂性和灵活性,但如果能提取其结构特征和上下文特征,就可以进行建模。后续所有章节的大部分工作将围绕着"特征提取"和"知识工程"展开,包括单独词汇单词的识别、同义词集合、实体间相互关系以及
Triumph19
·
2023-10-09 12:44
利用Python进行数据分析
python文本分析
机器学习
人工智能
python
NLP 项目:维基百科文章爬虫和分类【01】 -
语料库
阅读器
在接下来的文章中,我将展示如何实现维基百科文章爬虫,如何将文章收集到
语料库
中,如何应用文本预处理、标记化、编码和矢量
无水先生
·
2023-10-09 12:40
LLM和ChatGPT
人工智能
自然语言处理
爬虫
分类
bert入门
BERT的主要目标是在大规模文本
语料库
上进行预训练,然后可以通过微调来用于各种NLP任务,例如文本分类、命名实体识别、问答等。BERT的核心思想是在大规模文本
语料库
上进行预训
李亚松-
·
2023-10-09 11:40
bert
人工智能
深度学习
多设备交互研究综述
多设备交互研究综述前言标题摘要CCSConceptsKERWORDS1引言2方法2.1创建相关文献的
语料库
2.2筛选和筛选标准2.3标记2.4分析2.5统计调查的规模2.6开源数据3研究历史和术语统一3.1
大爱助手
·
2023-10-07 16:58
科研
论文翻译
人机交互
微软
采访|使用过ChatGPT的同学在与人工智能对话后的体验
ChatGPT拥有从巨大
语料库
中学习、理解自然语言文本的强大功能。强大的对话、理解能力使得它仅仅用了两个月就有了高达1亿的活跃用户。
Do1twell
·
2023-10-06 10:09
chatgpt
人工智能
GPT的优势和GPT缺点
GPT技术是目前最为先进的自然语言处理模型之一,拥有数亿个参数和多层的神经网络结构,可以处理超过数十亿级别的
语料库
数
zmjia111
·
2023-10-03 21:58
机器学习
python
R语言
gpt
集成学习
python
机器学习
开发语言
人工智能
gensim-
语料库
和向量空间
字符串到向量string=["Humanmachineinterfaceforlababccomputerapplications","Asurveyofuseropinionofcomputersystemresponsetime","TheEPSuserinterfacemanagementsystem","SystemandhumansystemengineeringtestingofEPS
python_run
·
2023-10-03 15:51
LLM之Colossal-LLaMA-2:Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
文章提到利用多种中文和英文数据集构建
语料库
,然后对语料进行预处理,将其转化为jsonl格
一个处女座的程序猿
·
2023-09-30 19:49
NLP/LLMs
自然语言处理
LLaMA-2
大语言模型
Colossal-AI
基于python的自然语言处理NLP详细教程(一)
写在前面——本文关于自然语言处理的内容:1.相关第三包的准备2.获取
语料库
及停用词信息3.分词4.词频统计5.去停用词6.基于TF-IDF理论、词袋模型等的文本向量化处理7.机器学习、情感分析8.简单可视化一
千家
·
2023-09-30 19:17
自然语言处理
python
自然语言处理
nlp
数据分析
《学术小白学习之路12》进阶-基于Python实现中文文本的DTM主题动态模型构建
《学术小白学习之路》基于Python实现中文文本的DTM主题动态模型构建一、数据选择二、数据预处理三、输入数据ID映射词典构建四、文档加载成构造
语料库
五、DTM模型构建与结果分析六、结果进行保存七、保存模型一
驭风少年君
·
2023-09-29 17:20
学术小白学习之路
学习
python
数据库
《学术小白学习之路11》DTM主题动态模型原理与基础构建
结果的输出一、LDA与DTM的区别LDA主题模型主要针对一段段的文档可以得出每个主题,所对应主题词的词语的概率该模型的主题概率的生成是基于文档层面的而BTM是为分析短文本而生,该模型的生成是基于整个的
语料库
生成词语概率没有文档的层级
驭风少年君
·
2023-09-29 17:19
学术小白学习之路
学习
笔记
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他