语料

Generative AI 新世界 | 大语言模型（LLMs）在 Amazon SageMaker 上的动手实践

在上一篇《GenerativeAI新世界：大型语言模型（LLMs）概述》中，我们一起探讨了大型语言模型的发展历史、语料来源、数据预处理流程策略、训练使用的网络架构、最新研究方向分析（AmazonTitan
·2023-06-07 02:03

实现LDA主题模型分析网购满意度数据|附代码数据

研究人员对各大电商平台海量用户的评价数据进行分析，得出智能门锁剁手攻略语义透镜顾客满意度和关注点我们对于评价数据进行LDA建模，就是从语料库中挖掘出不同主题并进行分析，换言之，LDA提供了一种较为方便地量化研究主题的机器学习方法
·2023-06-06 22:23

通俗易懂的ChatGPT的原理简介

其基本原理是通过训练大规模语料库中的数据，生成模型，从而实现自然语言处理的任务。本文着重介绍了ChatGPT的训练方法和应用场景，并提到了一些面临的挑战和问题。
qq_41771998·2023-06-06 21:34

embedding之word2vec

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。那么它是如何帮助我们做自然语言处理呢？
不可能打工·2023-04-21 20:34

收藏丨20个中文语料数据集，含数学考试、公务员考题、医患对话等

#要想训练出具有中文语境特色的大语言模型，中文语料数据必不可少，今天给大家分享20个中文语料数据集，欢迎转发、分享，催更下一期No.1Math23K(Math23KforMathWordProblemSolving
OpenDataLab·2023-04-21 13:06

Chat GPT模型GPT-3学习

什么是ChatGPTGPT全称GenerativePre-trainedTransformer，是一种预训练语言模型，旨在通过学习大量语料来生成合理的文本。
AIGCer·2023-04-21 10:47

企业不会用、不敢用AIGC+ 服务怎么办，不妨试一下它？

AIGC是指人工智能通用语言模型(ArtificialGeneralLanguageModel),是一种具有极高自然语言理解能力的人工智能模型,其通过大规模语料库训练,能够像人类一样自然地理解和生成语言
洋葱1702·2023-04-21 05:43

【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目 统计语言模型之HMM初步学习总结

目录语法模型二元语法模型HMM（隐马尔可夫模型）概率计算引入概念初始概率向量状态转移概率矩阵观测概率矩阵（也称发射概率矩阵）语法模型语料库文本：研究生命起源研究生命题大纲研究生招生信息网计算3个句子的概率
鹏晓星·2023-04-20 20:32

事件抽取综述

事件抽取综述1基本概念1.1事件1.2事件抽取2国内外研究现状3语料库3.1ACE事件语料库3.2MUC语料库3.3TDT语料库3.4KBP语料库3.5ECB语料库3.6CEC语料库4典型方法4.1限定域事件抽取
凡心curry·2023-04-20 17:15

知识图谱（七）——事件抽取

文章目录一、任务概述1、事件的定义2、事件抽取的定义3、相关评测和语料资源二、限定域事件抽取1、基于模式匹配的事件抽取方法1）有监督的事件模式匹配2）弱监督的事件模式匹配3）优缺点：2、基于机器学习的事件抽取方法
__盛夏光年__·2023-04-20 17:44

分享一个国内使用的ChatGPT的方法

它是由OpenAI公司开发的一种语言模型，可以在大规模语料库上进行无监督学习，并生成高质量的自然语言文本。ChatGPT可以用于多种应用场景，例如智能客服、语音助手、聊天机器人等。
書盡·2023-04-20 06:23

词的表示方法——词向量

缺点：（1）纬度灾难，有多少个词语我们的维度就多大，对于庞大的语料库来说，存储量和计算量都
我是小蔡呀～～～·2023-04-20 00:38

BERT的输入输出是什么？

从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP
诚诚程程成·2023-04-20 00:56

二分类负采样方法

负采样的采样方法：抽取负例：让语料库中常出现的单词易被抽到，不常出现的单词难被抽到。基于频
算法技术博客·2023-04-19 18:31

采用推理的方法认知单词、CBOW模型

需要生成所有单词的共现矩阵，再对这个矩阵进行SVD，以获得密集向量，如果语料库处理的单词数量非常大，将需要大量的计算资源和时间。
算法技术博客·2023-04-19 18:31

CBOW模型的数据预处理

数据预处理：从语料库生成上下文和目标词。如下图所示，contexts的各行成为神经网络的输入，target的各行成为正确解标签（要预测出的单词）。
算法技术博客·2023-04-19 18:31

通过共现矩阵和余弦相似度实现机器对单词的认知、python实现

通过共现矩阵和余弦相似度实现机器对单词的认知、python实现本文介绍的定义：一、语料库预处理二、单词的分布式表示三、单词的相似度四、相似单词排序本文介绍的定义：语料库、计数方法的目的、语料库预处理、单词的分布式表示
算法技术博客·2023-04-19 18:30

《人民日报》评论热点话题金句30| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月7日）

1.健全关键核心技术攻关新型举国体制标签：政治类，经济类背景中央全面深化改革委员会第二十七次会议参考语料要发挥我国社会主义制度能够集中力量办大事的显著优势，充分发挥市场机制作用，大幅提升科技攻关体系化能力
47fed7735c2d·2023-04-19 09:41

《人民日报》评论热点话题金句39| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月16日）

参考语料没有伟大斗争，就没有新时代的历史性成就、历史性变革
47fed7735c2d·2023-04-19 03:37

NLP作业01：利用HMM实现词性标注

实现词性标注作业要求我在这个课程的目标实现词性标注这个作业在哪个具体方面帮助我实现目标代码实现参考文献1.隐马尔科夫模型 2.基于HMM的词性标注 3.基于HMM+Viterbi算法的词性标注Python文章目录作业内容HMM模型介绍✨维特比算法介绍代码展示作业内容1.利用“1998人民日报词性标注语料库
风逸尘_lz·2023-04-19 02:06

ChatGPT的原理分析

GPT模型的训练使用了海量的语料库，可以预测下一个单词、短语、句子或文本，从而实现自然语言生成。
老王学长·2023-04-17 22:59

《人民日报》评论热点话题金句42| 结构化面试考点 | 申论规范化表达词 | 公考国考省考申论素材积累（2022年9月19日）

参考语料只有把人生理想融入国家和民族的事业中，才能最终成就一番事业。有信念、有
47fed7735c2d·2023-04-17 20:48

Struc2Vec论文浅见

u与v两个节点之间是不相邻的，但是结构相似1.Abstract在过往很多的Graphembedding都是通过节点的相似度组织语料，如node2vec,deepwalk都是基于根据邻居节点的相似度来组织语料
Salon_sai·2023-04-16 23:38

语料（GOVERNMENT AND SOCIETY)

1.cutbackonForthesakeofyourwellbeing,youshouldlookforwaystocutbackonschoolworkandextracurricularactivities-thoughthat'snoteasyforoverachieverstohear.2.beliableforIfastudentgetinjuredonanaturehike,isth
松饼宋秉彦·2023-04-16 17:23

NLP入门之——Word2Vec词向量Skip-Gram模型代码实现（Pytorch版）

简单来说，Word2Vec其实就是通过学习文本语料来用词向量的方式表示词的语义信息，即通过一个高维向量空间使得语义上相似的单
lym-ucas·2023-04-16 10:46

第二章 自然语言处理与单词的分布式表示

目录2.1自然语言处理（NaturalLanguageProcessing，NLP）2.2同义词词典2.2.1WordNet2.2.2同义词词典的问题2.3基于计数的方法2.3.1基于Python的语料库的预处理
路哞哞·2023-04-15 13:52

AISHELL-3语料库及格式解读

AISHELL-3希尔贝壳中文普通话语音数据库AISHELL-3的语音时长为85小时88035句，可做为多说话人合成系统。录制过程在安静室内环境中，使用高保真麦克风（44.1kHz，16bit）声调的标记格式采用数字1、2、3、4、5,代替《汉语拼音方案》中声调阴平（ˉ），阳平（ˊ），上声（ˇ），去声（ˋ），轻声（不标调）这几个标调符号韵律的标记格式韵律分成四级，分别用#4，#3，#2，#1表示。
子燕若水·2023-04-15 09:51

词句相似度计算——余弦相似度

第一步要做的肯定是分词，把一个句子分成一组一组的散词，分词一般我们会用现成的语料库，比如结巴分词是吧，传说中的最好用的中文分词模块包。如果不是专业性特别强的方向，足矣，如果是专项的，比如医学、金融学、
罗小丰同学·2023-04-15 04:56

python 最简单爬虫

今天由于需要学习gnmt,所以需要下载语料，完成一个最简单Python爬虫，目标网页为纯文字形式importurllib2importcodecsimportsysreload(sys)sys.setdefaultencoding
王小鸟_wpcool·2023-04-15 02:54

模型优势缺陷整理

2.学习不足问题：尽管bert模型在大规模语料库上进行了预训练，但在某些任务上，它可能会出现学习不足的问题，导致性能下降。否定学习能力差。
是Perryl呀·2023-04-14 17:18

python-sklearn实现一个简易的智能问答机器人

数据预处理主要是对语料库进行收集，并对语料库进行筛选转换为需要的格式；然后使用朴素贝叶斯对处
LiangJun.py·2023-04-14 10:58

语料库汇总

1.BCC语料库北京语言大学的BCC汉语语料库，总字数约150亿字，包括：报刊（20亿）、文学（30亿）、微博（30亿）、科技（30亿）、综合（10亿）和古汉语（20亿）等多领域语料。
_2c_·2023-04-14 08:35

关于大模型领域迁移相关工作的记录

斯坦福在这之上最先使用了self-instruction生产的52k语料，使用lora技术微调开源了alpaca，据此经验，一系列羊驼模型出现
wenweny2020·2023-04-14 07:07

ptuning v2 的 chatglm垂直领域训练记录

thunlpchatglm6B是一款基于海量高质量中英文语料训练的面向文本对话场景的语言模型。
路人与大师·2023-04-14 06:02

【还有七天】1001番茄践行者-Day49

雅思听说读写【20个番茄】听力——审题录播视频＋剑8点听复听写作——杜杜写作直播＋课后作业阅读——真经总纲＋真经5口语——每日背三句二、考试元技能【2个番茄】Week1直播＋思维导图课程＋费曼80%常规早听早过语料库
雪dou国·2023-04-14 06:16

Word2vec

语言概率模型计算一个句子的概率的概率模型，基于一个语料库来构建。生成一个句子可以利用贝叶斯公式进行链式分解，求得生成的概率。通常是先计算好词串出现次数，将概率值存起来，下
rssivy·2023-04-14 00:39

新一代AI带来更大想象空间！上海将打造元宇宙超级场景！

比如，人工智能和元宇宙数字人的结合，在社交领域，智能虚拟数字人可以通过学习用户的语料，为用户提供更加有趣和互动性更强的个性化服务；教育培训领域可以为学生提供个性化的学习计划和学习指导；医疗领域可以为
疯狂创作者·2023-04-13 19:57

2019-04-10

本计划，今天认真准备优质课，寻找语料，理清思路。一下子都不需要了。今天就过得很颓。上午的课也没有认真准备。勉强凑合吧。因为上课结束的时间晚，并没有时间运动。只是完成TED的课。并没有其他成就。
杜学智·2023-04-13 18:41

简单快捷的人工智能相关小工具集合～

简单快捷的人工智能相关小工具集合～目录一，语料冲突检测工具二，通过文本相似关系进行聚类三，AI服务的线上埋点数据反馈四，AI服务“堵塞守护”工具五，AI服务压力测试工具六，快速发送邮件七，绘制多折线对比图一
从416到北京的ZMZ·2023-04-13 17:41

sql sever如何进行英文词频统计_英语语料库及词频表介绍

一、英文语料库介绍顾名思义，语料库就是集合了英语书面和口语等各类英文表述方式的语言材料集合。它收集的英语词汇包罗万象，亘古棉今。是英文词汇的一个大全集合。下面是目前主流的
weixin_39701288·2023-04-13 12:46

TF-IDF

这时，需要一个语料库（corpus），用来模拟语言的使用环境。如果一个词越常见，那么
放开那个BUG·2023-04-13 03:55

什么是chatGPT提示工程

提示工程提示工程就是创建一堆指令，提示（询问、指导）chatGPT这类语言模型输出语料文本。提示工程帮助用户控制语言模型输出，生成适合的特定需求。
后海有屋·2023-04-13 01:30

训练ChatGPT的必备资源：语料、模型和代码库完全指南

在这个github项目中，人民大学的老师同学们从模型参数（Checkpoints）、语料和代码库三个方面，为大家整理并介绍这些资源。接下来，让我们一起来
夕小瑶·2023-04-12 18:28

使用chatgpt写6.5分作文范文

因为如果神经网络都是拿大量的语料库去训练的，你跟他说中文，他对应的就是中文的资料库，而不是都是英文思维，之后他立马给你翻译了一下，这是很一样的。所以，我认为应该是要尽量跟他使用英文去交流，这样你
盛溪的猫猫·2023-04-12 15:29

Hugging Face Course-Diving in 抱抱脸 Tokenizers library （Introduction & BPE）

在这些情况下，使用在来自另一个领域或语言的语料库上预训练的标
爱睡觉的Raki·2023-04-12 11:01

利用python进行tf-idf算法绘制词云图_TF-IDF算法解析与Python实现方法详解

它能够用于评估一个词语对于一个文集或一个语料库中
weixin_39644952·2023-04-12 05:58

论文阅读 A Survey of Large Language Models 1

文章目录摘要介绍回顾LLMS资源公开可用的模型检查点或API具有数十亿个参数的模型具有数千亿个参数的模型LLM公开API常用语料库书籍CommonCrawlReddit链接维基百科代码其他库资源摘要讨论了机器语言智能的发展
赫凯·2023-04-12 05:31

批量转换在线工具

www.freeconvert.com/epub-to-pdfhttps://www.aconvert.com/ebook/epub-to-pdf/基于在线版正则式工具的中文自动切句的最浓缩表达式，适合英汉平行语料建设者
静_静_·2023-04-11 17:29

kenlm语言模型相关，c++、python相关接口

上周五看了下语言模型相关的工具，之前也打算自己造轮子，发现还是不行，别人开源了就用别人的，其中c++版本比较典型的就是kenlm，这个工具号称单机版训练超级快，经过测试确实很快，支持大规模的语料训练，文件的输入格式一行行以空格隔开的文本
旭旭_哥·2023-04-11 13:58

奇思妙想，用ChatGPT写代码怎么样呢？来看看写一个简单的Android apk

OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型
程序猿会指北·2023-04-11 08:32
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他