N-gram语言模型

Elasticsearch：与多个 PDF 聊天 | LangChain Python 应用教程（免费 LLMs 和嵌入）

在本博客中，你将学习创建一个LangChain应用程序，以使用ChatGPTAPI和Huggingface语言模型与多个PDF文件聊天。
Elastic 中国社区官方博客·2023-09-29 03:03

景联文数据标注：AI大模型产生幻觉该如何应对？

大语言模型在诸多下游任务中展现出令人瞩目的能力，然而在运用过程中仍然存在一些问题。幻觉现象是目前阻碍大模型成功应用的关键问题之一。什么是大模型幻觉问题？
景联文科技·2023-09-29 02:47

MLC LLM

MLCLLM是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，此外还提供了一个高效的框架，供每个人根据自己的用例进一步优化模型性能。
AI生成式曾小健2·2023-09-29 01:30

人工智能AI 全栈体系（八）

在介绍神经网络语言模型结构的时候，每个词w都对应一个长度为m的向量C(w)，这些向量拼接在一起构成了神经网络语言模型的输入x。但是并没有说如何得到C(w)。
柠檬小帽·2023-09-29 00:43

hhh百度地铁广告太搞笑了；24家国内大模型公司面经；LLM法律应用实践；AI+教育产品图谱与工作流 | ShowMeAI日报

承包了北京地铁一号线的「大模型专列」，贴满了大语言模型和生成式AI相关主题的内饰，还有真(shuai)人(ge)版移动广告！
ShowMeAI·2023-09-28 23:11

【AI视野·今日NLP 自然语言处理论文速览 第四十一期】Tue, 26 Sep 2023

DailyComputationandLanguagePapersPhysicsofLanguageModels:Part3.1,KnowledgeStorageandExtractionAuthorsZeyuanAllenZhu,YuanzhiLi大型语言模型可以存储
hitrjj·2023-09-28 14:59

使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理

Gensim库简介机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地关注概念，只需将向量化看作一种将单词映射到数学空间的方法，同时保留其本身蕴含的信息。Gensim是世界上最大的NLP/信息检索Python库之一，兼具内存高效性和可扩展性。Gensim的可扩
今天喝奶茶了嗎·2023-09-28 13:11

在 Python 中从文本创建 N-Grams

文章目录使用for循环在Python中从文本创建n-gram使用NLTK在Python中创建n-gram在计算语言学中，n-gram对于语言处理、上下文和语义分析非常重要。
迹忆客·2023-09-28 13:07

《大模型AIGC系列课程》大纲

ChatGPT与OpenAIAPI的应用【大模型AIGC系列课程1-2】创建并部署自己的ChatGPT机器人第2章：LLM的第二大脑【大模型AIGC系列课程2-1】文本向量化【大模型AIGC系列课程2-2】大语言模型的
小爷毛毛（卓寿杰）·2023-09-28 11:01

Unigram,Bigram，N-gram介绍

Unigram,Bigram，N-gram介绍Unigram,Bigram，N-gram这三个概念，在学习自然语言的过程中大家可能会遇到。
Mr Gao·2023-09-28 11:16

如何成为提示词工程师（精简版）

语言模型：用于预测和生成语言序列的统计模型。语义理解：理解文本的意义和语境。机器翻译：将一种语言的文本翻译成另一种语言。信息抽取：从文本中提取结构化的信息，如实体、关系等。
'Wu'·2023-09-28 09:13

GPT如何避免从入门到放弃（一）——认识GPT

GenerativePre-trainedTransformer——生成式预训练变换模型GPT（GenerativePre-trainedTransformer）是一种基于Transformer架构的大型语言模型
'Wu'·2023-09-28 09:10

软件测试/测试开发丨利用人工智能自动找Bug

除了Bug检测，人工智能甚至还能根据需求说明，自动编写代码，这都是目前基于大语言模型的编程工具能做到的事情。
测试开发软件测试性能测试自动化测试·2023-09-28 08:22

使用Git下载大语言模型

在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。目录一、下载和安装Git二、Git的使用2.1初始化git本地仓库2.2安装git-lfs三、下载models文件3.1下载HuggingFace文件3.2下载魔塔社区模型文件一、下载
Dr.sky_·2023-09-28 08:48

神仙打架！谷歌和OpenAI竞相推出多模式AI

原创|文BFT机器人随着秋季的到来，科技界正在展开另一场季节性活动——科技巨头谷歌和OpenAI正在竞相发布下一代多模态大语言模型，这些高级模型能够解释图像和文本，使他们能够执行诸如从草图生成网站代码或以文本形式描述视觉图表等任务
BFT白芙堂·2023-09-28 07:21

大语言模型之十二 SentencePiece扩充LLama2中文词汇

大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。
shichaog·2023-09-28 07:50

【自然语言处理基础技能（NLP)】语言模型基础

【自然语言处理基础技能（NLP)】语言模型基础目录1.引言：朴素贝叶斯的局限性2.N-gram语言模型是啥？
皮卡丘的忧伤·2023-09-28 04:02

阿里云开源通义千问多模态大模型 Qwen-VL

Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。
深圳市晶立弘泰电子·2023-09-27 19:21

【Rust日报】2023-09-25 Rust + Wasm 是 AGI 的语言吗

Rust+Wasm是AGI的语言吗Vivian在GOSIM的演讲Rust+Wasm是AGI的语言吗中演示了如何使用Rust+Wasm在2MB包中运行巨大的语言模型-未来是轻量级的！
Rust语言中文社区·2023-09-27 16:58

BERT模型

BERT模型是Google推出的一个自编码语言模型，它基于Transformer架构，可以进行双向的语言理解。
AI 智能服务·2023-09-27 15:46

NLP BigModel

NLP基础建议看[CS224N2023]打基础【NLP入门】1.n元语法模型/循环神经网络【NLP入门】3.Word2Vec/GloVeLanguageModel：语言模型的马尔可夫假设（每个词出现的概率仅依赖前面出现的词
Yuezero_·2023-09-27 14:20

大模型人工智能师资培训·华南理工大学站重磅招募中！

伴随预训练大语言模型技术引发的产业变革，市场对AI人才需求也同样发生着深刻变化，教育迎来了新的机遇与挑战。
百度大脑·2023-09-27 14:47

浅谈ChatGPT附免费体验地址

ChatGPT是由OpenAI开发的大型语言模型，它代表着自然语言处理领域的最新进展。这个模型是通过大量的数据和先进的深度学习技术训练而成，具备了强大的语言理解和生成能力。
一个小浪吴啊·2023-09-27 12:22

9月人工智能论文和项目推荐

因为LLM的火爆，所以最近的论文都是和LLM相关的论文1、LongLoRAhttps://arxiv.org/abs/2309.12307LoRA是人工智能中有效扩展预训练语言模型(llm)上下文大小的一种方法
·2023-09-27 10:18

构建卓越语言模型应用的利器：LangChain | 开源日报 No.39

langchain-ai/langchainStars:61.3kLicense:MITLangChain是一个用于通过组合性构建LLMs应用程序的库。LLMs和Prompts：包括prompt管理、prompt优化、所有LLM的通用接口以及与LLMs一起使用的常见工具。Chains：超越单个LLM调用，涉及到多次调用(无论是对LLM还是其他实用工具)。LangChain为链提供了标准接口、许多与
开源服务指南·2023-09-27 07:20

清华用7个ChatGPT模拟《狼人杀》，结果出乎意料！

为了验证大语言模型的沟通、规划、反思等拟人化能力，清华研究团队发布了一篇名为“探索大语言模型在交流游戏中的应用：《狼人杀》实验”的研究论文。
RPA中国·2023-09-27 04:11

融资1亿美元的类ChatGPT模型开源啦！可商用，8个模型

目前，Writer在huggingface上开源了其使用的大语言模型Palmyra，有8个型号分别是small、base、20b-chat、Instru
RPA中国·2023-09-27 04:41

基于bert-base-chinese的二分类任务

使用hugging-face中的预训练语言模型bert-base-chinese来完成二分类任务，整体流程为：1.定义数据集2.加载词表和分词器3.加载预训练模型4.定义下游任务模型5.训练下游任务模型
失眠的树亚·2023-09-26 23:30

【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移

tree/master/PyTorch/built-in/foundation/ChatGLM-6BChat-GLM-6BforPyTorch概述简述ChatGLM-6B是一个开源的、支持中英双语的对话语言模型
hiascend·2023-09-26 22:03

Baichuan2大模型本地部署

作为今年九月份开源的一个中午大语言模型，Baichuan2已经在各个维度上取得了亮眼的结果，效果已经超过了当前火热的ChatGLM2-6B，可以通过自然语言交互的方式为你提供以下服务：提供知识：我可以回答各领域的问题
Dr.sky_·2023-09-26 18:03

推荐一个AI人工智能技术网站（一键收藏，应有尽有）

1、MentalAIMentalAI（https://ai.ciyundata.com/）是一种基于星火大模型和文心大模型的知识增强大语言模型，专注于自然语言处理（NLP）领域的技术研发。
偷拨网线的william·2023-09-26 16:00

4项简化IT服务台任务的ChatGPT功能

ChatGPT是OpenAI开发的机器学习模型，它使用基于生成预训练转换器（GPT）架构的大型语言模型（LLM）。ChatGPT以互联网上的海量
Zoho_Manager·2023-09-26 16:30

4项简化IT服务台任务的ChatGPT功能

ChatGPT是OpenAI开发的机器学习模型，它使用基于生成预训练转换器（GPT）架构的大型语言模型（LLM）。ChatGPT以互联网上的海量
·2023-09-26 15:32

RabbitMQ的使用（消息模型，死信队列）

从语言模型上说，Erl
sylvia_lily·2023-09-26 15:49

集成众多大模型的开源 AI 聊天、绘图软件 AIdea 最新版本 1.0.5 发布啦

AIdea是一款集成了主流大语言模型以及绘图模型的APP，采用Flutter+Gol
·2023-09-26 12:22

利用WSL2本地部署-通义千问Qwen-7B-Chat

本文主要介绍了利用WSL2本地部署通义千问Qwen-7B-Chat的方案，希望大家能通过本文搭建起自己的大语言模型。
ryancurry·2023-09-26 12:18

国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5

一、前言国产大模型有很多，比如文心一言、通义千问、星火、MOSS和ChatGLM等等，但现在明确可以部署在本地并且开放api的只有MOOS和ChatGLM。MOOS由于需要的GPU显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但ChatGLM可以在笔记本电脑部署（int4版本只需要6GB显存即可）。所以本文采用ChatGLM与ChatGPT做对比，看看国产模型的优点和缺点。会在选取
学术菜鸟小晨·2023-09-26 12:16

《BloombergGPT: A Large Language Model for Finance》全文翻译

《BloombergGPT:ALargeLanguageModelforFinance》-BloombergGPT：金融业的大型语言模型论文信息摘要1.简介1.1BloombergGPT1.2更广泛的贡献
酿久诗·2023-09-26 12:40

《Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf》全文翻译

《ExploringLargeLanguageModelsforCommunicationGames:AnEmpiricalStudyonWerewolf》-探索通信游戏的大语言模型：《狼人杀》的实证研究论文信息摘要
酿久诗·2023-09-26 12:10

《The Rise and Potential of Large Language Model Based Agents: A Survey》全文翻译

TheRiseandPotentialofLargeLanguageModelBasedAgents:ASurve-基于LLMs的代理的兴起和潜力：一项调查论文信息摘要1.介绍2.背景2.1AI代理的起源2.2代理研究的技术趋势2.3为什么大语言模型适合作为代理大脑的主要组件论文信息题目
酿久诗·2023-09-26 12:08

亚马逊投资Anthropic； OpenAI将推出新版ChatGPT

此举标志着亚马逊进一步利用生成式AI的新举措，满足用户对Anthropic大语言模型的需求，并扩大对AW
go2coding·2023-09-26 12:25

FinBERT: 金融领域的预训练语言模型

微信公众号：农药兑水，分享金融科技相关学术论文、开源项目、技术资讯，欢迎关注！BERT相信大家都不陌生，自2018年横空出世以来，屠榜各大自然语言处理榜单。今天介绍一个使用金融领域语料训练的BERT模型：FinBERT，出自IJCAI2020的论文"FinBERT:APre-trainedFinancialLanguageRepresentationModelforFinancialTextMin
农药兑水·2023-09-26 08:25

RWKV 语言模型：具有 Transformer 优点的 RNN

RWKV语言模型，这是一个具有巨大潜力的开源大型语言模型。由于ChatGPT和一般的大型语言模型最近受到了很多关注。
帅气多汁你天哥·2023-09-26 05:16

深度学习d2：文本预处理、语言模型、循环神经网络基础

文本预处理步骤读入文本代码：importcollectionsimportredefread_time_machine():#打开文本文件，创建文本对象fwithopen('/Users/wuruolan/Downloads/35-0.txt','r')asf:#每次处理文件的一行，strip函数去掉前缀、后缀的空格字符，lower函数把所有大写字母变成小写#re.sub为正则表达式的替换函数，由
RUOLAN_TJ·2023-09-26 05:21

LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】

文章目录2.大语言模型基础2.1、编码器和解码器架构2.2、注意力机制2.2.1、注意力机制（`Attention`）2.2.2、自注意力机制（`Self-attention`）2.2.3、多头自注意力
来杯Sherry·2023-09-26 03:03

LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】

文章目录3、语言模型训练数据3.1、词元切分3.2、词元分析算法3、语言模型训练数据数据质量对模型影响非常大。典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。
来杯Sherry·2023-09-26 03:00

基于通用LLM的一次测试用例自动生成的实验

其实LLM（大语言模型）是一种语言模型，由具有许多参数的人工神经网络组成，使用自监督学习或
CrissChan·2023-09-26 03:56

大模型存在“反转诅咒”现象，无法处理反向问题；Langchain课程资源

AI新闻大模型存在“反转诅咒”现象，无法处理反向问题摘要：最新研究发现，大语言模型存在“反转诅咒”现象，即明知道“A是B”，却答不出“B是A”。
go2coding·2023-09-26 03:24

[论文笔记]P-tuning

总体介绍根据训练目标，预训练语言模型可被分为三类：单向语言模型(GPT)用于自然语言生成(NLG)；双向语言模型(B
愤怒的可乐·2023-09-26 02:00

翻译像机翻？4点教会你ChatGPT高质量翻译

很多人都用过ChatGPT翻译，但翻译出来的结果比起Google翻译和DeepL这种，似乎翻译质量并没有好太多，但其实是你没有最大化的利用大语言模型的优势，如果你能善用ChatGPT（尤其是GPT-4）
AI 研习所·2023-09-26 01:32
上一页 62 63 64 65 66 67 68 69 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他