N-gram语言模型

M3E&ChatGLM向量化构建本地知识库

向量化构建本地知识库整体步骤向量数据库向量数据库简介主流数据库Milvus部署文本向量化M3E介绍模型对比M3E使用向量数据存储基于本地知识库的问答问句向量化向量搜索请求ChatGLM问答测试整体步骤向量化：首先，你需要将语言模型的数据转化为向量
我在北国不背锅·2023-09-20 05:44

在软件开发中最大化人工智能：利用 Parasoft 的 ChatGPT

ChatGPT是2023年最热门的话题之一，是由OpenAI训练的语言模型。它能够理解和生成自然语言文本，并接受过大量数据的训练，包括用各种编程语言编写的许多开源项目的源代码。
爱分享的小妮子·2023-09-20 05:38

大模型从入门到应用——LangChain：代理（Agents）-[计划与执行]

规划几乎总是由一个LLM（语言模型）来完成。执行通常由一个单独的代理（配备工具）来完成。
von Neumann·2023-09-20 01:48

Python调用Open-AI接口实现ChatGPT

它能够利用Open-AI的强大后台进行语言模型的训练，服务多个领域。通过使用ChatGPT应用程序，用户可以与机
Blet-·2023-09-19 22:44

在Python中通过OpenAI API使用GPT-3.5和GPT-4

ChatGPT是一种用于生成文本的尖端大型语言模型。
ChatGPT研究院·2023-09-19 22:43

大模型+检索增强（RAG、Atlas 和 REPLUG）

检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。
Yuezero_·2023-09-19 22:55

NLP任务评价指标(BLEU，METOR，ROUGH，CIDEr)

首先根据n-gram划分一个
Yuezero_·2023-09-19 22:54

[论文笔记]Adapter turning

引言今天带来第一篇大语言模型高效微调的论文AdapterTuning笔记。预训练+微调的范式是一种高效的迁移学习机制。然而，当有很多下游任务时，微调参数并不高效：对于每个任务都要有一个全新的模型。
愤怒的可乐·2023-09-19 21:22

动手学深度学习 Task02:文本预处理；语言模型；循环神经网络基础

【一】文本预处理此次将讨论文本数据的常见预处理步骤，旨在将文本信息从人类语言转换为机器可读格式以便于后续处理。文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个基本步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H.G.Well的TimeMachine，作为示例，展示文本预处理
周周儿_zHoU·2023-09-19 18:01

动手学深度学习PyTorch版--Task2--文本预处理；语言模型；循环神经网络基础

一.文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型1.读入文本importcollectionsimportredefread_time_machine():#open函数打开文本文件，创建文件
华尔街的幻觉·2023-09-19 18:29

AI02文本预处理；语言模型；循环神经网络

文本预处理读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列或者用spaCy和NLTK现成的分词工具对文本进行分词语言模型时序数据的采样随机采样：每次从数据里随机采样一个小批量
fassbloom·2023-09-19 18:59

文本预处理，语言模型，循环神经网络

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TT的词的序列w1,w2,…,wT，语言模型的
头号大眼睛·2023-09-19 18:26

动手学深度学习-文本预处理；语言模型；循环神经网络基础

将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型其中建立字典需要经过的步骤为：去重，统计词频筛掉部分词添加一些特殊的token将token映射到唯一索引将索引映射到token二、语言模型一段自然语言文本可以看
sjtucq·2023-09-19 18:26

大模型能力

LangChain的模型LangChain的主要特点示例prompt技巧公式prompt=(角色)+任务+要求+提示LangChain什么是LangChainLangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序
Runjavago·2023-09-19 17:06

大语言模型学习引言

Task01引言目录1.1什么是语言模型1.2语言模型进化史信息论、熵N-gram语言模型Word2VecELMoTransformerBert1.3大语言模型1.1什么是语言模型说到大模型，首先介绍语言模型
Runjavago·2023-09-19 17:35

Text2Cypher：大语言模型驱动的图查询生成

话接上文《图技术在LLM下的应用：知识图谱驱动的大语言模型LlamaIndex》同大家简单介绍过LLM和图、知识图谱相关的结合，现在我来和大家分享下最新的成果。
·2023-09-19 17:24

三分钟使用Google Bard模型：搭建实时聊天页面

GoogleBard中文版已经正式上线Bard是GoogleAI开发的大型语言模型(LLM)聊天机器人，虽然GoogleBard相比于ChatGPT、Claude、文心一言语言理解，代码解释还存在差距但是
·2023-09-19 17:18

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索

它是一个旨在帮助你与大型语言模型(LLM)交互的库。LangChain简化了与LLMs相关的许多日常任务，例如从文档中提取文本或在向量数据库中对它们建立索引。
Elastic 中国社区官方博客·2023-09-19 16:46

PAI BladeLLM推理引擎: 超长上下文、更高性能

BladeLLM是阿里云PAI平台提供的大模型推理引擎，致力于让用户轻松部署高性能、低成本的大语言模型服务。
·2023-09-19 15:05

Learn Prompt-Prompt 高级技巧:思维链 Chain of Thought Prompting

目的是为了提高大型语言模型（LLM）进行复杂推理的能力。思维链通常是伴随着算术，常识和符号推理等复杂推理任务出现的。
xiaoshun007～·2023-09-19 15:03

ChatGLM DeepSpeed 全参数微调

ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。
张志翔的博客·2023-09-19 13:46

ChatGLM GPT原理介绍

OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章，比之前语言模型效果好很多。
张志翔的博客·2023-09-19 12:17

LLM 07-大模型训练

LLM07-大模型训练上一章中，我们讨论了大语言模型（例如，Transformer）的模型结构。在本章中，我们将讨论如何训练大语言模型。本章分成目标函数和优化算法两部分。
Gocara·2023-09-19 11:27

向量数据库（第 2 部分）：了解其内部结构

大型语言模型（LLM）的时代在2022年11
沃趣数据库管理平台·2023-09-19 11:22

AI Studio星河社区生产力实践：基于文心一言快速搭建知识库问答

相信对于大语言模型（LLM）有所涉猎的朋友，对于“老网红”知识库问答不会陌生。
飞桨PaddlePaddle·2023-09-19 10:13

如何利用 Agent 构建AI服务

以LLM（大型语言模型）作为其核心控制器构建代理是一个很酷的概念。它模拟人类的工作流程，能够自主进行信息搜索、分析、利用，以完成目标。
·2023-09-19 10:04

【直播预告】编写Prompt的艺术，如何提高大语言模型的表现力

09月19日，19:00-20:00，大淘宝技术与DataFun联合策划了本次活动，邀请阿里巴巴大淘宝技术高级开发工程师致问老师，就大语言模型进行深度分享与交流，欢迎大家按时收看直播~致问阿里巴巴大淘宝技术
阿里巴巴淘系技术团队官网博客·2023-09-19 10:35

2023 Google 开发者大会：将大型语言模型部署到你的手机

在2022年末，不到半年时间，各家大语言模型的发展如雨后春笋，截至2023年9月，全球总共有接近100个大语言模型，可谓是百花齐放显而易见，大语言模型凭借出色的AI对话能力，已经逐渐深入各个行业2023Google
负债程序猿·2023-09-19 09:47

大型语言模型：SBERT — 句子BERT

了解siameseBERT网络如何准确地将句子转换为嵌入简介Transformer在NLP领域取得了进化性的进步，这已不是什么秘密。基于Transformer，还发展出了许多其他机器学习模型。其中之一是BERT，它主要由几个堆叠的Transformer编码器组成。除了用于一系列不同的问题（例如情感分析或问答）之外，BERT在构建词嵌入（表示单词语义的数字向量）方面变得越来越流行。以嵌入的形式表示单
冷冻工厂·2023-09-19 09:44

《Playing repeated games with Large Language Models》全文翻译

《PlayingrepeatedgameswithLargeLanguageModels》-使用大型语言模型玩重复游戏论文信息摘要1.介绍2.相关工作3.一般方法4.分析不同游戏系列的行为5.囚徒困境5.1
酿久诗·2023-09-19 09:43

大模型为使用Prompt提供的指导和建议

当使用大型语言模型时，合适的Prompt对于获取理想的响应至关重要。以下是一些常见任务的Prompt示例，以供参考：1.自然语言生成：“请为我生成一篇关于气候变化影响的文章。”
蜗牛沐雨·2023-09-19 06:57

语言建模的发展阶段以及大规模语言模型的背景介绍

作为一种主要方法，语言建模在过去两十年中已被广泛研究，从统计语言模型发展到神经语言模型，用于语言理解和生成。从技术上讲，语言建模（LM）是提高机器语言智能的主要方法之一。
hanscal·2023-09-19 06:49

大语言模型的机遇和挑战

自然语言处理包含自然语言理解和自然语言生成两个方面,常见任务包括文本分类,结构分析(词法分析,分词,词性标注,句法分析,篇章分析),语义分析,知识图谱,信息提取,情感计算,文本生成,自动文摘,机器翻译,对话系统,信息检索和自动问答等.在神经网络方法出现之前,因为缺乏行之有效的语义建模和语言生成手段,自然语言处理的主流方法是基于机器学习的方法,采用有监督分类,将自然语言处理任务转化为某种分类任务.在
hanscal·2023-09-19 06:44

ChatGLM HuggingFace大语言模型底座

基础介绍HuggingFace是一家专注于自然语言处理（NLP）、人工智能和分布式系统的创业公司，创立于2016年。最早是主营业务是做闲聊机器人，2018年Bert发布之后，他们贡献了一个基于Pytorch的Bert预训练模型，即pytorch-pretrained-bert，大受欢迎，进而将重心转向维护NLP开源社区。经过这几年的发展，HuggingFace的开源社区，已经变成了最大的开源模型托
张志翔的博客·2023-09-19 05:03

通义千问杀疯了！首发Qwen-VL-Chat模型的A卡本地部署教程

阿里云最新开源的通义千问视觉语言模型：Qwen-VLQwen-VL是一款支持中英文等多种语言的视觉语言（VisionLanguage，VL）模型，相较于此前的VL模型，其除了具备基本的图文识别、描述、问答及对话能力之外
木法星人·2023-09-19 01:25

动手学中文分词视频教程

mp4课时4NLP概述.mp4课时5中文分词简介.mp4课时6中文分词算法简介.mp4课时7正向最大匹配算法讲解.mp4课时8逆向最大匹配算法讲解.mp4课时9双向最大匹配算法讲解.mp4课时10基于N-gram
globals_11de·2023-09-19 00:22

大型语言模型：SBERT — 句子BERT

了解siameseBERT网络如何准确地将句子转换为嵌入简介Transformer在NLP领域取得了进化性的进步，这已不是什么秘密。基于Transformer，还发展出了许多其他机器学习模型。其中之一是BERT，它主要由几个堆叠的Transformer编码器组成。除了用于一系列不同的问题（例如情感分析或问答）之外，BERT在构建词嵌入（表示单词语义的数字向量）方面变得越来越流行。以嵌入的形式表示单
·2023-09-19 00:42

多元共进｜创新技术提供助力，共创增长机遇

借助新推出的面向开发者的大语言模型PaLMAPI，合作伙伴可以进一步创新应用，打造良好的用户体验，实现业务增长。在大会上，谷歌
·2023-09-18 23:37

使用 Keras 和 TensorFlow Lite 的设备端大型语言模型

将大型语言模型部署到Android设备上是一个复杂的任务，因为这些模型通常需要大量的计算资源。首先，您需要加载和优化模型，然后选择一个合适的推理引擎，最后将其集成到Android应用程序中。
Just_Paranoid·2023-09-18 22:50

Python资料合集，零基础小白学习必备资料

人工智能随着大数据语言模型的发展迎来了爆发，生产力真正开始变革，甚至因为发展太快而出现继续推进GPT5训练的“降临派”和暂停开发研究的“拯救派”。
Momodel平台·2023-09-18 22:58

（2023，LENS & 视觉模型 & LLM）迈向可见的语言模型：通过自然语言的镜头来看计算机视觉

TowardsLanguageModelsThatCanSee:ComputerVisionThroughtheLENSofNaturalLanguage公众号：EDPJ（添加VX：CV_EDPJ进交流群获取资料）目录0.摘要1.简介2.相关工作2.1大语言模型能力
EDPJ·2023-09-18 22:47

如何用 Laf 接入一个免费的 AI 模型，并获得阿里达摩院大佬的点赞？

laf首先我们介绍一下今天的主角ClaudeClaude是最近新开放的一款AI聊天机器人，是世界上最大的语言模型之一，比之前的一些模型如GPT-3要强大得多，因此Claude被认为是ChatGPT最有力的竞争对手
·2023-09-18 18:39

The Rise and Potential of Large Language Model Based Agents: A Survey

基于大型语言模型的Agent的兴起及其潜力摘要1引言2背景2.1AI代理的起源2.22.33Agent的诞生：基于LLM的Agent构建4实践中的代理：利用人工智能造福人类5代理社会：从个体到社会性6讨论
UnknownBody·2023-09-18 18:21

循环神经网络——上篇【深度学习】【PyTorch】【d2l】

文章目录6、循环神经网络6.1、序列模型6.1.1、序列模型6.1.2、条件概率建模6.1.2、代码实现6.2、文本预处理6.2.1、理论部分6.2.2、代码实现6.3、语言模型和数据集6、循环神经网络
来杯Sherry·2023-09-18 17:14

微调语言模型前，需要考虑这三个关键方面

编者按：随着大语言模型(LLM)的迅速发展，越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难，直接应用并不总是能达到理想效果。
·2023-09-18 16:51

学习 CodeWhisperer 的一些总结

Codeium：是一个免费的人工智能驱动的代码生成工具Tabnine：一个自动代码生成工具，免费版本非常有限，只提供简短的代码完成Codex：OpenAI开发的一种语言模型，可根据自然语言提示（例如问题描述
·2023-09-18 16:24

大模型与数据库：AI 时代的双向助推力

随着AIGC的时代到来，以GPT为首的大型语言模型（LargeLanguageModel，LLM）已经成为当今人工智能领域最热门的话题之一。
·2023-09-18 16:12

基于Falcon-7B模型的QLoRA微调实操：构建面向心理健康领域的Chatbot

作者详细介绍了如何使用QLoRA技术针对Falcon-7B大语言模型进行微调，使之在消费级GPU上进行微调而不会出现outofmemory（内存不足错误），从而创造一个能够准确、连贯的回答心理健康问题的
·2023-09-18 15:01

基于Falcon-7B模型的QLoRA微调实操：构建面向心理健康领域的Chatbot

作者详细介绍了如何使用QLoRA技术针对Falcon-7B大语言模型进行微调，使之在消费级GPU上进行微调而不会出现outofmemory（内存不足错误），从而创造一个能够准确、连贯的回答心理健康问题的
Baihai IDP·2023-09-18 15:18

KnowledGPT:Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

KnowledGPT：利用知识库上的检索和存储访问增强大型语言模型摘要1引言2相关工作3方法4实验5局限性6结论摘要大型语言模型（LLM）在自然语言处理领域表现出了令人印象深刻的影响，但它们仍在
UnknownBody·2023-09-18 13:50
上一页 65 66 67 68 69 70 71 72 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他