N-gram语言模型第64页

ChatGLM2发布，位居C-Eval榜首!

文章目录中文大语言模型评估基准：C-EVALChatGLM2-6B部署推理环境配置模型下载git-lfs安装代码调用基于gradio的网页版Demo显存占用情况数理逻辑推理性能显存占用的减少量化对模型性能的影响基于

dzysunshine·2023-10-07 03:34

主流的图像—文本的多模态技术实现方法有哪些？

大体上可划分为3类：1）训练中间层以对齐视觉模块和语言模型。该类方法首先预训练视觉模块，将这些视觉模块与LLM冻结，然后在视觉模块与LLM之间插入可训练的中间层，构建多模态模型。

哥廷根数学学派·2023-10-07 00:27

DLRover 在 K8s 上千卡级大模型训练稳定性保障的技术实践

AI系统工程师文｜张吉（花名：理之）蚂蚁集团AI系统工程师文｜兰霆峰四川大学20级计算机系专注分布式深度学习领域，主要参与蚂蚁大规模分布式训练引擎的设计和开发本文5104字阅读13分钟01背景.如今大语言模型

SOFAStack·2023-10-06 17:00

使用4090显卡部署 Qwen-14B-Chat-Int4

Qwen-14B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预

engchina·2023-10-06 13:20

【NLP】400万token，大模型推理飙升22倍！清华校友爆火一作，GitHub狂揽1.8k星

大语言模型的上下文长度限制从此不存在了？！

风度78·2023-10-06 10:00

StreamingLLM - 处理无限长度的输入

:https://github.com/mit-han-lab/streaming-llm论文：https://arxiv.org/abs/2309.17453在流媒体应用程序（如多轮对话）中部署大型语言模型

伊织code·2023-10-06 10:29

ChatGPT基础使用总结

文章目录一、ChatGPT基础概念大型语言模型LLMs---一种能够以类似人类语言的方式“说话”的软件ChatGPT定义---OpenAI研发的一款聊天机器人程序（2022年GPT-3.5，属于大型语言模型

runafterhit·2023-10-06 07:28

AI创作工具的使用体验报告

在使用过程中，我发现它的语言模型很智能，能够根据我的需求自动生成符合要求的内容，不需要我手动输入太多的文字和语句。另外，这个工具的界面设计也比较简洁，能够快速帮助我生成想要的内容。

Leon_George·2023-10-06 02:33

【计算机组成原理】考研真题攻克与重点知识点剖析 - 第 2 篇：数据的表示和运算

此前我尝试了完全使用Python或是结合大语言模型对考研真题进行数据清洗与可视化分析，本人技术有限，最终数据清洗结果不够理想，相关CSDN文章便没有发出。

friklogff·2023-10-05 23:07

如何使用大语言模型来绘制图画

请创作一张科技感十足的图片，包含siri和iphone两个元素，请帮我挑选合适的style和background好的，我会为你创作一张科技感十足的图片，包含siri和iphone两个元素。我会根据你的要求，选择一种适合的风格和背景。请稍等一下，我马上回来。

winfredzhang·2023-10-05 19:00

XLNet:运行机制及和Bert的异同比较 - 知乎

目录1XLNet引入了自回归语言模型及自编码语言模型1.1自回归语言模型（AutoregressiveLM）概念：优点：缺点：1.2自编码语言模型（AutoencoderLM）概念：优点：缺点：1.3XLNet

云淡风轻__·2023-10-05 18:22

大语言模型(LLMs)综述调研

大语言模型why？

nanobobo·2023-10-05 12:29

LLMs 奖励模型 RLHF: Reward model

这个奖励模型通常也是一个语言模型。例如，一个通过在来自人类标记者对提示的评估中准备的成对比较数据上使用监督学习方法进行训练的模型。对于给定的提示X，奖励模型学习偏好人类首选的完成y_j，同

AI架构师易筋·2023-10-05 12:55

LLMs 从人类获得反馈RLHF: Obtaining feedback from humans

然后，您将使用这个LLM（大型语言模型），以及一个提示数据集，为每个提示生成多个不同的响应。提示数据集由多个提示组成，每个提示都会

AI架构师易筋·2023-10-05 11:04

用向量数据库Milvus Cloud 搭建AI聊天机器人

加入大语言模型（LLM）接着，需要在聊天机器人中加入LLM。这样，用户就可以和聊天机器人开展对话了。本示例中，我们将使用OpenAIChatGPT背后的模型服务：GPT-3.5。

LCHub低代码社区·2023-10-05 08:22

GPT

第一阶段在未标记数据集上训练语言模型来学习神经网络的初始参数；第二阶段使用响应任务中的标记数据将参数微调以适应当前任务。下面我

jerrychenly·2023-10-05 04:34

GPT系列论文解读：GPT-2

GPT系列GPT（GenerativePre-trainedTransformer）是一系列基于Transformer架构的预训练语言模型，由OpenAI开发。

青云遮夜雨·2023-10-05 00:43

【论文笔记】Task and Motion Planning with Large Language Models for Object Rearrangement

大型语言模型（LLMs）是获取这种知识的一种潜在来源。用LLMs实现机器人多目标重排。关键问题：它们并不能天

Ctrl+Alt+L·2023-10-04 22:26

AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化

导读：本文介绍了CodeLlama的简介、本地化部署、测试和应用实战方案，帮助学习大语言模型的同学们更好地应用CodeLlama。

清风等待KT·2023-10-04 21:10

【Java-LangChain:使用 ChatGPT API 搭建系统-1】简介

本课程以构建客服助手为例，使用不同的Prompt链式调用语言模型，具体的Prompt选择将取决于上一次调用的输出结果，有时还需要从外部来源查找信息。本课程将围绕该主题，逐步了

df007df·2023-10-04 19:29

google 知识库_Googles领域的知识库增强语言模型

google知识库Googlehaspublishedanewwayofpre-trainingalanguagemodelwhichisaugmentedusingaknowledgeretrievalmechanism,thatlooksupexistingknowledgefromanexternalWikipediacorpus.Thismakestheoutputsthetrainedl

weixin_26704853·2023-10-04 14:07

行业首创！Graph RAG：基于知识图谱的检索增强技术与优势对比（附 Demo）

传统的搜索增强技术受限于训练文本数量、质量等问题，对于复杂或多义词查询效果不佳，更无法满足ChatGPT等大语言模型应用带来的大规模、高并发的复杂关联查询需求。

悦数图数据库·2023-10-04 13:21

【论文笔记】检索还是生成回复？RAG：我都要

检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。

iLuz·2023-10-04 13:50

ICCV 2023 | CAPEAM：基于上下文感知规划和环境感知记忆机制构建具身智能体

文章链接：https://arxiv.org/abs/2308.072412023年，大型语言模型（LLMs）以及AIAgents的蓬勃发展为整个机器智能领域带来了全新的发展机遇。

TechBeat人工智能社区·2023-10-04 13:19

AI数据技术02：RAG数据检索

RAG使用大型语言模型（LLM）等工具将信息检索的强大功能与自然语言生成无缝结合，为内容创建提供了一种变革性的方法。

无水先生·2023-10-04 13:17

为什么现在的LLM都是Decoder only的架构？

LLM是“LargeLanguageModel”的简写，目前一般指百亿参数以上的语言模型，主要面向文本生成任务。

TFATS·2023-10-04 12:38

大模型 Decoder 的生成策略

IntroductionGreedySearchbeamsearchSamplingTop-KSamplingTop-p(nucleus)sampling总结一、Introduction1、简介近年来，由于在数百万个网页数据上训练的大型基于Transformer的语言模型的兴起

TFATS·2023-10-04 12:37

【Java-LangChain:使用 ChatGPT API 搭建系统-2】语言模型，提问范式与 Token

第二章语言模型，提问范式与Token在本章中，我们将和您分享大型语言模型（LLM）的工作原理、训练方式以及分词器（tokenizer）等细节对LLM输出的影响。

df007df·2023-10-04 10:32

ChatGPT的底层架构简介

ChatGPT是一种新型自然语言处理模型，它是由OpenAI开发的一种基于Transformer结构的预训练语言模型。ChatGPT主要用于对话生成任务，例如聊天机器人、客户服务等应用场景。

鹤鹤的森林·2023-10-04 06:41

【Java-LangChain:使用 ChatGPT API 搭建系统-6】处理输入-链式 Prompt Chaining Prompts

我们已经证明了语言模型非常擅长遵循复杂的指令，特别是像GPT-4这样的高级模型。那么让我们用两个比喻来解释为什么我们要这样做，来比较思

df007df·2023-10-04 06:24

[论文笔记]BitFit

引言今天带来一篇参数高效微调的论文笔记，论文题目为基于Transformer掩码语言模型简单高效的参数微调。BitFit，一种稀疏的微调方法，仅修改模型的偏置项(或它们的子集)。

愤怒的可乐·2023-10-04 05:17

大语言模型之十五-预训练和监督微调中文LLama-2

这篇博客是继《大语言模型之十二SentencePiece扩充LLama2中文词汇》、《大语言模型之十三LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》前面博客演示了中文词汇的扩充以及给予

shichaog·2023-10-04 01:07

论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation

任@燕山大学论文来源代码地址前言预训练语言模型提高了NLP任务的技术水平。对不同类型的语言模型进行预训练时，使用了不同的预测任务和训练目标，如下表所示。

期待成功·2023-10-04 01:56

论文笔记 Unified Language Model Pre-training for Natural Language Understanding and Generation

一个新的预训练语言模型(UNILM)，它可以用于自然语言理解NLU和生成任务NLG。UNILM由多个语言建模目标共同预训练，共享相同的参数。二、和别的pre-train模型有啥区别？

RunningQzh·2023-10-04 01:56

论文笔记 -《All NLP Tasks Are Generation Tasks: A General Pre-training Framework》

而在本文中，提出了一种通用语言模型(GeneralLanguageModel，GLM)来解决这个问题。GLM模型结构有三个主要优点

*Lisen·2023-10-04 01:56

[论文笔记]UNILM

引言今天带来论文UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration的笔记，论文标题是统一预训练语言模型用于自然语言理解和生成

愤怒的可乐·2023-10-04 01:25

CTF 解码器思路

这个时候大语言模型ChatGPT就能够很快的分析编码。解码器：下面是一个base64编码flag交给ChatGPT处理的例子：总结但如果编码格式不是很常见，可能需要给chatGPT提供编码方式。

学习溢出·2023-10-04 00:09

【计算机组成原理】考研真题攻克与重点知识点剖析 - 第 1 篇：计算机系统概述

此前我尝试了完全使用Python或是结合大语言模型对考研真题进行数据清洗与可视化分析，本人技术有限，最终数据清洗结果不够理想，相关CSDN文章便没有发出。

friklogff·2023-10-04 00:08

2022-07-11

NatMacInt|基于语言模型的蛋白质设计原创mumu图灵基因2022-07-1108:32发表于江苏收录于合集#前沿生物大数据分析撰文：mumuIF=15.508推荐度：⭐⭐⭐⭐⭐亮点：作者认为基于

图灵基因·2023-10-04 00:35

大规模语言模型--训练成本

目前，基于Transformers架构的大型语言模型(LLM)，如GPT、T5和BERT，已经在各种自然语言处理(NLP)任务中取得了SOTA结果。

hanscalZheng·2023-10-03 23:20

大语言模型之十四-PEFT的LoRA

在《大语言模型之七-Llama-2单GPU微调SFT》和《大语言模型之十三LLama2中文推理》中我们都提到了LoRA（低秩分解）方法，之所以用低秩分解进行参数的优化的原因是为了减少计算资源。

shichaog·2023-10-03 20:52

ChatGPT 对学生和教师产生哪些影响？

ChatGPT是OpenAI开发的一种可以理解人类语言并进行交流的语言模型。它已经过大量文本数据的训练，可以生成不同

云炬网络平台·2023-10-03 15:09

一款简化Python自然语言处理的开源库

它使用了机器学习算法和语言模型来执行各种文本处理任务。2安装使用之前，需要安装，打开

迷途小书童的Note·2023-10-03 15:09

Mind Map：大语言模型中的知识图谱提示激发思维图10.1+10.2

露葵025·2023-10-03 13:56

人工智能(AI)在产生新创意方面有多出色？

Do1twell·2023-10-03 13:20

经典循环神经网络(一)RNN及其在歌词数据集上的应用

在语言模型方向，n-gram是当时最为流行的语言模型方法。n-gram的问题是其捕捉句子中长期依赖的能力非常有限。另外n-gram算法过于简单，其是否有能力取得令人信服的效果的确要打一个大的问号。

undo_try·2023-10-03 13:36

GPT系列模型解读：GPT-1