N-gram语言模型

LLM 词汇表

Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。

落难Coder·2024-09-16 10:22

如何部分格式化提示模板:LangChain中的高级技巧

标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。

nseejrukjhad·2024-09-16 09:49

人工智能时代，程序员如何保持核心竞争力？

随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。

jmoych·2024-09-16 09:17

BART&BERT

BART和BERT都是基于Transformer架构的预训练语言模型。

Ambition_LAO·2024-09-16 07:02

程序员如何在AI时代保持核心竞争力

程序员如何在AI时代保持核心竞争力随着AIGC（如ChatGPT、MidJourney、Claude等）大语言模型的相继涌现，AI辅助编程工具逐渐普及，程序员的工作方式正在发生深刻的变革。

nfgo·2024-09-16 03:35

腾讯发表多模态综述，一文详解多模态大模型

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。

存内计算开发者社区·2024-09-15 21:57

【有啥问啥】刷爆各大榜单的Reflection 70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法

刷爆各大榜单的Reflection70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法在快速发展的AI领域，尤其是大型语言模型（LLM）的竞争中，错误自我纠正技术

Chauvin912·2024-09-15 15:32

HALTT4LLM：大型语言模型的幻觉检测指标

HALTT4LLM：大型语言模型的幻觉检测指标haltt4llmThisprojectisanattempttocreateacommonmetrictotestLLM'sforprogressineliminatinghallucinationswhichisthemostseriouscurrentprobleminwidespreadadoptionofLLM'sformanyrealpur

谢忻含Norma·2024-09-15 14:30

Reflection 70B——HyperWrite推出的大型语言模型

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/在AI技术飞速发展的过程中，我们已经见证了可以写作、编程，甚至创造艺术的模型问世。但有一

新加坡内哥谈技术·2024-09-15 14:57

深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式

深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式在现代自然语言处理（NLP）的应用中，大型语言模型（LLM）已经成为了重要的工具。

m0_57781768·2024-09-15 13:41

深入探讨：如何在Python中通过LangChain技术精准追踪大型语言模型（LLM）的Token使用情况

深入探讨：如何在Python中通过LangChain技术精准追踪大型语言模型（LLM）的Token使用情况在现代的人工智能开发中，大型语言模型（LLM）已经成为了不可或缺的工具，无论是用于自然语言处理、

m0_57781768·2024-09-15 13:37

使用You.com API进行LLM输出的事实性增强

使用You.comAPI进行LLM输出的事实性增强引言大型语言模型(LLM)在生成人类可读的文本方面表现出色,但它们可能会产生过时或不准确的信息。

aehrutktrjk·2024-09-15 12:05

如何从大型语言模型(LLM)流式响应

引言随着大型语言模型(LLM)的不断发展,我们不仅能够获得高质量的文本生成结果,还可以实时观察模型生成文本的过程。

aehrutktrjk·2024-09-15 12:30

深度学习-13-小语言模型之SmolLM的使用

应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型

皮皮冰燃·2024-09-15 10:48

LLM 进展和前进道路

近年来，语言模型取得了重大进展。这一进步是对数十亿个参数进行广泛训练和调整的结果，也是商业用途基准测试的结果。这项工作的起源可以追溯到1950年代，当时自然语言理解和处理的研究开始了。

晨曦_子画·2024-09-15 09:44

基于 LangChain 开发应用程序第三章-储存

需要学习提示词工程的同学请看面向开发者的提示词工程需要学习ChatGPT的同学请查看搭建基于ChatGPT的问答系统本部分之前的章节可以查看基于LangChain开发应用程序第一章-简介基于LangChain开发应用程序第二章-提示和输出第三章储存在与语言模型交互时

明志刘明·2024-09-14 22:23

Upstage 将发布新一代 LLM “Solar Pro “预览版

加州圣何塞2024年9月11日电/美通社/–Upstage今天宣布发布其下一代大型语言模型(LLM)SolarPro的预览版。

吴脑的键客·2024-09-14 14:31

使用vllIm部署大语言模型

使用vllm部署大语言模型一般需要以下步骤：一、准备工作1.系统要求-操作系统：常见的Linux发行版（如Ubuntu、CentOS）或Windows（通过WSL）。

添砖JAVA的小墨·2024-09-14 12:18

OpenLM: 一个灵活的开源大语言模型接口工具

OpenLM:一个灵活的开源大语言模型接口工具引言在人工智能和自然语言处理快速发展的今天，大语言模型(LLM)已经成为许多应用的核心。

llzwxh888·2024-09-14 11:43

使用中专API实现AI模型调用与部署

在AI技术领域，如何调用和部署大语言模型（LLM）是一个常见的需求。

llzwxh888·2024-09-14 11:42

大模型框架：vLLM

vLLM2.1使用GPU进行安装2.2使用CPU进行安装2.3相关配置三、使用vLLM3.1离线推理3.2适配OpenAI-API的API服务一、vLLM介绍vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架

m0_37559973·2024-09-14 11:41

多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了

多模态大语言模型(MultimodalLargeLanguageModel,MLLM），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。

程序员_大白·2024-09-14 11:40

大规模语言模型从理论到实践 vLLM推理框架实践

大规模语言模型从理论到实践：vLLM推理框架实践1.背景介绍1.1问题的由来随着大规模语言模型（LargeLanguageModels,vLLMs）的发展，从简单的语言生成到复杂的多模态任务，这些模型的能力得到了显著提升

AGI通用人工智能之禅·2024-09-14 10:08

使用 Apache Cassandra 实现 LLM 缓存：提升 AI 应用性能的实用指南

使用ApacheCassandra实现LLM缓存：提升AI应用性能的实用指南引言在当今的AI驱动的应用程序中，大语言模型（LLM）扮演着越来越重要的角色。

afTFODguAKBF·2024-09-14 09:58

MongoDB Atlas与LangChain集成指南

本文将介绍如何使用LangChain将MongoDBAtlas与语言模型集成,以实现高效的向量搜索和语义缓存。

afTFODguAKBF·2024-09-14 09:58

使用Fireworks API和LangChain构建高效的AI应用

FireworksAI提供了强大的API服务，而LangChain则是一个灵活的框架，可以帮助开发者更容易地构建基于大语言模型的应用。

afTFODguAKBF·2024-09-14 09:28

反思的魔力：用语言的力量强化AI智能体

智能体的困境近年来，大型语言模型（LLM）在与外部环境（如游戏、编译器、API）交互的领域中大放异彩，化身为目标驱动的智能体。然而，传统的强化学习方法如同一位严苛的训练师，需要大

步子哥·2024-09-14 08:52

大模型微调 - 基于预训练大语言模型的对话生成任务训练代码

大模型微调-基于预训练大语言模型的对话生成任务训练代码flyfish模型扮演堂吉诃德这个角色，回答关于自我介绍的问题importtorchfromdatasetsimportDatasetfrommodelscopeimportAutoTokenizer

西笑生·2024-09-14 05:00

天下苦英伟达久矣！PyTorch官方免CUDA加速推理，Triton时代要来？

在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的GPU和CUDA是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖CUDA，使用它加速的机器学习模型可以实现更大的性能提升。

诗者才子酒中仙·2024-09-14 04:56

零基础入门AI：一键本地运行各种开源大语言模型 - Ollama

Ollama是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46kstar。

AI大模型知识分享·2024-09-14 03:16

视频语言规划

为此，提出视频语言规划(VLP)，一种由树搜索过程组成的算法，训练(i)视觉-语言模型作为策略和价值函数，以及(ii)文本-到-视频模型作为动态模型。

硅谷秋水·2024-09-13 14:58

大规模语言模型的书籍分享，从零基础入门到精通非常详细收藏我这一篇就够了

在当今人工智能领域，大规模语言模型成为了研究和应用的热点之一。它们以其大规模的参数和强大的性能表现，推动着机器学习和深度学习技术的发展。对于GPT系列大规模语言模型的发展历程，有两点令人印象深刻。

黑客-雨·2024-09-13 10:05

TextCNN：文本卷积神经网络模型

通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn

一只天蝎·2024-09-13 07:48

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。

破壁者-燕·2024-09-13 03:12

ChatLONGYING：大语言模型在银行财富管理领域的应用研究

2023年2月，复旦大学发布了国内首个类ChatGPT大语言模型——MOSS，该模型可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

IT猫仔·2024-09-13 02:37

轻松升级：Ollama + OpenWebUI 安装与配置【AIStarter】

Ollama是一个开源项目，用于构建和训练大规模语言模型，而OpenWebUI则提供了一个方便的前端界面来管理和监控这些模型。本文将指导你如何更新这两个工具，并顺利完成配置。

ai_xiaogui·2024-09-13 02:36

HippoRAG如何从大脑获取线索以改进LLM检索

知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步，但一些局限性仍然没有克服。

极道亦有道·2024-09-12 19:57

如何训练LLM自动在RAG和参数记忆之间进行选择

检索增强生成(RAG)管道使大型语言模型(LLM)能够在其响应中使用外部信息源。但是RAG应用程序为发送到LLM的每个请求检索额外的场景信息。

极道亦有道·2024-09-12 19:27

【Tools】大模型中的BERT概念

摇来摇去摇碎点点的金黄伸手牵来一片梦的霞光南方的小巷推开多情的门窗年轻和我们歌唱摇来摇去摇着温柔的阳光轻轻托起一件梦的衣裳古老的都市每天都改变模样方芳《摇太阳》BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种基于Transformer的预训练语言模型

音乐学家方大刚·2024-09-12 19:26

Ollama全面指南：安装、使用与高级定制

详细讲解了如何在不同操作系统上安装Ollama，如何运行和自定义大型语言模型，以及如何通过Ollama进行模型部署和交互。此外，还提供了丰富的故障排除和FAQ，帮助用户解决使用过程中的常见问题。

我就是全世界·2024-09-12 18:51

增强检索增强生成模型的可靠性和可追溯性

大型语言模型(LLM)表现出了卓越的能力，但也存在幻觉、缺乏领域适应性和缺乏持续学习等问题。当它们必须处理知识密集型任务时，这些问题更加明显。

RA AI衍生者训练营·2024-09-12 18:47

大语言模型应用指南：长期记忆

大语言模型应用指南：长期记忆作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着人工智能领域的快速发展，大语言模型因其强大的语言生成和理解能力而受到广泛关注

AI大模型应用之禅·2024-09-12 16:05

大模型书籍推荐：从头开始构建一个大型语言模型（含PDF免费）《Build a Large Language Model (From Scratch)》

通过从头开始构建一个大型语言模型，了解如何创建、训练和调整大型语言模型（LLMs）！一、构建大型语言模型（从头开始）在《构建大型语言模型（从头开始）》中，你将了解如何LLMs从内到外工作。

AI女王·2024-09-12 15:58

论文翻译：arxiv-2022 Ignore Previous Prompt: Attack Techniques For Language Models

IgnorePreviousPrompt:AttackTechniquesForLanguageModelshttps://arxiv.org/pdf/2211.09527忽略之前的提示：针对语言模型的攻击技术文章目录忽略之前的提示

CSPhD-winston-杨帆·2024-09-12 12:14

人工智能时代，程序员如何保持核心竞争力

在人工智能时代，AIGC大语言模型的涌现和AI辅助编程工具的普及正在深刻改变程序员的工作方式。面对这一趋势，程序员需要认真思考如何保持并提升自身的核心竞争力，以适应时代的发展。

专家大圣·2024-09-12 10:57

Agent Q: 实现自主网页代理的提升

订阅：https://rengongzhineng.io/近年来，大型语言模型（LLMs）的能力在自然语言处理和理解领域取得了显著进展，达到了多个

新加坡内哥谈技术·2024-09-12 07:41

【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人

系列篇章No.文章1【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践2【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人3【Qwen2部署实战

寻道AI小兵·2024-09-12 06:09

AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.07.25-2024.08.01

文章目录～1.PayingMoreAttentiontoImage:ATraining-FreeMethodforAlleviatingHallucinationinLVLMs2.MTA-CLIP:Language-GuidedSemanticSegmentationwithMask-TextAlignment3.MarvelOVD:MarryingObjectRecognitionandVisi

小小帅AIGC·2024-09-12 06:37

LangChain入门：使用Python和通义千问打造免费的Qwen大模型聊天机器人

前言LangChain是一个用于开发由大型语言模型（LargeLanguageModels，简称LLMs）驱动的应用程序的框架。

海哥python·2024-09-12 06:02

本地部署大语言模型详细讲解

前言：本地部署大语言模型（LLM，LargeLanguageModel）需要相应的硬件资源和技术栈支持，如GPU计算能力、大量内存、存储空间，以及模型部署框架。

程序员小羊！·2024-09-12 04:25

推荐频道