llm 第26页

掌握大型语言模型（LLM）技术：推理优化

原文链接：MasteringLLMTechniques:InferenceOptimization|NVIDIATechnicalBlog大模型相关技术文章已整理到Github仓库，欢迎start!堆叠Transformer层以创建大型模型可以获得更好的准确性、few-shot学习能力，甚至在各种语言任务中具有接近人类的涌现能力。这些基础模型的训练成本很高，而且在推理过程中可能需要大量的内存和计算

IT挂壁青年·2023-12-04 06:33

LLM大语言模型（一）：ChatGLM3-6B试用

前言LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。

Hugo Lei·2023-12-04 05:38

关于业界大语言模型（LLM）开源的一些看法

近期看到阿里开源了720亿参数模型通义千问，已实现“全尺寸、全模态”开源，对这个动作的一些想法，包括好处和缺点国内大语言模型的开源有许多好处，如下：1.提升技术水平：国内大语言模型开源可以使更多的研究人员、工程师和学生参与进来，共同开发和改进模型，从而提升国内的自然语言处理技术水平。2.降低研发成本：开源模型可以让企业和研究机构节省研发成本，避免重复造轮子，加速模型迭代和推广应用。3.推动产业发展

amuseme_lu·2023-12-04 05:08

Elasticsearch：什么是大语言模型（LLM）？

大语言模型定义大语言模型(LLM)是一种深度学习算法，可以执行各种自然语言处理(naturallanguageprocessing-NLP)任务。

Elastic 中国社区官方博客·2023-12-04 05:29

大语言模型有那些能力和应用

目录能力应用能力理解语义的能力：LLM具有强大的语义理解能力，能够理解大部分文本，包括不同语言（人类语言或计算机语言）和表达水平的文本，即使是多语言混杂、语法用词错误，也在多数情况下可以理解用户的提问。

小湘西·2023-12-04 02:35

llama.cpp部署通义千问Qwen-14B

llama.cpp是当前最火热的大模型开源推理框架之一，支持了非常多的LLM的量化推理，生态比较完善，是个人学习和使用的首选。

静待梅花开·2023-12-04 01:22

LLM | 一文搞懂Langchain的概念，相关组件，以及大模型微调~

LangChain是一个平台，提供工具和API，用于构建由语言模型（LLM）驱动的应用程序。它简化了LLM与项目的集成，能够利用高级语言处理功能。

夏天｜여름이다·2023-12-03 21:07

LLM；超越记忆《第 2 部分》

一、说明在这篇博客中，我深入研究了将大型语言模型（LLM）提升到基本记忆之上的数学框架。我们探索了动态上下文学习、连续空间插值及其生成能力，揭示了LLM如何理解、适应和创新超越传统机器学习模型。

无水先生·2023-12-03 20:30

HuggingFists-低代码玩转LLMRAG(1) Embedding

伴随着LLM日新月异的发展，业界对与LLM的落地思考逐渐聚焦到到两个方向上。一是RAG(Retrieval-AugmentedGeneration),检索增强生成；一是Agents,智能体。

colorknight·2023-12-03 14:05

大型语言模型在实体关系提取中的应用探索

如今LLM(大语言模型)的问答与生成能力已被大家所熟知，很多用户已经亲身体会到了LLM为工作、生活带来的变革。其实，作为NLP(自然语言处理)的集大成者，LLM能为我们提供的能力不限于此。

colorknight·2023-12-03 14:33

翻译: GPT4等大型语言模型的原理解析和未来预测慢思考和模型自我迭代和LLM安全

YouTube:IntrotoLargeLanguageModels-YouTube1.LargeLanguageModelLLM大家好，最近我做了一个关于大型语言模型的30分钟演讲，有点像介绍性演讲，不幸的是，那个演讲没有被录制下来，但很多人在演讲结束后来找我，他们告诉我，呃，他们真的很喜欢这个演讲，所以我会，我想我会重新录制它，基本上把它放在YouTube上，所以我们来了，忙碌的人的大型语言模

AI架构师易筋·2023-12-03 13:51

为什么说 AI Agents 是 AGI 时代新的应用形态？

▼最近直播超级多，预约保你有收获今晚直播：《基于LLM大模型构建AIAgents案例实战》—1—为什么说AIAgent是AI智能时代的新应用形态？

musicml·2023-12-03 03:15

AI AIgents时代-（六.）OpenAgents

OpenAgents开发的LLM-powered代理XLang集成了三个功能强大的代理。数据代理（DataAgent）对于表格这种结构性数据高度可用，并提供数据的直接显

NaiveCode·2023-12-02 10:14

如何在 LangChain 中调用 OpenVINO™ 加速大语言模型

.♪..LangChain简介LangChain是一个高层级的开源的框架，从字面意义理解，LangChain可以被用来构建“语言处理任务的链条”，它可以让AI开发人员把大型语言模型（LLM）的能力和外部数据结合起来

OpenVINO 中文社区·2023-12-02 10:39

Agent举例与应用

什么是AgentOpenAI应用研究主管LilianWeng在一篇长文中提出了Agent=LLM（大型语言模型）+记忆+规划技能+工具使用这一概念，并详细解释了Agent的每个模块的功能。

Peter_Gao_·2023-12-02 10:07

用上这个工具包，大模型推理性能加速达40倍

作者：英特尔公司沈海豪、罗屿、孟恒宇、董波、林俊编者按：只需不到9行代码，就能在CPU上实现出色的LLM推理性能。

QbitAl·2023-12-02 10:29

大模型没有自我改进能力？苏黎世理工联合Meta AI提出小模型架构，显著提升大模型表现

自我改进之所以不奏效，是因为LLM并不能准确判断原答案是否错误以及是否需要改进。

夕小瑶·2023-12-02 07:05

清华提出 SoRA，参数量只有 LoRA 的 70%，表现更好！

现在有很多关于大型语言模型（LLM）的研究，都围绕着如何高效微调展开。微调是利用模型在大规模通用数据上学到的知识，通过有针对性的小规模下游任务数据，使模型更好地适应具体任务的训练方法。

夕小瑶·2023-12-02 07:34

论文阅读——Img2LLM（cvpr2023）

arxiv：[2212.10846]FromImagestoTextualPrompts:Zero-shotVQAwithFrozenLargeLanguageModels(arxiv.org)一、介绍使用大语言模解决VQA任务的方法大概两种：multi-modalpretrainingandlanguage-mediatedVQA，即多模态预训练的方法和以语言模型为媒介的VQA。Multi-mo

じんじん·2023-12-02 07:11

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

1引言总的来说，当前有两类大语言模型（LLM）：「基础LLM」和「指令微调LLM」。基础LLM基于大量文本数据训练而成，核心思想为预测一句话的下一个单词（即词语接龙）。

stay_foolish12·2023-12-02 02:50

LangChain（0.0.339）官方文档一：快速入门

LangChain官网、LangChain官方文档、langchainGithub、langchainAPI文档、llm-universe文章目录一、LangChain简介（v0.0.338）1.1整体框架

神洛华·2023-12-02 00:59

【AIGC】用货拉拉拉不拉拉布拉多的梗调(ce)戏(shi)AI大模型，3.5和4.0的反应差别巨大！

目录一、调戏LLM大模型（一）制造陷阱——货拉拉拉拉布拉多的梗1.看看3.5的表现2.看看4.0的表现（二）用简单推理调戏大模型1.看看3.5的表现2.看看4.0的表现3.看看3.5的表现4.看看4.0

giszz·2023-12-01 23:53

Evaluation and Analysis of Hallucination in Large Vision-Language Models----大视觉语言模型中幻觉的评估与分析

在本文中，我们提出了基于大型语言模型（HaELM）的幻觉评估，这是一种基于LLM的幻觉评估框架。HaELM实现了与ChatGPT相当的约95%的性能，并具有低成本、

Mars_prime·2023-12-01 19:11

Gartner发布风险和安全管理领域的生成式人工智能创新指南

主要发现在企业应用中集成大型语言模型（LLM）和其他生成人工智能（GenAI）模型会带来三类新风险：内容异常、数据保护和人工智能应用安全。

galaxylove·2023-12-01 17:14

拥抱未来：大语言模型解锁平台工程的无限可能

01了解大型语言模型(LLM)大型语言模型（LLM）是一种人工智能（AI）算法，它使用深度学习技术和海量数据集来理解、总结、生成和预测新内容。

平台工程社区·2023-12-01 10:16

Jetson orin部署大模型示例教程

一、LLM介绍LLM指的是LargeLanguageModel（大型语言模型），是一类基于深度学习的自然语言处理技术，其主要目的是让机器能够更好地理解和生成人类的自然语言文本，如文章、对话、搜索等。

无证驾驶梁嗖嗖·2023-12-01 08:48

LangChain+LLM实战---文本分块(Chunking)方法

这个流程依然无法描述RAG的复杂性RAG涉及的内容其实广泛，包括Embedding、分词分块、检索召回（相似度匹配）、chat系统、ReAct和Prompt优化等，最后还有与LLM的交互，整个过程技术复杂度很高

lichunericli·2023-12-01 04:43

玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM

这篇主要简单记录一些调参实践，无聊时会不定期更新~文章目录0、学习率与batch_size判断1、Epoch数判断2、判断模型架构是否有问题3、大模型-计算量、模型、和数据大小的关系4、大模型调参相关论文经验总结5、训练时模型的保存0、学习率与batch_size判断batch_size：这不用多说，一般按2的指数设置如：2、4、8、16…。设多大基本看你的显卡显存能不能hold得住咯。学习率：常

#苦行僧·2023-12-01 00:37

LLM 分布式训练框架 | DeepSpeed与Accelerate

简单记录下根据网上资料（如Reference中所列）所学到的一些知识，这里主要介绍的是deepspeed分布式训练框架相关概念。小日记：今天太舒服了，早上跑了6km，晚上吃了养生菌菇火锅~文章目录1、Accelerate和deepspeed的联系2、基本概念3、通信策略4、Zero（ZeRO-Stage3、ZeRO-Offload）4.1、ZeRO中不同stage的区别4.2、ZeRO-Offlo

#苦行僧·2023-11-30 23:40

纯干货——《面向开发者的 ChatGPT Prompt工程》学习笔记

其实接触过llm的同学应该都很清楚，想要开发一款强大的llm应用，优秀的prompt是至关重要的，熟练掌握prompt编写的人，就可

MonsterQy·2023-11-30 19:55

万字长文——这次彻底了解LLM大语言模型

文章目录前言一、浅析语言模型中的核心概念1.1分词：1.2词向量：1.3神经概率语言模型二、大语言模型发展历程三、LLM基本结构3.1预训练阶段工作步骤3.2预训练阶段模型结构3.3Fine-tuning

MonsterQy·2023-11-30 19:54

LOGIC-LM：使用符号求解器为大型语言模型提供忠实的逻辑推理11.22

使用符号求解器为大型语言模型提供忠实的逻辑推理摘要1引言2相关工作3LOGIC-LM3.1ProblemFormulator3.2SymbolicReasoner3.3Self-Refiner3.4结果解释器4实验摘要大型语言模型（LLM

露葵025·2023-11-30 11:32

图推理：忠实且可解释的大型语言模型推理11.29

忠实且可解释的大型语言模型推理摘要1引言２相关工作3准备工作4方法4.1图推理：规划-检索-推理4.2优化框架4.3规划模块4.4检索推理模块5实验5.1实验设置5.2RQ1：KGQA性能比较摘要大型语言模型（LLM

露葵025·2023-11-30 11:28

大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南，2023年是大语言模型爆发的元年，在我国大语言模型分布就有上百种，随着人工智能技术的不断发展

微学AI·2023-11-30 09:28

手把手教你Autodl平台Qwen-7B-Chat FastApi 部署调用

手把手带你在AutoDL上部署Qwen-7B-ChatFastApi调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程

Unicornlyy·2023-11-29 23:44

手把手教你在AutoDL上Qwen-7B-Chat WebDemo Qwen-7B-Chat 网络演示

手把手带你在AutoDL上Qwen-7B-ChatWebDemoQwen-7B-Chat网络演示项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程

Unicornlyy·2023-11-29 23:44

手把手教你在AutoDL上部署Qwen-7B-hat Transformers 部署调用

手把手带你在AutoDL上部署Qwen-7B-hatTransformers调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程

Unicornlyy·2023-11-29 23:10

从零详细地梳理一个完整的 LLM 训练流程

1.预训练阶段（PretrainingStage）工欲善其事，必先利其器。当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna]等）。这种成功的前提在于：预训练模型和下游任务的差距不大，预训练模型中通常已经包含微调任务中所需要的知识。但在实际情况中，我们通常会遇到一些问题，使得我们无法直接使用一些开源backbone：语言不匹配：大多数开源基座对中

大数据AI人工智能培训专家培训讲师叶梓·2023-11-29 22:23

LLM综述全新出炉：51页论文带你盘点LLM领域专业化技术

来自：机器之心进NLP群—>加入大模型与NLP交流群本文提供了关于大型语言模型领域专业化技术的全面概览，这是大型语言模型应用的一个关键的新兴方向。大语言模型（LLMs）在自然语言处理（NLP）领域取得了显著的进步，为广泛的应用提供了一种非常有用的、与任务无关的基础。然而，直接应用LLMs去解决特定领域的复杂问题会遇到许多障碍，这些障碍源于领域数据的异质性、领域知识的复杂性、领域目标的独特性以及约束

zenRRan·2023-11-29 22:51

LLM 大规模语言模型综述

来源：中国人民大学人工智能学院和信息学院github地址：RUCAIBox/LLMSurvey论文：ASurveyofLargeLanguageModels时间：2023年3月31日一、摘要语言本质上是一个复杂、错综复杂的人类表达系统，受语法规则支配。开发用于理解和掌握语言的有能力的AI算法是一项重大挑战。作为一种主要方法，语言建模在过去二十年中被广泛研究用于语言理解和生成，从统计语言模型发展到神

be_humble·2023-11-29 19:35

【官方】Claude LLM大语言模型使用文档中文版

目录1介绍1.1开始使用Claude什么是Claude获取Claude访问权限与Claude的第一次聊天把Claude当作是一个外包员工一样交谈Claude“记得”整个线程需要记住的限制术语词典上下文窗口微调HHHLLMRLHF温度Token2提示词（Prompt）设计2.1设计提示词提示词响应“把内容喂到Claude的嘴里”提示长度2.2避免歧义2.2.1明确描述需求:2.2.2提供示例2.2.

ALLinLLM·2023-11-29 19:35

LLM大语言模型学习资料整理2308

2333331、吴恩达与OpenAI合作系列课程（中文版）《面向开发者的LLM入门课程》在线阅读地址：https://datawhalechina.github.io/prompt-engineering-for-developers

Mango_Holi·2023-11-29 19:05

LLM大语言模型

大语言模型的定义大语言模型（英文：LargeLanguageModel，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。

summer_west_fish·2023-11-29 19:04

Langchain-Chatchat学习

参考：Langchain-Chatchat+阿里通义千问Qwen保姆级教程|次世代知识管理解决方案-知乎(zhihu.com)中文LLM生态观察模型就开源的部分而言，从一开始的MOSS[1]ChatGLM

wangqiaowq·2023-11-29 16:17

通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源LLM与Embedding模型可以从HuggingFace下载。

wangqiaowq·2023-11-29 16:46

Table-GPT:让大语言模型理解表格数据

llm对文本指令非常有用，但是如果我们尝试向模型提供某种文本格式的表格数据和该表格上的问题，LLM更有可能产生不准确的响应。

天青色等烟雨..·2023-11-29 15:57

TS版LangChain实战：基于文档的增强检索（RAG） | 京东云技术团队

LangChainLangChain是一个以LLM（大语言模型）模型为核心的开发框架，LangChain的主要特性：可以连接多种数据源，比如网页链接、本地PDF文件、向量数据库等允许语言模型与其环境交互封装了

京东云技术团队·2023-11-29 13:50

深入解析：Peft Adapter与LLM融合

hj_caas·2023-11-29 11:30

LLM Fine-Tuning大模型FT方法

Herewediscussfine-tuningLlama2withacoupleofdifferentrecipes.Wewillcovertwoscenarioshere:1.ParameterEfficientModelFine-TuningThishelpsmakethefine-tuningprocessmoreaffordableevenon1consumergradeGPU.Thes

WitsMakeMen·2023-11-29 11:20

FlagEmbedding目前最好的sentence编码工具

FlagEmbedding专注于检索增强llm领域，目前包括以下项目:Fine-tuningofLM:LM-CocktailDenseRetrieval:LLMEmbedder,BGEEmbedding

WitsMakeMen·2023-11-29 11:49

推荐频道

llm