(LLM) 第16页

大模型内容分享(二十八)：mnn-llm: 大语言模型端侧CPU推理优化

在大语言模型(LLM)端侧部署上，基于MNN实现的mnn-llm项目已经展现出业界领先的性能，特别是在ARM架构的CPU上。

之乎者也··2024-01-18 12:44

大模型内容分享(二十六)：大模型时代，如何完成IDP智能文档处理领域的OCR大一统？

Donut：无需OCR的用于文档理解的Transformer模型2.2、NouGAT：实现文档图像到文档序列输出2.3、SPTSv3：基于SPTS的OCR大一统模型3大模型时代下的智能文档处理应用3.1、LLM

之乎者也··2024-01-18 12:43

【大模型评测】常见的大模型评测数据集

子非Yu@Itfuture·2024-01-18 11:36

书生·浦语大模型实战营第三次课堂笔记

LLM的局限性知识时效性受限:如何让LLM能够获取最新的知识专业能力有限:如何打造垂域大模型定制化成本高:如何打造个人专属的LLM应用RAG:检索增强生成，核心思想：给大模型外挂一个知识库，对于用户的提问

Unicornlyy·2024-01-18 10:20

AI 反馈强化学习的工作原理

瑞安·奥康纳近几个月来，大型语言模型(LLM)因其编写代码、起草文档等能力而备受关注。人们还观察到这些能力极强的特工有时会表现出不良行为，例如产生有害和有毒的输出，甚至在某些情况下鼓励自残。

无水先生·2024-01-18 03:29

大模型部署的方案

借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。

人工智能与算法学习·2024-01-18 01:07

带着问题学LLM

常用模型大小对比chatglm-6bmodel=AutoModel.from_pretrained(model_path,trust_remote_code=True,device_map='auto',load_in_8bit=True,torch_dtype=torch.float16)bin文件13.4g模型加载时有load_in_8bit和torch_dtype两个参数原始模型加载，显存占

zhouzhou0929·2024-01-18 01:07

Chatopera 云服务支持大语言模型对话（LLM），定制您的聊天机器人

2024年，Chatopera云服务继续不断完善，为开发者提供最好的定制聊天机器人的工具。在过去的一年，用户们反映最多的建议是Chatopera云服务内置大语言模型的对话，今天Chatopera云服务完成了产品升级，满足了这个诉求。大语言模型对话的应用场景大语言模型通过对海量语料进行机器学习，可以回答很多种类的问题，以下列举3点：回答事实性问题，比如“珠穆朗玛峰的海拔是多少？”回答生活、天气、出行

Chatopera 研发团队·2024-01-17 22:04

[晓丽紫]每日论文分享(有中文摘要，源码或项目地址)--大模型，扩散模型...

专属领域论文订阅关注{晓理紫|小李子}，每日更新论文，如感兴趣，请转发给有需要的同学，谢谢支持分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割[晓丽紫]每日论文分享

晓理紫·2024-01-17 20:28

[晓丽紫]每日论文分享(有中文摘要，源码或项目地址)--机器人相关

专属领域论文订阅VX关注{晓理紫|小李子}，每日更新论文，如感兴趣，请转发给有需要的同学，谢谢支持分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割[晓丽紫]

晓理紫·2024-01-17 20:27

[晓理紫]每日论文推送(有中文摘要，源码或项目地址)--大模型相关、扩散模型、视觉导航

VX关注晓理紫，并留下邮箱可免费获取每日论文推送服务分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割==LLM==标题:ACloserLookatAUROCandAUPRCunderClassImbalance

晓理紫·2024-01-17 20:27

[晓理紫]每日论文推送(有中文摘要，源码或项目地址)--机器人、视觉相关

专属领域论文订阅VX关注{晓理紫}，每日更新论文，如感兴趣，请转发给有需要的同学，谢谢支持VX关注晓理紫，并留下邮箱可免费获取每日论文推送服务分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能

晓理紫·2024-01-17 20:57

揭秘全球首个开源MoE模型：Mixtral-8x7B

MistralAI和大多数LLM一样，喜欢把GPT-3.5和LLaMA当中靶子。MMLU/MBPP这

AI星球·2024-01-17 18:09

使用 Elasticsearch 和 LlamaIndex 进行高级文本检索：句子窗口检索

从Q/A聊天机器人到基于上下文的代理，RAG的使用一直是LLM申请快速增长的主要因素。

Elastic 中国社区官方博客·2024-01-17 15:40

第36期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2024-01-17 12:44

用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

Retrieval-AugmentedGeneration（RAG）是一种强大的技术，能够提高大型语言模型（LLM）的性能，使其能够从外部知识源中检索信息以生成更准确、具有上下文的回答。

Python算法实战·2024-01-17 11:56

用通俗易懂的方式讲解：一文讲清大模型 RAG 技术全流程

（1）安装pdf解析库（2）检索引擎准备工作将文本片段灌入检索引擎实现关键字检索（3）LLM接口封装（4）Prompt提示构建三、总结扩展阅读一、为什么业界普遍关注RAG？

Python算法实战·2024-01-17 11:26

用通俗易懂的方式讲解：使用 LlamaIndex 和 Eleasticsearch 进行大模型 RAG 检索增强生成

检索增强生成（Retrieval-AugmentedGeneration，RAG）是一种结合了检索（Retrieval）和生成（Generation）的技术，它有效地解决了大语言模型（LLM）的一些问题

Python算法实战·2024-01-17 11:54

Python—使用LangCahin调用千帆大模型

文章目录前言一、安装LangChain二、获取千帆APIKey、SecretKey三、简单对话案例实现四、构建语言模型应用程序:LLM1.初始化模型2.LLM初始化和调用五、提示词模板（PromptTemplate

落魄实习生·2024-01-17 10:31

刘知远LLM入门到实战——自然语言基础

文章目录自然语言处理基础词表示语言模型N-gramModelNeuralLanguageModel:为什么NLP等领域的模型越来越大？大模型会带来哪些新的范式和挑战？自然语言处理基础让计算机理解人类语言，图灵测试就是基于对话的方式。研究历史：2011年IBMWatsonDeepQA在线问答节目战胜所有人类基本任务：词性标注（动词、名词、形容词）、命名实体的识别（识别出名词是否为实体，如人名、地名、

李日音·2024-01-17 08:41

李宏毅LLM——机器学习基础知识

文章目录机器学习基本概念生成式学习StructuredLearning总结机器学习基本概念机器学习=机器自动找出一种函数根据函数的不同，可以分为回归问题（输出数值）和分类问题（输出类别，选择题）生成式学习StructuredLearning生成有结构的物件，如图片、文句ChatGPT是生成式学习，只不过是将生成式学习拆成多个分类问题来简化找出函式的三大步骤前置作业：决定需要什么样的函数，取决于需要

李日音·2024-01-17 06:09

【LLM】Prompt微调

Prompt在机器学习中，Prompt通常指的是一种生成模型的输入方式。生成模型可以接收一个Prompt作为输入，并生成与该输入相对应的输出。Prompt可以是一段文本、一个问题或者一个片段，用于指导生成模型生成相应的响应、续写文本等。Prompt优化一般大模型蕴含的训练数据量往往是百亿级别甚至万亿级别。大模型通常无法在小数据上微调。因此，基于Prompt的微调技术便成为了首要选择。Prompt优

m旧裤子·2024-01-17 06:26

ChatGPT+自定义Prompt=发文神器

自ChatGPT横空出世以来，很多企业、科研机构纷纷抓住这个LLM的橄榄枝，在下游任务上进行微调和task-targetprompt设计。

Isawany·2024-01-17 05:18

【书生·浦语】大模型实战营——LMDeploy 大模型量化部署实战

LLM是典型的访存密集型任务WeightOnly量化：核心功能——推理引擎TurboMind主要包

不想动脑筋的亮亮·2024-01-17 04:16

LLM大模型工程入门级知识初探

文章目录前言一、Prompt工程二、模型微调finetune(如multilora)三、代码执行CodeInterpreter四、函数支持FunctionCall五、外部集成LangChain六、Embedding与向量数据库VectorDBEmbeddingSearch向量数据库VectorDB八、SFT、RLHF、RAG、MultiAgentSFT与RLHFRAGMultiAgent九、插件(

无一郎的技术圈·2024-01-17 02:06

李宏毅LLM——ChatGPT原理剖析

文章目录Chat-GPT引言关键技术——预训练研究问题玩文字冒险游戏ChatGPT原理剖析Chat-GPT引言直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案误解：罐头回答、答案是网络搜索的结果真正做的事：文字接龙，function，几率分布->采样不仅包含现在的输入还有过去的输入，大语言模型=文字接龙训练：寻找函数的过程，使用了网络资料测试：没有联网关键技术——预训练一般的机器

李日音·2024-01-16 22:16

书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库

文章目录大模型开发范式RAGLangChain框架：构建向量数据库构建检索问答链优化建议web部署实践部分环境配置大模型开发范式LLM的局限性：时效性（最新知识）、专业能力有限（垂直领域）、定制化成本高

李日音·2024-01-16 22:45

缓解大语言模型（LLM）幻觉的可行方法探究（课程综述）

缓解大语言模型（LLM）幻觉的可行方法探究转载请标明出处，抄袭摘要：2022年11月OpenAI推出能够进行多场景对话的大语言模型ChatGPT，ChatGPT凭借大规模的训练参数、海量的训练数据及强化学习人类反馈在语义理解

wavehaha·2024-01-16 21:30

Agent检索增强生成

检索增强生成(RAG)设计模式通常用于在特定数据域中开发大语言模型(LLM)应用。然而，RAG的过往的研究重点主要在于提高检索工具的效率，例如嵌入搜索、混合搜索和微调嵌入，而忽视了智能搜索。

lichunericli·2024-01-16 20:58

检索增强生成(RAG)技术创新进展：自我检索、重排序、前瞻检索、系统2注意力、多模态RAG

大型语言模型（LLM）将彻底改变很多分析领域应用。一个用例是LLM+RAG可以调研大量文档，并在很短的时间内以分析师的一小部分成本找到趋势。但问题是—很多时候你得到的答案只是部分且不完整的。

lichunericli·2024-01-16 20:28

GitHub 一周热点汇总第5期(2024/01/07-01/13)

#1llm-course项目名称：llm-course-大语言模型课程GitHub链接：https://github.com/mlabonne/llm-course上周Star数：3300+本项目的内容从名字就

IT咖啡馆·2024-01-16 18:34

100%本地运行LLM的AI助手

AI套壳千千万万，你最喜欢哪一款？现在各种ChatGPT替代品层出不穷，但是大部分都是使用OpenAI的API，也就说离不开网络。今天我们推荐的开源项目它就是要帮你100%在本地运行大模型，进而构建一个属于自己的ChatGPT，本项目目前在GitHub已超过6KStar，它就是：Jan。Jan是什么?Jan是一个开源ChatGPT替代品，可以在您的计算机上100%离线运行。Jan支持从PC到多GP

IT咖啡馆·2024-01-16 18:34

【AIGC入门一】Transformers 模型结构详解及代码解析

作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？

不想动脑筋的亮亮·2024-01-16 15:59

【大模型】大语言模型前沿技术系列讲座-学习笔记2：Transformer -＞ChatGPT

最近参加了深蓝学院举办的《大型语言模型前沿技术系列分享》，该系列分享以大模型(LLM)为背景，以科普、启发为目的，从最基本的Transformer开始讲起，逐步涉及一些更高阶更深入的课题，涵盖大模型基础

不雨_亦潇潇·2024-01-16 15:28

揭秘RAG与语义搜索的异同，你了解多少？

过程:RAG包括使用用户输入查询外部知识库，然后使用这些检索到的信息来指导LLM的回应。这个过程确保LLM的回应不仅

wwlsm_zql·2024-01-16 14:06

RAG为什么是必不可少的？

检索增强生成（RAG）之所以重要，主要有以下几个关键原因，特别是在提高大型语言模型（LLM）如聊天机器人和其他自然语言处理应用的性能和可靠性方面：提高准确性和相关性：RAG使LLM能够访问和引用来自外部知识库的最新

wwlsm_zql·2024-01-16 14:06

AIGC大模型必备知识——LLM ，你知道它是如何训练的吗？小白必读深度好文

没错，那就是大型语言模型LLM。这些模型可能会彻底改变我们与科技的互动方式！以OpenAI的GPT-3.5为例，它的火爆程度展示了大型语言模型在人工智能领域的重要性。这些模型是如何

OJAC近屿智能·2024-01-16 14:03

RAG检索增强技术在知识库智能检索场景下的应用实践

一、知识检索增强的基本概述1.1、知识检索增强技术提出的背景1.1.1、LLM的缺陷知识检索增强技术的提出背景主要源于当前基于LLM（大规模语言模型）的知识检索存在诸多缺陷。

技术狂潮AI·2024-01-16 14:31

迈向高效LLM微调：低秩适应（LoRA）技术的原理与实践

在快速发展的人工智能领域中，以高效和有效的方式使用大型语言模型（LLM）变得越来越重要。在本文中，您将学习如何以计算高效的方式使用低秩适应（LoRA）对LLM进行调整！为什么需要微调？

wwlsm_zql·2024-01-16 14:31

微博AI评论机器人“评论罗伯特”引发热议；Local LLM常用术语解释

AI新闻微博AI评论机器人“评论罗伯特”引发热议摘要：微博平台上活跃的AI评论机器人“评论罗伯特”引发了网友的热议。这个机器人不断在微博评论区留下震惊人心的言论，受害者数量众多，还被组建了一个“受害者联盟”。罗伯特其实是新浪官方的AI机器人，主要任务是给微博暖场。尽管许多网友被罗伯特气炸，但也有人成立了一个粉丝账号来追踪并分享罗伯特的言论。罗伯特的评论在互联网上引发了极大的影响力和公众兴趣，不过也

go2coding·2024-01-16 13:00

如何优化大型语言模型，让AI回应更智能、更准确？

大型语言模型（LLM）在大量数据上进行训练，使用数十亿参数来生成原创输出，以执行回答问题、翻译语言和完成句子等任务。RAG将LLM已经强大的能力扩展到特定领域或组织的内部知识库，而无需重新训练模型。

wwlsm_zql·2024-01-16 11:03

大语言模型

概念大语言模型（LargeLanguageModel，简称LLM）是一种基于人工智能技术的自然语言处理模型，是指在大量数据上训练的高级人工智能算法，以自上文推理词语概率为核心任务。

图灵追慕者·2024-01-16 11:31

基于LLM大模型的结构化数据批量提取

我们探索大型语言模型(LLM)的批量用例，重点关注非结构化文本到结构化数据的转换。通过利用这种方法，企业可以利用结构化信息丰富其数据库，并提高对非结构化数据源的理解。为了说明此类用例

新缸中之脑·2024-01-16 11:42

3个控制LLM生成随机性的语言模型参数

你可能已经使用ChatGPT或任何其他主要的LLM来构建系统、执行分类任务、回答问题或将其用作各种创造性和信息性任务的辅助。然而，控制这些模型的输出以满足特定要求或匹配所需的风格至关重要。

新缸中之脑·2024-01-16 11:12

4种控制LLM大模型输出JSON的方法

在构建人工智能驱动的应用程序时，工程师不可避免地需要将大型语言模型（LLM）的输出集成到他们的代码库中。

新缸中之脑·2024-01-16 11:11

LangChain输出解析器

大型语言模型（或LLM）生成文本，当你构建应用程序时，有时需要使用结构化数据而不是字符串。LangChain提供了输出解析器，可以帮助我们做到这一点。

新缸中之脑·2024-01-16 11:04

LLM：Scaling Laws for Neural Language Models 理解

核心结论1：LLM模型的性能主要与计算量C，模型参数量N和数据大小D三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。

微风❤水墨·2024-01-16 09:39

#LLMOps##AIGC# Dify_构建本地知识库问答应用-生成Al应用的创新引擎用于构建助手API和GPT的开源开发平台

开源的大语言模型（LLM）应用开发平台融合了后端即服务（BackendasService）和LLMOps的理念使开发者可以快速搭建生产级

向日葵花籽儿·2024-01-16 09:53

LLM之幻觉（二）：大语言模型LLM幻觉缓减技术综述

LLM幻觉缓减技术分为两大主流，梯度方法和非梯度方法。梯度方法是指对基本LLM进行微调；而非梯度方法主要是在推理时使用Prompt工程技术。

wshzd·2024-01-16 09:21

LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）

aclanthology.org/2023.emnlp-main.398.pdf时间[Submittedon24May2023(v1),lastrevised31Oct2023(thisversion,v2)]背景LLM

__心似大海__·2024-01-16 08:19

推荐频道

(LLM)