LLm 第11页

本周Github上有趣的11个项目

极道Jdon·2024-01-26 16:11

大模型部署手记（22）Ubuntu+TensorRT-LLM+通义千问

阅读了https://zhuanlan.zhihu.com/p/662406460张小白不禁打开了这个链接：GitHub-Tlntin/Qwen-7B-Chat-TensorRT-LLM看了下环境：貌似不难满足

张小白TWO·2024-01-26 16:26

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

引言日暮苍山远，天寒白屋贫。CreatedbyDALL·E3小伙伴们好，我是《小窗幽记机器学习》的小编：卖汤圆的小女孩，今天是冬至，祝福小伙伴们幸福安康吧。紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama实战(下篇)-本地部署、量化及GPT-4对

JasonLiu1919·2024-01-26 16:24

成功编译TensorRT-LLM

由于在本地工作站通过下载docker环境编译TRT-LLM出现错误，无法解决。于是决定通过在公有云申请资源，通过配置TRT-LLM编译依赖环境的方式进行编译。

有来有去9527·2024-01-26 16:53

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

本文首发于NVIDIA一、概述CodeFuse（https://github.com/codefuse-ai）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现

CodeFuse·2024-01-26 16:23

TensorRT-9.0和TensorRT-LLM马上要发布了！

oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文TensorRT-9.0和TensorRT-LLM

自动驾驶之心·2024-01-26 16:52

TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践

01概述本文档是利用TensorRT-LLM(earlyaccess)对CodeFuse-CodeLlama-34B进行int4量化的实践（注：TensorRT-LLM(GA)已发布）。

CodeFuse·2024-01-26 16:52

TensorRT-LLM Docker镜像制作

在镜像内安装trt-llm在trt-llm的docker中默认的基础镜像是nvcr.io/nvidia/pytorch:23.08-py3。因此，尝试在该基础镜像中安装trt-llm。

美洲大蠊很顽强·2024-01-26 16:22

TensorRT-LLM的AutoDL部署

安装cudawgethttps://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.runchmod+xchmod+xcuda_12.2.1_535.86.10_linux.run./cuda_12.2.1_535.86.10_linux.run安装cudn

wwwsctvcom·2024-01-26 16:21

生成式人工智能聊天黑客松导学系列 - 用 Python 构建您的第一个 RAG 应用

用户只需要通过简单提问就可以使用RAG（检索增强生成）从LLM模型获取专业的知识回答。我们也从不少传统应用开发者中了解到他们想学习如何构建自己的RAG聊天应用程序，但不知道从何入手。

MicrosoftReactor·2024-01-26 15:08

AGI时代的奠基石：Agent+算力+大模型是构建AI未来的三驾马车吗？

★AIAgent；人工智能体，RPA；大语言模型；prompt；Copilot；AGI；ChatGPT；LLM；AIGC；CoT；Cortex；Genius；MetaGPT；大模型；人工智能；通用人工智能

高性能服务器·2024-01-26 15:02

#AIGC##LLM##RAG# RAG：专补LLMs短板_减少LLM幻觉并多模态/RAG 技术最新进展

RAG技术，即检索增强生成，标志着自然语言处理领域的重大进展。通过整合先前知识，它提升了大型语言模型的性能，广泛应用于多模态领域和垂直行业。本文深入探讨了RAG技术的演进历程、技术发展、LLMs问题及其解决方案，为读者提供了对这一前沿技术的全面理解。RAG与LLMsRAG演进历程RAG技术的演进历程可以分为几个关键阶段，总结如下：预训练阶段：RAG概念首次于2020年提出，初期研究侧重于如何通过预

向日葵花籽儿·2024-01-26 11:23

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

RuntimeError:expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述使用GPUV100(32GB)对ChatGLM模型进行lora微调时，分别在训练和预测时均出现了RuntimeError:expectedscalartypeHalfbutfoundFloat的错误提示，如下图所示：在经过了亲

u013250861·2024-01-26 11:52

LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系

对于LLaMa-6b模型来说1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：2、每个样本需要的内存大小（）：3、基于第1/2条，对于A100显卡（80GBRAM）来说，batch_size最大可以设置为50

u013250861·2024-01-26 11:22

#GPU|LLM|AIGC#集成显卡与独立显卡|显卡在深度学习中的选择与LLM GPU推荐

区别核心区别：显存，也被称作帧缓存。独立显卡拥有独立显存，而集成显卡通常是没有的，需要占用部分主内存来达到缓存的目的集成显卡：是集成在主板上的，与主处理器共享系统内存。一般会在很多轻便薄型的笔记本与低端的台式电脑上得到广泛的应用性能较低，适合一般办公和基本图形任务。独立显卡：一块独立的图形处理器，有自己的显存，并且不与主处理器共享内存。独立显卡通常性能更强大，适合处理复杂的图形和游戏。在一些专业应

向日葵花籽儿·2024-01-26 11:45

【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything

SupervisedFine-tuning和Context-EnhancedInstructionTuning1.1.1阶段一：SFT（SupervisedFine-tuning）这个阶段的目标是基于LLM

余俊晖·2024-01-26 06:48

【LLM】FuseLLM：大模型融合trick-知识融合LLMs

在大模型场景下，对每个源模型都进行初始化成本太高，为了减少初始化源LLM的成本，使集成后的模型受益于所有源LLMs的优势。因此，本文介绍了一种知识融合的方法用来进行大模型的融合。

余俊晖·2024-01-26 06:56

全面解析开源大语言模型：BLOOM

大型语言模型（LLM）的兴起一直是自然语言处理（NLP）领域的一个决定性趋势，导致它们在各种应用程序中的广泛采用。然而，这种进步往往是排他性的，大多数由资源丰富的组织开发的LLM仍然无法向公众开放。

yule.yang·2024-01-26 06:45

本地化部署大模型方案二：fastchat+llm(vllm)

的新服务器）3.3安装魔搭环境，下载大模型3.4安装并使用FastChat3.4.1安装FastChat3.4.2使用FastChat第一步启动controller第二步启动model_worker（llm

代码浪人·2024-01-26 05:54

快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型

LLM（大语言模型）微调方案是解决通用大模型落地私有领域的

浪潮圈·2024-01-26 04:38

LLM之调用智谱API实现问答

大语言模型（LLM）自从chatGPT发布以来，很多机构都发布了自己的大语言模型调用API，目前国内有百度的文心一言，阿里的通义千问，智谱，科大讯飞的讯飞星火等等。

IRevers·2024-01-26 00:17

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

文章目录Finetune简介指令跟随微调增量预训练微调LoRAQLoRAXTuner介绍快速上手8GB显卡玩转LLM动手实战环节Finetune简介增量预训练和指令跟随通过指令微调获得instructedLLM

李日音·2024-01-25 21:02

Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models

本文是LLM系列文章，针对《Retrieval-augmentedMulti-modalChain-of-ThoughtsReasoningforLargeLanguageModels》的翻译。

UnknownBody·2024-01-25 17:53

Jellyfish: A Large Language Model for Data Preprocessing

本文是LLM系列文章，针对《Jellyfish:ALargeLanguageModelforDataPreprocessing》的翻译。

UnknownBody·2024-01-25 17:23

Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives

本文是LLM系列文章，针对《LargeLanguageModelsEmpoweredAgent-basedModelingandSimulation:ASurveyandPerspectives》的翻译

UnknownBody·2024-01-25 17:23

PromptBench: A Unified Library for Evaluation of Large Language Models

本文是LLM系列文章，针对《PromptBench:AUnifiedLibraryforEvaluationofLargeLanguageModels》的翻译。

UnknownBody·2024-01-25 17:22

大语言模型推理提速：TensorRT-LLM 高性能推理实践

作者：顾静TensorRT-LLM如何提升LLM模型推理效率大型语言模型（Largelanguagemodels,LLM）是基于大量数据进行预训练的超大型深度学习模型。

阿里云云原生·2024-01-25 13:00

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--机器人、强化学习、开放词汇

分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割==roboticagent==标题:TheConversationistheCommand:InteractingwithReal-WorldAuto

晓理紫·2024-01-25 13:01

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航

分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割==chatgpt@largelanguagemodel@LLM==标题:HAZARDChallenge:EmbodiedDecisionMakingi

晓理紫·2024-01-25 13:01

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)-大模型、扩散模型、视觉导航

分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割==LLM==标题:MindYourFormat:TowardsConsistentEvaluationofIn-ContextLearningImpr

晓理紫·2024-01-25 12:31

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--机器人、强化学习

分类:大语言模型LLM视觉模型VLM扩散模型视觉导航具身智能，机器人强化学习开放词汇，检测分割==roboticagent==标题:WorkspaceOptimizationTechniquestoImprovePredictionofHuman

晓理紫·2024-01-25 12:26

Dify学习笔记-工具（七）

1、工具工具定义工具可以扩展LLM的能力，比如联网搜索、科学计算或绘制图片，赋予并增强了LLM连接外部世界的能力。Dify提供了两种工具类型：第一方工具和自定义工具。

有语忆语·2024-01-25 12:21

Dify.AI：简单易用的 LLMOps 平台，可视化创造和运营你的 AI 原生应用

随着大型语言模型（LLM）不断涌现的各种能力，AI应用的场景变得更加广阔。然而，对于大多数开发者而言，基于GPT等大型语言模型、Langchain等技术框架开发AI应用仍然是一项门槛极高的任务。

Dify.AI·2024-01-25 12:48

LLM推理的吞吐、时延及成本空间

选择正确的LLM推理栈意味着选择适合你的任务的正确模型，并配以适当的推理代码在适当的硬件上运行。

AI知识图谱大本营·2024-01-25 12:42

大模型可视化

在线网址：https://bbycroft.net/llm如果在线玩感觉不过瘾，可以部署到本地，下面是源码，内附部署教程。

AI知识图谱大本营·2024-01-25 12:12

大模型面试题总结

文章目录一、大模型（LLMs）基础面二、大模型（LLMs）进阶面三、大模型（LLMs）微调面四、大模型（LLMs）langchain面1.基于LLM+向量库的文档对话基础面2.基于LLM+向量库的文档对话优化面

谢白羽·2024-01-25 08:32

大语言模型系列-T5

文章目录前言一、T5的网络结构和流程二、T5的预训练过程三、其他训练结论总结前言目前已经讲解了目前LLM的三大流派的两个起始模型：GPT-1（Decoderonly）、BERT（Encoderonly）

学海一叶·2024-01-25 07:27

认识与探索大模型时代的RPA应用及进化（上）

而同时另外一种在最近几年广受欢迎的自动化解决方案-RPA（机器人流程自动化）也在LLM时代不断升级进化。本文将尝试结合理论与实例来梳理与探讨RPA在LLM影响下的应用与发展。

RPA中国·2024-01-25 06:34

LLM、GPT和人工智能之间的关系和区别，你知道多少？

LLM（LargeLanguageModel）、GPT（GenerativePre-trainedTransformer）和人工智能之间的关系如下：定义人工智能首先，人工智能（ArtificialIntelligence

shengjk1·2024-01-25 04:00

大语言模型(LLM)有哪些？

国际大语言模型目前国际上有以下几个知名的大语言模型:GPT-4GPT-4由OpenAI团队开发，是闭源的。GPT（GenerativePre-trainedTransformer）系列是目前最著名的大语言模型之一。最早的版本是GPT-1，之后发展到了GPT-2和GPT-3，目前最新版本是GPT-4，2023年3月14日发布。GPT系列模型通过预训练和微调的方式，可以生成高质量的文本。BERTBER

图灵追慕者·2024-01-25 03:13

解锁 AI 潜力 | 使用 GreptimeAI 深入观测 OpenAI 行为和用量

GreptimeAIGreptimeAI提供了专为监测和管理大型语言模型（LLM

Greptime·2024-01-25 03:42

GreptimeAI + Xinference 联合方案：高效部署并监控你的 LLM 应用

随着OpenAI的兴起，同时涌现的还有许多其他优质的开源大语言模型，比如Llama，ChatGLM，Qwen等等，这些优秀的开源模型也可以帮助团队快速地搭建出一个出色的LLM应用。

Greptime·2024-01-25 03:10

【AI大模型】WikiChat超越GPT-4：在模拟对话中事实准确率提升55%终极秘密

Wikichat论文中写道：WikiChat,这是第一个基于少量提示的LLM聊天机器人，它在模拟对话中的事实准确率几乎可以达到

德天老师·2024-01-25 00:45

【文献阅读】Harnessing Explanations LLM-to-LM Interprete for Enhanced TAG Graph Reresentation Learning

问题：最近LLM大火，GPT和Lama2表现出推理和利用常识的能力。进一步，如何将这种文本建模能力与GNN的结构学习能力相结合成为突出性问题。贡

SuperCooper·2024-01-24 22:04

控制LLM大模型输出JSON的方法

随着大型语言模型（LLM）的不断发展，它们在各种应用中发挥着越来越重要的作用。然而，LLM的输出通常是以自然语言形式呈现的，这使得将其转换为结构化格式（如JSON）变得困难。

百度_开发者中心·2024-01-24 16:44

基于大模型(LLM)的数据仓库

本文将介绍如何利用大型语言模型（LLM）技术，实现数据仓库的智能化运维。一、数据仓库概述数据仓库是一个大型、集中式的存储系统，用于存储和管理企业的结构化数据。

百度_开发者中心·2024-01-24 16:14

LLM大模型引领信息检索新时代

一、LLM大模型在信息检索领域的应用LLM大模型，即大规模语言模型，是人工智能领域的一项重要技术。

百度_开发者中心·2024-01-24 15:42

利用LLM大模型实现智能报表生成

随着自然语言处理技术的不断发展，利用LLM（LargeLanguageModel）大模型实现智能报表生成已成为一种新兴趋势。