serving模型部署

【大模型】triton inference server

前言：tritoninferenceserver常用于大模型部署，可以采用http或GRPC调用，支持大部分的backend，单GPU、多GPU都可以支持，CPU也支持。
idiotyi·2024-09-15 05:47

【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程

【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论文章目录【深度学习】【OnnxRuntime
牙牙要健康·2024-09-14 14:34

Ollama全面指南：安装、使用与高级定制

详细讲解了如何在不同操作系统上安装Ollama，如何运行和自定义大型语言模型，以及如何通过Ollama进行模型部署和交互。此外，还提供了丰富的故障排除和FAQ，帮助用户解决使用过程中的常见问题。
我就是全世界·2024-09-12 18:51

本地部署大语言模型详细讲解

前言：本地部署大语言模型（LLM，LargeLanguageModel）需要相应的硬件资源和技术栈支持，如GPU计算能力、大量内存、存储空间，以及模型部署框架。
程序员小羊！·2024-09-12 04:25

【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)

cuda==10.2cudnn==8.0.3onnxruntime-gpu==1.5.0or1.6.0pipinstallonnxruntime-gpu==1.6.0###2.2方法二：onnxruntime-gpu不依赖于本地主机上cuda和cudnn在conda环境中安装，不依赖于本地主机上已安装的cuda和cudnn版本，灵活方便。这里，先说一下已经测试通过的组合：*python3.6,cu
2401_83703835·2024-09-11 13:36

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

机器学习框架巅峰对决：TensorFlow vs. PyTorch vs. Scikit-Learn实战分析

合适的框架可以极大地提高开发效率，简化模型的构建和训练过程，并支持大规模的模型部署。因此，了解和选择最合适的机器学习框架对于研究人员和工程师来说是一个关键的步骤。
@sinner·2024-09-08 18:42

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持pmmlpredictioniohttps://github.com/apache/predictioniohttp://predictionio.apache.orgscalamysql
Helen_Cat·2024-09-06 18:35

SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

概述传统机器学习（ML）：集中收集数据->隐私保护问题privacy-preservingML(PPML)采
慘綠青年627·2024-09-06 10:44

并行处理的艺术：深入探索PyTorch中的torch.nn.parallel模块

PyTorch，作为当前流行的深度学习框架之一，提供了torch.nn.parallel模块，允许我们轻松地将模型部署到多个GPU上。
杨哥带你写代码·2024-09-04 06:10

最新视频合成后调优技术ExVideo模型部署

ExVideo是一种新型的视频合成模型后调优技术，由华东师范大学和阿里巴巴的研究人员共同开发。ExVideo提出了一种新的后调优策略，无需对整个模型进行大规模重训，仅通过对模型中时序相关组件的微调，就能够显著增强其生成更长视频片段的能力，大大降低了对计算资源的需求，仅需1.5kgpu小时就能将视频生成帧数提高至原模型的5倍。ExVideo在提升视频长度的同时，并没有牺牲模型的泛化能力，生成的视频在
杰说新技术·2024-08-31 09:56

[模型部署] ONNX模型转TRT模型部分要点

本篇讲“ONNX模型转TRT模型”部分要点。以下皆为TRT模型的支持情况。模型存为ONNX格式后，已经丢失了很多信息，与原python代码极难对应。因为在“ONNX转TRT”时，转换出错，更难映射回python代码。解决此类问题的关键为：转onnx时要打开verbose选项，输出每一行python的模型代码被转成了哪些ONNX算子。torch.onnx.export(model,(dummy_in
lainegates·2024-08-31 04:19

深度学习系列70：模型部署torchserve

1.流程说明ts文件夹下，从launcher.py进入，执行jar文件。入口为model_server.py的start()函数。内容包含：读取args，创建pid文件找到java，启动model-server.jar程序，同时读取log-config文件，TEMP文件夹地址，TS_CONFIG_FILE文件根据cpu核数、gpu个数，启动多进程。每个进程有一个socket_name和socket
IE06·2024-08-31 00:25

ios面试热门问题二

iOS中的KVO（Key-ValueObserving）是什么？它的作用和使用场景是什么？iOS中的KVO（Key-ValueObserving），全称为键值观察/监听，是苹果提供的一套事件通知机制。
hong161688·2024-08-29 05:11

在STM32上实现嵌入式人工智能应用

本文将探讨如何在STM32平台上实现深度学习应用，特别是利用STM32Cube.AI工具链将训练好的神经网络模型部署到STM32设备上。
嵌入式详谈·2024-08-28 19:30

数据科学生命周期的7个步骤–在业务中应用AI

DataCollection）3.数据准备（DataPreparation）4.数据探索（ExploratoryDataAnalysis,EDA）5.模型构建（Modeling）6.模型评估（Evaluation）7.模型部署与维护
听忆.·2024-08-28 11:10

Yolov8：模型部署到安卓端

1.项目准备1.1先安装JDK和Androidstudio（1）JDK下载：官网站：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html同意协议后，下载相应版本的JDK我这里没有下载JDK21版的，下载的是jdk1.8版本，参考文章：AndroidStudio开发环境快速搭建（超详细
爱编码的小陈·2024-08-25 17:04

TBB中的join节点的Reservation

一、join_node的策略join_node的策略有四种方式，即queueing、reserving、key_matching和tag_matching。
fpcc·2024-08-25 09:11

【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战

目录一、引言二、Whisper模型原理2.1模型架构2.2语音处理2.3文本处理三、Whisper模型实战3.1环境安装3.2模型下载3.3模型推理3.4完整代码3.5模型部署四、总结一、引言上一篇对ChatTTS
LDG_AGI·2024-08-24 03:06

pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案

问题说明：使用onnxruntime-gpu完成了深度学习模型部署，但在打包时发生了报错：找不到CUDA具体问题描述：RuntimeError:D:\a\_work\1\s\onnxruntime\python
布呐呐na·2024-08-22 15:56

【DataHub】 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

ServingArchitecture架构图DataHub服务层的架构图如下：主服务是gms，它提供一套RESTAPI和一套GraphQLAPI，用于对元数据执行CRUD操作元数据服务还提供了搜索和图查询
九层之台起于累土·2024-02-28 08:18

Rust中的模块路径和pub关键字详解

，让我们看一下一个简单的Rust模块示例：modfront_of_house{pubmodhosting{pubfnadd_to_waitlist(){}fnseat_at_table(){}}modserving
好奇的菜鸟·2024-02-20 22:32

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
吃果冻不吐果冻皮·2024-02-20 21:39

我把ChatGPT部署到我的手机上

正常的大模型部署都是在服务器上的但是最近我看到一个手机上可以运行的大模型分享给大家MiniCPMMiniCPM是基于MLC-LLM开发，将MiniCPM和MiniCPM-V在Android手机端上运行。
·2024-02-20 17:55

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。
Jachin111·2024-02-14 13:25

深度学习笔记：推理服务

推理服务是把训练好的模型部署到线上，进行实时预测的过程。如阿里的RTP系统顾名思义，实时预测是相对于非实时预测(离线预测)而言，非实时预测是将训练好
TaoTao Li·2024-02-14 03:58

如何实现远程云服务器模型部署在本地使用

远程云服务器模型部署在本地使用1.问题说明：在使用pycharm的ssh连接到远程云服务器时，模型已经加载成功并且出现了如下标识：但是我们打开本地的7080端口，发现是拒绝访问。这是什么情况？
时光诺言·2024-02-14 01:53

Verilog刷题笔记5

ABitofPracticeOnecommonplacetoseeareplicationoperatoriswhensign-extendingasmallernumbertoalargerone,whilepreservingitssignedvalue.Thisisdonebyreplicatingthesignbit
十六追梦记·2024-02-13 15:38

LMDeploy 大模型量化部署实践

在浦语的MDeploy大模型量化部署实践课程中，可能需要完成的任务包括：大模型部署背景2、LMDeploy简介环境配置：这个部分你需要安装并设置相关的开发工具和库。
查里王·2024-02-12 23:57

AI工程化工具设计

需要有一个方便的改名字的工具，将下载的图片，一键式改名；3，需要有一个方便的，自动化的标注工具，提高标注效率4，需要有一个方便的，图形化的训练和测试工具，自动训练，并给出训练结果报告5，需要有一个方便的部署工具，方便把模型部署到
LabVIEW_Python·2024-02-12 21:44

本地build部署查看制品

执行build后找到dist文件夹dist文件夹.png进入并打开GitBash输入命令http-serverGitBash.pngStartinguphttp-server,serving.
SonyaBaby·2024-02-12 10:51

s2i ksonnet helm minikube kubectl oc kubeflow docker CLI 串讲

以上工具都是基于docker的虚拟化工具，每个工具都足够让你节省非常多的时间来构建镜像，部署你的应用服务s2i非常简单是一个从源码构建docker镜像的工具，在我们做model-serving在使用s2i
Helen_Cat·2024-02-12 01:13

开发者都能玩转的大模型训练

而且基于亚马逊云科技的云服务器优势，可以直接将模型部署到线上托管环境上，非常方便，且无技术“隔阂”，无缝操作。据我
·2024-02-11 17:57

hummingbird，一个便于将模型部署到边缘设备的Python库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-11 05:31

hummingbird，一个非常好用的 Python 库！

随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
近咫／＼ぃ天涯·2024-02-10 12:54

论文撰写八大技巧与八大心得，一文读懂

各位大佬、敬请查阅声明:作为全网AI领域干货最多的博主之一，❤️不负光阴不负卿❤️日常搬砖帮老板审了不少Paper，总结一些心得分享给各位正在路上的科研小伙伴计算机视觉、超分重建、图像修复、目标检测、模型部署都在学习墨理学
墨理学AI·2024-02-10 12:34

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统时，调度服务器资源的详情将取决于以下关键因素：模型部署：GPU资源：由于Qianwen-14B是一个大规模语言模型，推理时需要高性能的GPU
wangqiaowq·2024-02-09 12:20

OC底层原理18 - KVO

简介KVO，全称为Key-Valueobserving，中文名为键值观察，KVO是一种机制，它允许将其他对象的指定属性的更改通知给对象。
卡布奇诺_95d2·2024-02-09 04:50

Fate-Serving推理服务源码解读

https://fate-serving.readthedocs.io/en/develop/?
SakamataZ·2024-02-08 22:20

secretflow推理服务源码解读

secretflow-serving（https://github.com/secretflow/serving）是隐语提供的一套aby3的推理服务，代码量只有clickhouse的百分之一（一万行不到
SakamataZ·2024-02-08 22:20

hummingbird，一个非常好用的 Python 库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-08 12:42

读懂 FastChat 大模型部署源码所需的异步编程基础

原文：读懂FastChat大模型部署源码所需的异步编程基础-知乎目录0.前言1.同步与异步的区别2.协程3.事件循环4.await5.组合协程6.使用Semaphore限制并发数7.运行阻塞任务8.异步迭代器
javastart·2024-02-08 09:08

【推荐算法】userid是否建模

推荐算法user_id在train和serving时应该怎么用？
sdbhewfoqi·2024-02-06 19:24

【缩略图保持的图像加密隐私保护学习，TPE】

如何生成可参考右边的帮助文档缩略图保持的图像加密隐私保护学习，TPE前言一、TPE加密研究背景及意义二、预备知识三、现有缩略图方案概览四、文献[1]的主要思想五、文献[2]的主要思想六、展望前言最近研究了一下缩略图加密，thumbnail-preservingencryption
元气女·2024-02-06 19:52

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

先说结论全精度llama27B最低显存要求：28GB全精度llama213B最低显存要求：52GB全精度llama270B最低显存要求：280GB16精度llama27B预测最低显存要求：14GB16精度llama213B预测最低显存要求：26GB16精度llama270B预测最低显存要求：140GB8精度llama27B预测最低显存要求：7GB8精度llama213B预测最低显存要求：13GB8
海皇海皇吹·2024-02-05 20:50

ALOS 30mDEM数据显示

ALOS30米DEM数据由高级陆地观测卫星ALOS（AdvancedLandObservingSatellite）上搭载的全色遥感立体测绘仪PRISM（PanchromaticRemote-sensingInstrumentforStereoMapping
按图索迹·2024-02-05 16:29

MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets（AAAI20）

MarioNETteArchitectureFig.2展示了MarioNETte的框架图给定driverimagex\mathbf{x}x，一组targetimages{yi}i=1⋯K\left\{\mathbf{y}^i\right\}_{i=1\cdotsK}{yi}i=1⋯K，整个framework输出一幅Reenactedimage注意：driverx\mathbf{x}x是一帧图像，t
o0Helloworld0o·2024-02-05 10:27

（阅读笔记）SecureML: A System for Scalable Privacy-Preserving Machine Learning

SecureML动机基础知识SecureML文章总结动机用户（例如物联网设备）计算、电池资源受限，选择外包数据给云或边缘执行密集型计算；用户数据包含隐私信息，数据控制权的转移意味着数据隐私泄露风险；选择加密原语处理数据后上传，实现密文计算（网络推理或训练）是重要挑战。基础知识线性回归模型，值连续，损失函数多选择最小欧式距离计算；逻辑回归模型，二分类任务，值离散，损失函数多选择交叉熵计算；神经网络模
你看见的我·2024-02-05 10:27

论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

论文学习笔记POSEIDON:Privacy-PreservingFederatedNeuralNetworkLearningNDSS2021录用文章目录论文学习笔记POSEIDON:Privacy-PreservingFederatedNeuralNetworkLearning
JiangChSo·2024-02-05 10:55

InstantID: Zero-shot Identity-Preserving Generation in Seconds

文章目录IntroductionMainReference记录由国内首创的一个好玩的小项目，图像生成领域的新进展。但我希望现阶段计算机视觉领域的研究能更聚焦在语义分割和三维视觉上，这样能更方便与机器人等产品和工业实体结合。IntroductionInstantID是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。用户只需上传一张自拍，20秒就能得到定制版AI写
猛码Memmat·2024-02-05 10:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他