模型部署

深度学习或机器学习的模型部署相关的初步了解及分析

机器学习-深度学习部署相关资料文档这是上班之后的第一个文档，由于项目原因需要去了解一些和模型部署相关的知识，所以就简单了解了一下相应的部署引擎和框架，也是刚刚开始学习，如果有什么写的不对的欢迎大家交流，
浩浩的科研笔记·2023-12-20 16:48

PP-OCR与文心一言强强结合，无须训练，信息抽取精度超80%！

最后，部署繁琐，模型部署涉及诸多技术细节，影响落地效率。在大模型时代，LLM会带来怎样的帮助呢？近期，我们发布了一个融合了文心一言和PP-OCRv4的文档图像信息抽取神器——PP-ChatO
飞桨PaddlePaddle·2023-12-20 14:02

84TensorFlow 2 模型部署方法实践--使用 TensorFlow Lite 部署模型

使用TensorFlowLite部署模型环境配置线上环境使用的Tensorflow版本为2.1.0。TensorFlowLite模型转换在TensorFlow2中，用于将TensorFlow模型转换为TensorFlowLite的API为tf.lite.TFLiteConverter，其中包含三种方法：from_keras_model，用于转换Keras模型。from_saved_model，用于
Jachin111·2023-12-20 02:06

很全了！社招CV岗面试知识点笔记

一、python二、C++三、linux四、pytorch五、DL基础六、模型部署/压缩七、传统视觉八、项目思维,模型优化九、智力/code题一、pyt
自动驾驶之心·2023-12-19 04:47

机器学习的数据管理

.机器学习的数据管理注意事项机器学习的生命周期包括如下部分(1).业务的理解，机器学习问题框架(2).数据理解和收集(3).模型的训练和评估(4)模型部署(5).模型监控(6).业务衡量数据管理和机器学习的生命周期的
歌者文明·2023-12-18 08:50

深度学习部署架构：以 Triton Inference Server（TensorRT）为例

什么是模型部署？模型训练只是DeepLearning的一小部分，如《HiddenTechnicalDebtinMachineLearningSystems》机器学习系统的技术债书中所说。
禅与计算机程序设计艺术·2023-12-18 05:03

用Flask搭建简单的web模型部署服务

目录结构如下：分类模型web部署classification.pyimportosimportcv2importnumpyasnpimportonnxruntimefromflaskimportFlask,render_template,request,jsonifyapp=Flask(__name__)onnx_session=onnxruntime.InferenceSession("mobi
给算法爸爸上香·2023-12-17 20:00

机器学习和机器学习解决方案架构

1.机器学习的生命周期(1).业务理解:确定机器学习要解决的问题，以及确定机器学习项目是否成功的业务性能指标(2).数据理解和数据准备：根据业务收集数据(3).模型训练和评估(4).模型部署(5).模型监控
歌者文明·2023-12-17 09:57

图片风控NSFW(not suit for work)-2 基于tf2模型微调

tensorflow2模型）思路1将开源雅虎nsfw模型转换为tensorflow2，见tensorflow2模型重构2准备训练样本，正负样本（比例4:1~1:4之间）3数据增强4模型训练5模型保存6模型部署
晚点吧·2023-12-17 08:06

chatGPT对接小红书

chatgpt对接热线：13642679953（微信同号）首先，将ChatGPT与小红书平台进行对接，需要将ChatGPT模型部署到服务器上，并与小红书的后台系统进行集成。
红匣子实力推荐·2023-12-17 06:23

【入坑指南】| OpenCV4.8 + CUDA + 扩展模块支持编译

大家好，今天给大家分享一下最新版本OpenCV4.8如何编译支持CUDA加速，实现深度学习模型部署速度提升。
gloomyfish·2023-12-16 22:26

从零构建属于自己的GPT系列4：模型训练3（训练过程解读、序列填充函数、损失计算函数、评价函数、代码逐行解读）

中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：数据预处理从零构建属于自己的GPT系列2：模型训练1从零构建属于自己的GPT系列3：模型训练2从零构建属于自己的GPT系列4：模型训练3从零构建属于自己的GPT系列5：模型部署
机器学习杨卓越·2023-12-16 21:29

从零构建属于自己的GPT系列6：模型部署2（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）

中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：数据预处理从零构建属于自己的GPT系列2：模型训练1从零构建属于自己的GPT系列3：模型训练2从零构建属于自己的GPT系列4：模型训练3从零构建属于自己的GPT系列5：模型部署
机器学习杨卓越·2023-12-16 21:29

从零构建属于自己的GPT系列5：模型部署1（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）

中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：数据预处理从零构建属于自己的GPT系列2：模型训练1从零构建属于自己的GPT系列3：模型训练2从零构建属于自己的GPT系列4：模型训练3从零构建属于自己的GPT系列5：模型部署
机器学习杨卓越·2023-12-16 21:17

实战体验 Amazon SageMaker 机器学习

本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在亚马逊云科技开发者社区、知乎、自媒体平台、第三方开发者媒体等亚马逊云科技官方渠道）文章目录AmazonSageMaker原理生成示例数据训练模型部署模型实战机器学习注册账号
网罗开发·2023-12-16 12:31

通义千问 Qwen-72B-Chat在PAI-DSW的微调推理实践

阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供包含数据标注、模型构建、模型训练、模型部署、
Python算法实战·2023-12-16 11:04

NCNN 源码学习【一】：学习顺序

最近一段时间一直在做模型部署的工作，主要是利用NCNN部署到安卓端，跟着网上的博客和开源项目，做了很多工作，也学习到很多东西，但是对于NCNN的源码，并没有仔细的研究过，对我来说，仿佛是一个神秘的存在一样
豫州刺史·2023-12-16 05:26

深度学习模型部署之安装TensorRT windows11+vs2022+TensorRT8.0.1+cuda11.5+cuDNN8.2.0

本文参考Nvidia的官方链接本文包含在Windows11上从zip包安装TensorRT的说明。在你开始之前确保您已安装了CUDA11.5+cuDNN8.2.0作者一开始是用CUDA11.5+cuDNN8.3.1安装，但是安装完成后一直报错“Couldnotloadlibrarycudnn_cnn_infer64_8.dll.Errorcode126”后来参考https://stackoverf
程序之巅·2023-12-16 02:38

win10下yolov6 tensorrt模型部署

TensorRT系列之Win10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt模型加速部署TensorRT系列之Linux下yolov6tensorrt模型加速部署TensorRT系列之Linux下yolov5tensorrt模型加速部署TensorRT系列之Linu
韩师兄_·2023-12-16 02:27

win10下yolov7 tensorrt模型部署

TensorRT系列之Win10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt模型加速部署TensorRT系列之Linux下yolov6tensorrt模型加速部署TensorRT系列之Linux下yolov5tensorrt模型加速部署TensorRT系列之Linu
韩师兄_·2023-12-16 02:57

win10正确配置tensorRT环境

目的使用tensorRT进行网络模型部署，加快推理速度方法安装tensorRT的过程需要对各种组件的版本进行匹配前置安装套件有：1、CUDA2、cuDNN3、pyCUDA4、tensorflow或pytorch
风1995·2023-12-16 02:26

Rhapsody—复杂域控软件架构开发套件

通过Rhapsody的模型驱动体系，可以快速地将应用模型部署到实时嵌入式操作系统。
经纬恒润·2023-12-16 01:34

走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力
美格智能·2023-12-15 23:38

算法……到底是干啥的？（摘自牛客网）

_牛客网1.门槛学历双9平常就是看论文技术分享接项目给方案跑模型部署到终端清洗数据打比赛写论文写专利面试一般问对应岗位方向前沿的算法paper2.面试问项目问论文，问深度学习和机器学习相关八股，比如transfomer
芒果香菠菠·2023-12-15 17:36

【本人新书】《OpenCV应用开发：入门、进阶与工程化实践》

OpenCV4不仅包含了传统图像处理、图像分析、特征提取等模块的各种主流算法算子，还包含了深度学习模型部署与加速支持模块，兼容支持多种硬件与操作系统。
gloomyfish·2023-12-15 14:35

AI训练师常用的ChatGPT通用提示词模板

模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-15 06:49

深度学习模型编译框架TVM概述

★在任意深度学习的应用场景落地一个模型/算法时，需要经历两个基本步骤：1.根据数据生产一个模型的训练步骤；2.将生产出的模型部署到目标设备上执行服务的推理步骤。
Linux基金会AI&Data基金会·2023-12-14 14:37

MLops学习

文章目录一、实验跟踪（ExperientalTracking）1.MLflow（1）实验跟踪（2）超参数优化Hyperopt集成Hyperopt和MLflow（3）模型注册2.Weight&Bias二、模型部署
李明朔·2023-12-06 18:47

大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B下载：使用huggingface.co和百度网盘下载硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPrev
张小白TWO·2023-12-06 13:44

大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐

1.简介：组织机构：Meta（Facebook）代码仓：https://github.com/facebookresearch/llama模型：llama-2-7b下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPreview22H2内存32GGPU显卡：NvidiaGTX3080Laptop（16G）2.代码和模型下载
张小白TWO·2023-12-06 13:43

大模型部署手记（9）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中文文本补齐

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：llama-2-7b、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows11家
张小白TWO·2023-12-06 13:43

大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：llama-2-7b、llama-2-7b-chat（后来证明无法实现中文转换）、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境
张小白TWO·2023-12-06 13:43

【寒武纪（6）】MLU推理加速引擎MagicMind，最佳实践（一）

文章目录MagicMind依赖示例C++编程模型sample_ops/sample_add算子操作混合精度部署多模型部署单模型多实例部署多卡部署最佳实践1、性能指标吞吐率延时工具mm_run性能优化2内存工具
Hali_Botebie·2023-12-04 23:08

利用flask搭建深度学习服务

在实际的生产环境中，还需要将模型部署到服务器当中，这样才能接受不同的客户端来调用它。1、部署好开发环境也就是把
Ezio_1320·2023-12-02 17:49

转载：利用Flask实现深度学习模型部署

推荐博客深度学习模型部署篇——利用Flask实现深度学习模型部署（三）pytorch中文文档-通过带Flask的RESTAPI在Python中部署PyTorch利用flask搭建深度学习服务
Zero_to_zero1234·2023-12-02 17:43

大语言模型（LLMs）在 Amazon SageMaker 上的动手实践（一）

本期文章，我们将通过三个动手实验从浅到深地解读和演示大语言模型（LLMs），如何结合AmazonSageMaker的模型部署、模型编译优化、模型分布式训练等。
资讯看点·2023-12-01 22:50

esp32-s3部署yolox_nano进行目标检测

ESP32-S3部署yolox_nano进行目标检测一、生成模型部署项目01环境02配置TVM包03模型量化3.1预处理3.2量化04生成项目二、烧录程序手上的是ESP32-S3-WROOM-1N8R8
咚咚锵咚咚锵·2023-12-01 17:06

全网最细图解知识蒸馏(涉及知识点：知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)

所以要把大模型变成小模型，把小模型部署到终端上。2.1轻量化网络的方向分为下面四个方向，知识蒸馏是第一个方向。三.用蒸馏温度处理学生网
computer_vision_chen·2023-11-30 19:53

建模高手与初学者的差别在哪里？需要什么样的人来建模？

我们知道，数据挖掘的基本流程包括：（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。
小黄鸭呀·2023-11-29 19:28

微信小程序+中草药分类+爬虫+torch

1介绍本项目提供中草药数据集，使用gpu、cpu版本的torch版本进行训练，将模型部署到后端flask，最后使用微信小程序进行展示出来。
王小葱鸭·2023-11-29 08:24

OpenAI Whisper 语音识别 模型部署及接口封装【干货】

一、安装依赖pipinstall-Uopenai-whisper二、安装ffmpegcd/opt#下载5.1版本的ffmpegwgethttp://www.ffmpeg.org/releases/ffmpeg-5.1.tar.gz#解压下载的压缩包tar-zxvfffmpeg-5.1.tar.gz#进入解压后的文件夹cdffmpeg-5.1#安装ffplay需要的依赖sudoapt-getinst
isSamle·2023-11-28 06:42

tensorflow-serving+Docker部署自用

部署自用简介：当我们训练完一个tensorflow（或keras）模型后，需要把它做成一个服务，让使用者通过某种方式来调用你的模型，而不是直接运行你的代码（因为你的使用者不一定懂怎样安装），这个过程需要把模型部署到服务器上
54渣渣辉·2023-11-27 15:07

模型部署入门教程（四）：在 PyTorch 中支持更多 ONNX 算子

模型部署入门系列教程持续更新啦，在上一篇教程中，我们系统地学习了PyTorch转ONNX的方法，可以发现PyTorch对ONNX的支持还不错。
OpenMMLab·2023-11-27 11:14

安卓端街景分割APP及其完整Flutter项目代码与资源文件

blog=pot-blog2.md目录引言总体设计页面展示Splash启动页面模式选择页面分割算法配置页面街景采样和结果展示页面详细设计HRNet开源模型部署预警算法设计界面设计结果演示引言安卓端街景分割
BoilingHotPot·2023-11-27 11:11

极智AI | LLM大模型部署框架之OpenLLM

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍一下LLM大模型部署框架之OpenLLM。
极智视界·2023-11-24 11:54

基于V100下Llama2-Atom大模型微调

文章目录大规模的中文数据预训练模型部署模型微调Step1:环境准备Step2:数据准备Step3:微调脚本Step4:加载微调模型一些BUG大规模的中文数据预训练原子大模型Atom在Llama2的基础上
玖玖玖 柒染·2023-11-24 07:09

成为AI产品经理——模型构建流程（下）

目录1.模型训练2.模型验证3.模型融合4.模型部署上节课我们讲了模型设计、特征工程，这节课我们来讲模型构建剩下的三个部分：模型训练、模型验证和模型融合。
爱学习的时小糖·2023-11-24 02:07

LLM 系列 | 05：ChatGPT Prompt的迭代优化

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-11-22 21:27

自动驾驶相关

广汽研究院的感知岗熟悉DL、CV，的设计和优化CV中的分类、检测、分割等任务有落地经验python、C++，tensorFlow、torch等框架GPU原理，有CUDA、多核CPU软件开发，和模型部署经验积极热情
无名份的浪漫2018·2023-11-21 17:25

chatgpt api使用教程

2.部署模型：将训练好的模型部署到您的服务器上，以便您可以使用它。3.使用API：使用ChatGPTAPI发送消息，接收回复
轮胎技术Tyretek·2023-11-21 14:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他