serving模型部署

Rhapsody—复杂域控软件架构开发套件

通过Rhapsody的模型驱动体系，可以快速地将应用模型部署到实时嵌入式操作系统。
经纬恒润·2023-12-16 01:34

走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力
美格智能·2023-12-15 23:38

2018.12.25

SupperontheHillTHATSUMMERtheystartedhavingpicnics.Atfirstthepicnicswerenotrealpicnics;notthekindyoutakeoutinabasket.Betsy’sfather,servingtheplatesattheheadofthetable
Mr_Oldman·2023-12-15 22:06

烤南瓜盅

MAKES2VERYGENEROUSSERVINGSOR4MOREGENTEELSERVINGS两个人会吃撑，四个人吃嘛，就很优雅啦~材料：1pumpkin,about3pounds一个南瓜，大约1.36
阿咪少女·2023-12-15 19:42

算法……到底是干啥的？（摘自牛客网）

_牛客网1.门槛学历双9平常就是看论文技术分享接项目给方案跑模型部署到终端清洗数据打比赛写论文写专利面试一般问对应岗位方向前沿的算法paper2.面试问项目问论文，问深度学习和机器学习相关八股，比如transfomer
芒果香菠菠·2023-12-15 17:36

【本人新书】《OpenCV应用开发：入门、进阶与工程化实践》

OpenCV4不仅包含了传统图像处理、图像分析、特征提取等模块的各种主流算法算子，还包含了深度学习模型部署与加速支持模块，兼容支持多种硬件与操作系统。
gloomyfish·2023-12-15 14:35

关于KVO的那些你不知道的细节

然后卸载keyPath里面-(void)addObserver:(NSObject*)observerforKeyPath:(NSString*)keyPathoptions:(NSKeyValueObservingOptions
best_su·2023-12-15 08:53

AI训练师常用的ChatGPT通用提示词模板

模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-15 06:49

土豆奶酪汤

RoastedPotatoCheddarSoupMakes6servings6人份材料：12slicesbacon12片儿培根4largebakingpotatoes,peeledandcutinto½
阿咪少女·2023-12-14 21:19

深度学习模型编译框架TVM概述

★在任意深度学习的应用场景落地一个模型/算法时，需要经历两个基本步骤：1.根据数据生产一个模型的训练步骤；2.将生产出的模型部署到目标设备上执行服务的推理步骤。
Linux基金会AI&Data基金会·2023-12-14 14:37

MLops学习

文章目录一、实验跟踪（ExperientalTracking）1.MLflow（1）实验跟踪（2）超参数优化Hyperopt集成Hyperopt和MLflow（3）模型注册2.Weight&Bias二、模型部署
李明朔·2023-12-06 18:47

大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B下载：使用huggingface.co和百度网盘下载硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPrev
张小白TWO·2023-12-06 13:44

大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐

1.简介：组织机构：Meta（Facebook）代码仓：https://github.com/facebookresearch/llama模型：llama-2-7b下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPreview22H2内存32GGPU显卡：NvidiaGTX3080Laptop（16G）2.代码和模型下载
张小白TWO·2023-12-06 13:43

大模型部署手记（9）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中文文本补齐

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：llama-2-7b、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows11家
张小白TWO·2023-12-06 13:43

大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话

1.简介：组织机构：Meta（Facebook）代码仓：GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：llama-2-7b、llama-2-7b-chat（后来证明无法实现中文转换）、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境
张小白TWO·2023-12-06 13:43

无线承载

具有相同QoS待遇的业务流称为一个EPS(EvolvedPacketSystem)承载，如下图所示：图片发自AppEPS承载中UE到eNodeB空口之间的一段称为无线承载RB；eNodeB到S-GW(ServingGateway
JZ_1a90·2023-12-05 17:42

DaVinci Configurator Can模块配置（二）

Can模块中CanGeneral部分的配置CPUCoreservingCANInterrupt:CPU核心服务CAN中断。ChangeBaudrateApi:更改波特率函数。
一缕★阳光、、、·2023-12-05 12:25

【寒武纪（6）】MLU推理加速引擎MagicMind，最佳实践（一）

文章目录MagicMind依赖示例C++编程模型sample_ops/sample_add算子操作混合精度部署多模型部署单模型多实例部署多卡部署最佳实践1、性能指标吞吐率延时工具mm_run性能优化2内存工具
Hali_Botebie·2023-12-04 23:08

运行Jupyter notebook

55.861NotebookApp]Terminalsnotavailable(errorwasNomodulenamed'winpty.cywinpty')[I22:22:55.863NotebookApp]Servingnotebooksfromlocaldirectory
庵下桃花仙·2023-12-04 06:08

pod 容器探针

如果响应的状态是"SERVING"，则
小城小小事·2023-12-03 16:02

利用flask搭建深度学习服务

在实际的生产环境中，还需要将模型部署到服务器当中，这样才能接受不同的客户端来调用它。1、部署好开发环境也就是把
Ezio_1320·2023-12-02 17:49

转载：利用Flask实现深度学习模型部署

推荐博客深度学习模型部署篇——利用Flask实现深度学习模型部署（三）pytorch中文文档-通过带Flask的RESTAPI在Python中部署PyTorch利用flask搭建深度学习服务
Zero_to_zero1234·2023-12-02 17:43

【图像拼接】论文精读：Local-Adaptive Image Alignment Based on Triangular Facet Approximation（TFT/TFA）

SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImageStitchingShape-PreservingHalf-ProjectiveWarpsforImageStitchingSeam-DrivenIma
十小大·2023-12-02 00:49

大语言模型（LLMs）在 Amazon SageMaker 上的动手实践（一）

本期文章，我们将通过三个动手实验从浅到深地解读和演示大语言模型（LLMs），如何结合AmazonSageMaker的模型部署、模型编译优化、模型分布式训练等。
资讯看点·2023-12-01 22:50

esp32-s3部署yolox_nano进行目标检测

ESP32-S3部署yolox_nano进行目标检测一、生成模型部署项目01环境02配置TVM包03模型量化3.1预处理3.2量化04生成项目二、烧录程序手上的是ESP32-S3-WROOM-1N8R8
咚咚锵咚咚锵·2023-12-01 17:06

托福必备词汇(2020版)-每日15词 2020-03-23

Noneisoffreedomoroflifedeservingunlesshedailyconquersitanew.Dogshaveakeensenseofsmell.Hegotabadbruiseonhislegafterhehitagainstthechair.Theeffectofthemedicineisnoticeableespeciallyinyoungpeople.Heisnow
文心武士·2023-12-01 12:41

arXiv学术速递笔记11.30

文章目录一、AI安全（对抗性训练）Topology-PreservingAdversarialTraining（对抗性攻击）Group-wiseSparseandExplainableAdversarialAttacks
ADSecT吴中生·2023-12-01 02:51

NTN(六) switchover

NTN中的switchover包括feederlinkswitchover和servinglinkswitch。
modem协议笔记·2023-12-01 02:38

全网最细图解知识蒸馏(涉及知识点：知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)

所以要把大模型变成小模型，把小模型部署到终端上。2.1轻量化网络的方向分为下面四个方向，知识蒸馏是第一个方向。三.用蒸馏温度处理学生网
computer_vision_chen·2023-11-30 19:53

大模型训练为什么用A100不用4090

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。4090如果极致优化，性价比甚至可以达到H100的2倍。
金戈鐡馬·2023-11-30 11:32

建模高手与初学者的差别在哪里？需要什么样的人来建模？

我们知道，数据挖掘的基本流程包括：（1）业务理解、（2）数据理解、（3）数据准备、（4）数据预处理和建模、（5）模型评估、（6）模型部署应用。
小黄鸭呀·2023-11-29 19:28

微信小程序+中草药分类+爬虫+torch

1介绍本项目提供中草药数据集，使用gpu、cpu版本的torch版本进行训练，将模型部署到后端flask，最后使用微信小程序进行展示出来。
王小葱鸭·2023-11-29 08:24

ALSA子系统（十四）------snd_pcm_drain和snd_pcm_drop

最近同事问我snd_pcm_drain和snd_pcm_drop的区别和使用场景，我去文档里翻了下：PCMInterfaceintsnd_pcm_drain(snd_pcm_t*pcm)StopaPCMpreservingpendingframes.Parameters
风筝丶·2023-11-29 01:42

OpenAI Whisper 语音识别 模型部署及接口封装【干货】

一、安装依赖pipinstall-Uopenai-whisper二、安装ffmpegcd/opt#下载5.1版本的ffmpegwgethttp://www.ffmpeg.org/releases/ffmpeg-5.1.tar.gz#解压下载的压缩包tar-zxvfffmpeg-5.1.tar.gz#进入解压后的文件夹cdffmpeg-5.1#安装ffplay需要的依赖sudoapt-getinst
isSamle·2023-11-28 06:42

iOS-KVO 底层实现原理

本问讲解的内容主要有以下方面：1.概述2.KVO的基本用法3.KVO的底层实现（主要）1.概述KVO，即：Key-ValueObserving，它提供一种机制，当指定的对象的属性被修改后，则其观察者就会接受到通知
路小白同学·2023-11-28 02:03

OC基础-(四)KVC、KVO

KVO(key-valueobserving)，从名称上就可以知道这是一种键值观察的机制KVO是OC对观察者模式的又一实现Apple使用isa混写技术(isa-swizzling)来实现KVO当我们注册一个对象的观察者的时候
码小六·2023-11-27 19:46

tensorflow-serving+Docker部署自用

tensorflow-serving+Docker部署自用简介：当我们训练完一个tensorflow（或keras）模型后，需要把它做成一个服务，让使用者通过某种方式来调用你的模型，而不是直接运行你的代码
54渣渣辉·2023-11-27 15:07

模型部署入门教程（四）：在 PyTorch 中支持更多 ONNX 算子

模型部署入门系列教程持续更新啦，在上一篇教程中，我们系统地学习了PyTorch转ONNX的方法，可以发现PyTorch对ONNX的支持还不错。
OpenMMLab·2023-11-27 11:14

安卓端街景分割APP及其完整Flutter项目代码与资源文件

blog=pot-blog2.md目录引言总体设计页面展示Splash启动页面模式选择页面分割算法配置页面街景采样和结果展示页面详细设计HRNet开源模型部署预警算法设计界面设计结果演示引言安卓端街景分割
BoilingHotPot·2023-11-27 11:11

有用的数据库

CAIDACAIDAcollectsseveraldifferenttypesofdataatgeographicallyandtopologicallydiverselocations,andmakesthisdataavailabletotheresearchcommunitytotheextentpossiblewhilepreservingtheprivacyofindivid
芳草同学·2023-11-26 16:22

KVO

key-value-observing是一种观察者设计模式系统采用isa（isa-swizzling）混写来实现KVOKVO实现流程是什么？
小行为·2023-11-26 14:12

What is the role of the Evolved Packet Core (EPC) in LTE networks?

TheEvolvedPacketCore(EPC)isacriticalcomponentofLTE(Long-TermEvolution)networks,servingasthecorenetworkarchitectureresponsibleformanagingandrouting
maimang09·2023-11-26 06:12

Knative初识

从HelloWorld看KnativeServing代码实现-在阿里云上试用Knative-云栖社区-阿里云IBM、谷歌等一票大佬共同研发的Knative，究竟是什么？-
任嘉平生愿·2023-11-25 11:44

DeepSpeed-Chat 打造类ChatGPT全流程 笔记一

最后使用训练后的模型做serving展示了一下对话效果并简要分析了一下chatbot的推理代码。后续，我会尝试深入到DeepSpeedChat的三个训练阶段
just_sort·2023-11-25 09:52

OC-KVO

KVO是什么kvo：Key-ValueObserving(键值观察)，键值观察是一种机制，它允许将其他对象的指定属性的更改通知给对象。
浪的出名·2023-11-24 22:41

Zookeeper 集群中是怎样选举leader的

处于该状态的服务器会认为集群中没有Leader，需要进行Leader选举；FOLLOWING：跟随着状态，说明当前服务器角色为Follower；LEADING：领导者状态，表明当前服务器角色为Leader；OBSERVING
青鱼入云·2023-11-24 14:51

极智AI | LLM大模型部署框架之OpenLLM

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍一下LLM大模型部署框架之OpenLLM。
极智视界·2023-11-24 11:54

基于V100下Llama2-Atom大模型微调

文章目录大规模的中文数据预训练模型部署模型微调Step1:环境准备Step2:数据准备Step3:微调脚本Step4:加载微调模型一些BUG大规模的中文数据预训练原子大模型Atom在Llama2的基础上
玖玖玖 柒染·2023-11-24 07:09

成为AI产品经理——模型构建流程（下）

目录1.模型训练2.模型验证3.模型融合4.模型部署上节课我们讲了模型设计、特征工程，这节课我们来讲模型构建剩下的三个部分：模型训练、模型验证和模型融合。
爱学习的时小糖·2023-11-24 02:07

KVO、KVC

KVO(KeyValueObserving)键值观察，苹果提供的一套事件通知机制KVO用于监听对象某个属性的改变，当被观察的属性的值发生变化时，会自动调用相应的方法。
QYCD·2023-11-23 18:56
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他