serving模型部署

LLM 系列 | 08: 如何用ChatGPT构建点餐机器人？

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:40

LLM 系列 | 07：吴恩达ChatGPT Prompt课程实践：以智能客服邮件为例

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。
JasonLiu1919·2023-06-18 18:10

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
HyperAI超神经·2023-06-18 16:25

AI服务的并发处理【Python】

今天，我们将讨论一种简单而强大的机器学习模型部署方法。它允许我们同时处理多个请求并在需要时扩展应用程序。我们还将讨论数据科学家在将机器学习模型投入生产时的职责，以及如何使用一些方便的Pytho
新缸中之脑·2023-06-18 12:09

亚美尼亚首相因群众抗议辞职

TherewerescenesofjubilationintheArmeniancapitalYerevanafterprotestsforcedtheresignationofPrimeMinisterSerzhSargsyan.OppositionsupportersaccusedMrSargsyan,whowasmadeprimeministerlastweekafterserving10y
我以为的顿悟·2023-06-18 09:02

基于YOLOv5的儿童睡眠检测

微服务器的CPU是基于ARM架构，部分步骤将在基于x86架构CPU的开发环境中完成一、初始化开发环境(基于x86架构CPU的开发环境中完成)二、模型转换(基于x86架构CPU的开发环境中完成)三、YOLOv5模型部署测试
算能开发者社区·2023-06-18 01:26

基于TPU-MLIR实现UNet模型部署-决赛答辩02

队伍：AP0200023目录初赛一、模型导出优化1.1直接倒出原始模型并转换1.2导出模型前处理1.2.1导出Resize1.2.2导出归一化1.3导出模型后处理1.3.1导出Resize与1.3.2导出ArgMaxout1.3.3导出特征转RGB复赛一、确定baseline二、优化模型复赛结果总结三、遇到的问题总结1.ONNX转MLIR2.MLIR转bmodel3.MLIR推理代码BUG【已经解
算能开发者社区·2023-06-18 01:56

基于TPU-MLIR实现UNet模型部署-决赛答辩01

队伍：AP0200008目录一、描述UNet适配过程1.1详细步骤2．可复现的结果二、解决问题的过程2.1列举在适配过程中遇到的困难，以及解决方法a．低分辨率下，分割误差大工2.2低分辨率下，输出仍然不够准确2.3最优分辨率选择2.4其他还没来得及做的优化三、提出TPU-MLIR可以改进的部分3.1在使用上可以精简的地方3.2在功能上可以增强的地方（需具备可行性）四、简介对TPU-MLIR工程的看
算能开发者社区·2023-06-18 01:55

机器学习之在线模型简单部署，基于ONNX技术

文章目录一，onnx二，onnx的作用1.提高模型的互操作性：2.加速推理引擎的开发：3.改进模型优化和调试：三，onnx的应用场景四，onnx模型部署涉及的主要函数1.onnxruntime.InferenceSession
QuietNightThought·2023-06-18 00:08

【LLMs系列】90%chatgpt性能的小羊驼Vicuna模型学习与实战

小羊驼号称能达到GPT-4的90%性能github地址:GitHub-lm-sys/FastChat:Anopenplatformfortraining,serving,andevaluatinglargelanguagemodels.ReleaserepoforVicuna
小小的香辛料·2023-06-17 13:01

[DeepSpeed]初代chatGPT模型部署实践

DeepSpeedChat部署方式中间遇到很多坑，解决方法都写这里了DeepSpeed部署中bug以及解决方法环境基于阿里云GPU云服务器部署实践操作系统版本：Ubuntu18.04GPU驱动版本：470.161.03GPU型号：A100-80GCPU：16vCPU125GIntelXeon(IceLake)Platinum8369BCUDA版本：11.4Python版本：3.11.3Pip版本：
编程牧马人·2023-06-17 11:19

【论文阅读笔记】Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation

论文小结：  本文提出了一种可以多尺度提取边缘保留的多尺度图像解耦技术，同时作者表明基于双边滤波的细节解耦技术，在任何尺度上都达不到满意的结果，都是受限的。作者提出的方法是以带权重的最小二乘优化法为框架的，它特别适合图像的渐进式平滑化和多尺度细节提取。  实际上，本文提出的方法WLS，是一种比BLF效果更好的保边算法，但耗时也要大得多。论文介绍  作者认为，双边滤波非常适合去躁和精细尺度上的细节提
时光机ﾟ·2023-06-17 03:15

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
·2023-06-16 15:35

[模型部署] 算子等价替换

[模型部署]算子等价替换ReduceMeanReduceSumReduceMean在PyTorch中可用torch.mean表示，该算子可被卷积等价替换；存在输入张量的形状为[1，48，56，56]，对其
上单之光·2023-06-16 12:41

【MMDeploy&MMPose】手把手教你在Windows上使用MMDeploy1.x进行ONNX和TensorRT的部署（Python篇）

1.流程简介MMDeploy定义的模型部署流程，这里直接使用了官方文档的内容，如下图所示：1）模型转换（ModelConverter）模型转换的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式
K.K.U·2023-06-16 11:05

MMDeploy安装和pth转ONNX

参考：https://github.com/open-mmlab/mmdeploy/blob/main/README_zh-CN.mdMMDeploy安装指导MMDeploy是OpenMMLab模型部署工具箱
HHzdh·2023-06-16 11:04

核心课·Level6·Unit2(JFK Assassination)

JFKAssassinationOneofthemosthistoriceventsofthe20thcenturywastheassassinationofUSPresident,JohnKennedy.Kennedywasthe35thpresidentoftheUnitedStates,servingasPresidentfromJanuary1961untilNovember1963
被吹起来的猪·2023-06-16 04:36

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
阿里云大数据AI技术·2023-06-15 19:41

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
·2023-06-15 15:50

MJRefresh 源码

中对ScrollView添加了监听contentOffsetcontentSize，和滑动手势state#pragmamark-KVO监听-(void)addObservers{NSKeyValueObservingOptionsoptions
LiLi_哩哩·2023-06-15 11:45

大模型部署实战（三）——ChatGLM-6B

有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）博主原文链接：https://www.yourmetaverse.cn/llm/213/（封面图由文心一格生成）大模型部署实战
Chaos_Wang_·2023-06-14 05:43

人工智能让边缘计算更有价值!

LinkEdge的优势还体现在提升AI的实践效率，开发者可将深度学习的分析、训练过程放在云端，将生成的模型部署在边缘网关直接执行，优化良率、提升产能。另外
·2023-06-13 12:02

大模型部署实战（二）——Ziya-BLIP2-14B-Visual

❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）大模型部署系列：博主原文链接
Chaos_Wang_·2023-06-13 02:40

KVO的本质是什么？

KVOKVO的全称是Key-ValueObserving，俗称“键值监听”，可以用于监听某个对象属性值的改变.基本应用在ViewController中监听Person对象的age变化,点击控制器屏幕就改变
程序猿_K·2023-06-12 13:57

巧克力马芬

MAKES12MUFFINS12个马芬的量SERVING:Thesearedeliciouswarm,servedontheirownorwithsomegoodblackcherryjam.它们在温热的时候非常美味
阿咪少女·2023-06-12 03:36

tensorflow简易部署

部署docker模式：拉下服务镜像dockerpulltensorflow/serving后台模式启动一个容器:sudodockerrun-d--nameserving_basetensorflow/serving
Harvest·2023-06-12 02:10

【mmdeploy】让openmmlab带我走深度学习最后一公里，实现模型部署及终端推理。从模型转换，量化模型开始，小小的参数，大大的变化

如何将模型从pytorch形式转换成其他后端形式，准备工作安装目标后端。安装目标代码库。使用方法python./tools/deploy.py\${DEPLOY_CFG_PATH}\${MODEL_CFG_PATH}\${MODEL_CHECKPOINT_PATH}\${INPUT_IMG}\--test-img${TEST_IMG}\--work-dir${WORK_DIR}\--calib-d
羞儿·2023-06-11 20:25

Moss量化模型部署记录

一、Moss仓库代码下载及环境准备下载本仓库内容至本地/远程服务器gitclonehttps://github.com/OpenLMLab/MOSS.git安装依赖cdMOSSpipinstall-rrequirements.txt使用量化模型，需要安装tritonpipinstalltriton注意：使用triton可能会出现tritonnotinstalled报错，如果确认已经安装过trito
genghaojie123·2023-06-11 11:04

深度学习模型压缩与优化加速

1.简介深度学习（DeepLearning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、系统优化加速、异构计算等方法突破瓶颈，即分别在算法模型、计算图或算子优化以及硬件加速等层面采取必要的手段
老了敲不动了·2023-06-11 10:59

基于多线程并发-STL之thread构造函数浅析

一、标准库Thread内容（函数内部实现内容已摘去）classthread{//classforobservingandmanagingthreadspublic:classid;typedefvoid
大胡子的艾娃·2023-06-11 08:34

20.iOS底层学习之KVO 原理

本篇提纲1、KVO简介；2、KVO的使用；3、KVO的一些细节；4、KVO的底层原理；KVO简介KVO全称Key-ValueObserving（键值观察），是允许对象在其他对象的属性发生更改是接到通知的一种途径
牛牛大王奥利给·2023-06-11 01:51

跟着区块链学英语（0002）

1.IntroductionCommerceontheInternethascometorelyalmostexclusivelyonfinancialinstitutionsservingastrustedthirdpartiestoprocesselectronicpayments.Whilethesystemworkswellenoughformosttransactions
wiltonwang·2023-06-10 19:04

UIE遇到相关问题

/finetune.py.1.1UIESlim数据蒸馏下的SimpleServing的服务化部署bug，无法预测结果，全为空。ht
汀、人工智能·2023-06-10 16:50

AI大模型私有化部署流程

私有化部署AI大模型需要一定的GPU支持，适合有一定经济实力的公司，今天和大家分享一下如何进行私有化部署，这涉及很专业的知识，包括硬件和软件环境、模型部署、API集成、测试验证等，这里只是初步讨论一下，
sofar_dev·2023-06-10 12:02

大模型部署实战（一）——Ziya-LLaMA-13B

（封面图由文心一格生成）大模型部署实战（一）——Ziya-LLaMA-13BZiya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取
Chaos_Wang_·2023-06-10 06:35

Hack The Box - sequel关卡

TASK1任务1Duringourscan,whichportdowefindservingMySQL?在扫描过程中，我们发现哪个端口为MySQL提供服务？
Sweetie_x·2023-06-09 18:26

【BEV】学习笔记之FastBEV(原理+代码注释)

1、前言BEV模型部署一直是难以解决的问题，在车载芯片上运行要占用大量计算资源，为此FastBEV的作者提出了更加轻量级的方法，不需要transformer来提取BEV特征，仅使用卷积网络来完成，简单而有效
Rex久居·2023-06-09 12:12

基于bertService的二次精排

一、bertService安装可以自行百度，网络安装方案很多二、bertService启动#-*-coding:utf-8-*-frombert_serving.serverimportBertServerfrombert_serving.server.helperimportget_args_parserdefmain
三印·2023-06-09 12:23

一站式完成车牌识别任务：从模型优化到端侧部署

本次飞桨产业实践范例库开源车牌识别场景应用，提供了从技术方案、模型训练优化，到模型部署的全流程可复用方案，降低产业落地门槛。项目链接https://github.com
飞桨PaddlePaddle·2023-06-08 19:09

k210部署自行训练的口罩识别模型

因为培训需要，开坑K210，前后忙活了3天终于把自行训练的口罩模型部署成功了，实测还行，分享一下经（ni）验（keng）：本人学过一段时间python，见过别人玩开源硬件（没动过手），接触过一点人工智能项目的理论知识
razelan·2023-06-08 12:34

LoRA:大模型的低秩自适应微调模型

比如GPT-3175B，模型包含175B个参数吗，无论是微调训练和模型部署，都是不可能的事。
AI研究院·2023-06-08 06:07

TensorFlow 基本应用的学习报告及课后习题

此外，TensorTlow可在多种平台上工作，允许将模型部署到工业生产中，并易于使用。
m0_61463713·2023-06-08 05:26

深度学习知识点总结（持续更新中）

卷积神经网络(CNNs)3.循环神经网络(RNNs)4.深度强化学习(DRL)5.生成对抗网络(GANs)6.自编码器(Autoencoders)7.深度学习框架8.超参数调优9.迁移学习10.模型评估11.模型部署
旧言.·2023-06-08 01:01

[LeetCode] Isomorphic Strings - 字符串操作:数组计数字符个数问题

determineiftheyareisomorphic.Twostringsareisomorphicifthecharactersinscanbereplacedtogett.Alloccurrencesofacharactermustbereplacedwithanothercharacterwhilepreservingtheordero
Eastmount·2023-06-07 21:40

KVO实现原理

Key-valueobservingisamechanismthatallowsobjectstobenotifiedofchangestospecifiedpropertiesofotherobjects
苹果牛顿吃·2023-06-07 17:03

军事领域关系抽取：UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学，助力工业应用场景快速落地

军事领域关系抽取：UIESlim最新升级版含数据标注、serving部署、模型蒸馏等教学，助力工业应用场景快速落地本项目为UIE框架升级版本实体关系抽取，详细讲解了数据标注，以及医疗领域NER微调，同时完成基于
·2023-06-06 23:23

KVO

很实用的一个json转model网站假设有个person对象p1,其中包含name属性[p1addObserver:selfforKeyPath:@"name"options:NSKeyValueObservingOptionNew
大写的空气·2023-04-21 14:37

浅谈 KVO 的实现原理

KVO全称KeyValueObserving是Objective-C对观察者模式(ObserverPattern)的实现；KVO提供一种机制，当指定的对象的属性被修改后，则对象就会接受收到通知。
s_在路上·2023-04-21 09:54

first season fifteenth episode,does Chandler have dreams?

[Scene:CentralPerk,RachelisservingJoey,Ross,andMonicatheirdrinks.]Rachel:(toJoey)Coffee.
与世无争小菜鸡·2023-04-21 03:16

【OC语法】KVO的底层实现

目录一、KVO是什么二、怎么使用KVO三、KVO的底层实现四、KVO常见面试题一、KVO是什么KVO全称Key-ValueObserving，翻译过来是键值观察，是一种用来观察某个对象属性值变化的机制。
意一ineyee·2023-04-21 00:46
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他