Infer

Xinference如何注册自定义模型

环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048
玩人工智能的辣条哥·2024-09-16 08:10

【大模型】triton inference server

前言：tritoninferenceserver常用于大模型部署，可以采用http或GRPC调用，支持大部分的backend，单GPU、多GPU都可以支持，CPU也支持。
idiotyi·2024-09-15 05:47

Error - cannot open input file /postproc/nlscfg.inf 错误解决

makeimg:Creatingnlscfg.outbecausenlscfg.infdoesn'texist.makeimg:runcommand:fmerge-nlsnlscfg.outnlscfg.infError-cannotopeninputfile
技术无疆·2024-09-15 04:36

使用TensorRT对YOLOv8模型进行加速推理

这里使用GitHub上shouxieai的infer框架对YOLOv8模型进行加速推理，操作过程如下所示：1.配置环境，依赖项，包括：(1).CUDA:11.8(2).cuDNN:8.7.0(3).TensorRT
fengbingchun·2024-09-11 04:30

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

LLM系列 | 36：Google最新开源大模型：Gemma 2介绍及其微调(下篇)

引言环境安装数据准备下载处理模型训练模型inference结果gemma-2-9bgemma-2-9b-it引言低头观落日，引手摘飞星。
JasonLiu1919·2024-09-08 18:10

mindie与mindspore是什么关系？

问题描述：MindIE（MindInferenceEngine，推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。
小乐快乐·2024-09-08 07:58

探索LangChain-Chatchat 0.3：一体化Agent与强大RAG模型的全面入门指南

介绍LangChain-Chatchat支持RAG和Agent0.3版本跟大模型解耦,支持Xinference、Ollama、LocalAI、FastChat、OneAPI,可以非常方便的切换各个模型,
爱喝白开水a·2024-09-06 18:47

[论文笔记] LLM模型剪枝

AttentionIsAllYouNeedButYouDon’tNeedAllOfItForInferenceofLargeLanguageModelsLLaMA2在剪枝时，跳过ffn和跳过fulllayer
心心喵·2024-09-03 08:53

百度飞浆目标检测PPYOLOE模型在PC端、Jetson上的部署（python）

paddlepaddle的环境：开始使用_飞桨-源于产业实践的开源深度学习平台(paddlepaddle.org.cn)PC端和Jetson板卡端的部署方法相同，如下（直接放置部署和测试代码）：importpaddle.inferenceimportcv2importnumpyasnpimporttimefrompaddle.inferenceimportConfig
代码能跑就可以·2024-09-02 10:09

《BERT基础教程：Transformer大模型实战》读书笔记

NLI，Naturallanguageinference，自然语言推理。知识蒸馏(knowledged
johnny233·2024-08-31 19:39

【大模型】大模型 CPU 推理之 llama.cpp

llama.cppMemory/DiskRequirementsQuantization测试推理下载模型测试参考llama.cpp描述Themaingoalofllama.cppistoenableLLMinferencewithminimalsetupandstate-of-the-artperformanceonawideva
szZack·2024-08-30 02:31

跟着Cell学单细胞转录组分析(十二):转录因子分析

1、《SCENIC:single-cellregulatorynetworkinferenceandclustering》。
KS科研分享与服务·2024-08-28 18:02

Python酷库之旅-第三方库Pandas(098)

目录一、用法精讲421、pandas.DataFrame.infer_objects方法421-1、语法421-2、参数421-3、功能421-4、返回值421-5、说明421-6、用法421-6-1、
神奇夜光杯·2024-08-26 02:59

【论文阅读】GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation

摘要While（虽然）DeepNeuralNetworks(DNNs)havedemonstratedremarkableperformanceintasksrelatedtoperception（感知）andcontrol（控制）,therearestillseveralunresolvedconcerns（未解决的问题）regardingtheprivacyoftheirtrainingdat
Bosenya12·2024-08-24 16:35

Python连接huggingface的API接口

之前的代码以及出现的问题：之前的代码：importrequestsAPI_URL="https://api-inference.huggingface.co/models/flax-sente
young·2024-03-03 03:51

2018-11-20复盘日志 第十三周

视频中学到的怦然心动的单词portableadj.轻便的，手提的distinction.n.优秀，卓越fix.vt修理3，在本片文章／音频／视频中我最喜欢的一句话Nobodycanmakeyoufeelinferiorwi
土管一班44张宇平·2024-02-20 20:07

Memory Wall in Neural Network Inference

MemoryWallinNeuralNetworkInference神经网络推理的瓶颈在于访存带宽，通常无法发挥出加速器的全部算力。
简vae·2024-02-19 14:03

Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference

1Architecture如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIMchip的存储至少要4GB。AiM单个bank为32MB，单个die512MB，至少需要8个die的芯片。8个die集成在一个芯片上。提供8×16bank级别的访存带宽。整个推理过程完全下放至PIM。CPU把prompt传给ControllerController控制推理过程，将推
简vae·2024-02-19 14:53

MTR++论文阅读

不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点（goal点）：将goal点也进行Transformer，并且让上一帧模型的结果用于下一帧的模型推理，可以使模型的推
ZHANG8023ZHEN·2024-02-19 13:35

解决Ubuntu下网络适配器桥接模式下ping网址不通的情况

命令1：sudo/etc/network/inferfaces命令2：sudo/etc/init.d/network/restart
十万个秋刀鱼·2024-02-19 11:49

OpenCV DNN 活体检测项目环境配置等各阶段tips

环境配置阶段使用conda创建python工作环境时，注释掉requirems.txt里的opencv-python-inference-engine==4.1.2.1，安装OpenVINO时包含这个了
十橙·2024-02-19 11:18

Drool学习记录(二) Kie Session、Truth maintenance

参考Drools官方文档(3.1KIESession和3.2InferenceandtruthmaintenanceintheDroolsengine)，学习关于KieSession和Truthmaintenace
11c170319da1·2024-02-14 06:34

推理系统学习笔记

比较感兴趣，遂找些资料开始学习一下https://fazzie-key.cool/2023/02/21/MLsys/https://qiankunli.github.io/2023/12/16/llm_inference.htmlhttps
Loganer·2024-02-14 03:29

SLICER：从单细胞RNA-seq数据推断分支的非线性细胞轨迹

SLICER（SelectiveLocallyLinearInferenceofCellularExpressionRelationships），是一种使用局部线性嵌入（LLE）重
生信编程日常·2024-02-14 00:51

Hexo+Icarus3+live2d给博客添加看板娘

补坑之前写过一篇icarus添加看板娘的教程但是版本是标签然后插入这行修改后完整的head.jsxconst{Component}=require('inferno');constMetaTags=require
Mr__joe·2024-02-11 18:30

Head Boxing

"HeadBoxing"isaQversionfightinggame.Itlookslikeitissimpleandeasytoplay.Itsoperabilityisnotinferior.Ithasanexcellentcombatskillsystemandcanbeusedinfloating
乐在沟通_08c6·2024-02-10 23:48

【Meta-Al】llama GPT 测试

Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署(ChineseLLaMA&AlpacaLLMs)github地址：GitHub-facebookresearch/llama:Inferencec
0x13·2024-02-09 19:21

diffusers单机多卡推理（全网首发）

DistributedInferencewithAccelerate好运的是在Accelerate说明文档中我找到了下面的文章，使用init_empty_weights在加载模型时不加载权重，loa
半度、·2024-02-09 15:44

DEEP VARIATIONAL INFORMATION BOTTLENECK

第一部分准备内容在阅读此论文之前，需对VAE、VariationalInference（变分推断）以及InformationBottleneck有所了解，借此
Aiqz·2024-02-07 23:04

【Java 数据结构】泛型进阶

泛型1什么是泛型2引出泛型2.1语法3泛型类的使用3.1语法3.2示例3.3类型推导(TypeInference)泛型是如何编译的擦除机制裸类型4泛型的上界4.1语法4.2示例4.3复杂示例5泛型方法5.1
山顶是一定要去的·2024-02-07 07:55

wespeaker项目grpc-java客户端开发

非常重要的原始参考资料：链接:triton-inference-server/clientgithub/grpcjavaps：使用grpc协议的其它项目python/go可以参考github目录client
weixin_43870390·2024-02-07 03:18

机器学习---概率图模型（隐马尔可夫模型、马尔可夫随机场、条件随机场）

概率模型（probabilisticmodel）提供了一种描述框架，将描述任务归结为计算变量的概率分布，在概率模型中，利用已知的变量推测未知变量的分布称为“推断（inference）”，其核心在于基于可观测的变量推测出未知变量的条件分布
三月七꧁ ꧂·2024-02-06 21:39

Swagger2报错Unable to infer base url. This is common when using dynamic servlet registration or when t

目录1、报错2、报错原因3、解决，加注解4、修改注解5、swagger配置类1、报错报错信息：Unabletoinferbaseurl.ThisiscommonwhenusingdynamicservletregistrationorwhentheAPIisbehindanAPIGateway.Thebaseurlistherootofwherealltheswaggerresourcesares
网恋褙骗八万·2024-02-06 15:16

【机器学习】机器学习简单入门

机器学习基本概念一引入二概念三算法和模型3.1算法（Algorithm）3.2模型（Model）：3.3类比四训练，模型，预测的关系4.1训练（Training）：4.2模型（Model）：4.3预测（Inference
甜美的江·2024-02-06 02:09

flinksqlbug : AggregateFunction udf Could not extract a data type from

org.apache.flink.table.api.ValidationException:SQLvalidationfailed.Anerroroccurredinthetypeinferencelogicoffunction
Direction_Wind·2024-02-05 06:29

Elasticsearch：使用 Inference API 进行语义搜索

在我之前的文章“ElasticSearch8.12：让Lucene更快，让开发人员更快”，我有提到InferenceAPI。
Elastic 中国社区官方博客·2024-02-05 06:21

安卓之代码检查工具优劣分析以及应用场景

诸如Checkstyle、FindBugs、Infer、PMD和AndroidLint等一系列工具各具特色，应用于不同的开发环节，有助于打造健壮且易于维护的移动应用。
洪信智能·2024-02-05 04:01

人脸数据集：The Database of Faces (AT&T)

参考来源：Toevaluatetheprotectionprovidedbyourconstructionsagainstinferenceattacks,weusetheAT&TFacesdataset
superdont·2024-02-04 22:00

MayReact 发布

先介绍下MayReact；https://github.com/sven36/MayReactMayReact是我参照React，preact，nerv,inferno,anujs等库写的一个miniReact
weixin_30940783·2024-02-04 07:28

工程经验分享 Incremental FastPitch

FastPitch+Hifi-GAN的StreamingTTS效果优化NVIDIA在TTS领域也做了一些供大家参考的工作，例如提供了高效的流式TTS部署方案，利用TensorRT加速模型推理速度，并通过TritonInferenceServer
语音之家·2024-02-04 05:46

浅谈 React/Vue/Inferno 在 DOM Diff 算法上的异同

一、引言在现代的前端渲染框架中，VirtualDOM几乎已经成了标配，通过这样一个缓冲层，我们已经能够实现对RealDOM的最少操作，在大家的广泛认知中，操作DOM是比较慢的，因此VirtualDOM可以实现应用程序的性能提升。毫无疑问，VirtualDOM不可能全量同步到RealDOM，因为那样就违背了设计VirtualDOM的初衷，那么VirtualDOM同步到RealDOM的操作就称之为DO
Mica_马超·2024-02-04 04:53

20240202在WIN10下使用fast whisper缺少cudnn_ops_infer64_8.dll

20240202在WIN10下使用fastwhisper缺少cudnn_ops_infer64_8.dll2024/2/210:48https://blog.csdn.net/feinifi/article
南棱笑笑生·2024-02-04 03:38

SF-Net: Single-Frame Supervision for Temporal Action Localization

SF-NetAbstract1Introduction3ProposedMethod3.1ProblemDefinition3.2Framework3.3PseudoLabelMiningandTrainingObjectives3.4InferenceExperimentsDatasetsImplementationDetailsResultsConclusion
h137437·2024-02-04 01:32

pdmodel从动态模型转成静态onnx

jiangjiajun/PaddleUtils.git2.新建两个新的文件夹第一个文件夹放两个必要文件第二个文件夹可以设置为空，用来存放转换后的模型如图：3.在终端运行pythonpaddle/paddle_infer_shape.py
Candy_Rainbow_·2024-02-03 13:25

yolov5导出onnx模型问题

为了适配C++工程代码，我在导出onnx模型时，会把models/yolo.py里面的forward函数改成下面这样，#转模型defforward(self,x):z=[]#inferenceoutputforiinrange
陈 洪 伟·2024-02-02 01:04

Atlas 200I DK A2视频保存

原代码部分definfer_video(video_path,model,labels_dict,c
Luzichang·2024-02-01 20:23

<文献阅读>用转移熵通过微阵列的时间序列推断基因调控网络(inferring gene regulatory networks from microarray time series data ...

题目：Inferringgeneregulatorynetworksfrommicroarraytimeseriesdatausingtransferentr
我们一起舔过铁栏杆·2024-02-01 12:22

如何在yolov8中验证时计算FPS

行左右，添加如下代码LOGGER.info(f'FPS:{(1000/sum(self.speed.values())):.2f}')speed.values()是一个字典，包括preprocess,inference
搁浅丶.·2024-01-31 06:23

基于PaddleDetection的锥桶检测并在Gazebo环境中实现部署

项目简介本项目基于飞桨开发套件PaddleDetection，实现在Gazebo环境中的锥桶检测，并使用PaddleInference2.0实现在X86Linux环境中的部署。
飞桨PaddlePaddle·2024-01-31 03:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他