Infer

【知识---c++中assert的使用及方法】

=nullptr);总结前言代码中很多地方使用到了assert这个函数：IRuntime*runtime=createInferRuntime(gLogger);assert(runti
fyc300·2024-01-19 08:27

DeepSpeed通过系统优化加速大模型推理

原文地址：DeepSpeed:Acceleratinglarge-scalemodelinferenceandtrainingviasystemoptimizationsandcompression原文作者
嵌入式视觉·2024-01-19 03:13

AI大模型学习笔记之二：什么是 AI 大模型的训练和推理？

在人工智能（AI）的领域中，我们经常听到训练（Training)和推理（Inference)这两个词汇，它们是构建强大AI模型的关键步骤。
DATA无界·2024-01-18 22:06

大模型训练为什么用A100不用4090

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能跟H100打个平手。
技术人生黄勇·2024-01-18 20:30

变分推断（Variational Inference）

从变分推断（VariationalInference）说起  在贝叶斯体系中，推断(inference)指的是利用已知变量x的观测值推测未知变量z的后验分布，即我们在已经输入变量x后，如何获得未知变量z
溯源006·2024-01-18 18:58

【TensorRT】c++使用面向对象来封装tensorRT推理代码的指针释放问题

std::shared_ptrInstance::Init_Instance(constchar*model_path,conststringclass_name_path){//注册防止反序列化报错nvinfer1
澄鑫·2024-01-18 15:16

jetson-inference入门

jetson-inference文章目录jetson-inference前言一、jetson-inference二、下载传输三、docker的安装使用总结前言jetson部署相关内容一、jetson-inference
小豆包的小朋友0217·2024-01-18 07:10

ubuntu下llama2的api远程调用

apipythonaccelerate_server.py--model_path/media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b--gpus"0"--infer_dtype"int8
小草cys·2024-01-18 04:54

[论文复现]Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing

论文翻译连接https://www.jianshu.com/p/b1be6a8a0bf7文章中提到的轮子有：1.在开源BranchyNet和Chainer下，实现了分支模型。2.使用经典AlexNet模型对cifar-10数据集执行图像识别任务。3.设置静态带宽环境，我们使用WonderShaper工具控制可用带宽。4.对于动态带宽环境设置，我们使用比利时4G/LTE带宽记录的数据集来模拟动态带宽
JUNLONG2·2024-01-17 22:39

CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法

futureworkCloudLeak:Large-ScaleDeepLearningModelsCloudLeak：通过对抗性示例窃取的大规模深度学习模型通过查询的方法可以发生信息泄露（泄露模型或者训练数据memberinferen
叩钉吧zz·2024-01-17 19:12

【常用Linux_Docker_Screen命令】

sudodockerps[-a][-n列出正在运行的容器信息[包括未运行的][最近的n个]sudodockerrun--shm-size20g\设置共享内20g[batch_size大的时候由需求--name=Infer_Orgin
Atlias·2024-01-17 17:16

2024年1月16日Arxiv热门NLP大模型论文：Using Natural Language Inference to Improve Persona Extraction from Dialog

霍普斯金新研究:提高对话智能体在新领域中从对话中提取个性信息的能力引言：探索跨领域对话智能体的个性化挑战在构建对话智能体时，个性化是一个关键挑战，尤其是在跨领域的情况下。对话智能体需要能够根据其被赋予的角色或个性来生成回应，这要求它们能够理解并表达与特定角色相关的特征和行为。然而，现有的对话智能体往往在维持一致的个性上存在困难，尤其是在从现实世界场景转移到如幻想世界等不同叙事领域时。为了解决这一问
夕小瑶·2024-01-17 10:45

边缘智能--Edgent

论文：EdgeIntelligence:On-DemandDeepLearningModelCo-InferencewithDevice-EdgeSynergy边缘智能：设备-边缘协同进行按需深度学习模型联合推理
游子_18f5·2024-01-17 09:51

flow函数和collect函数浅析

flow方法：publicfunflow(@BuilderInferenceblock:suspendFlowCollector.()->Unit):Flow=SafeFlow(block)publicinterfaceFlowCollector
～～1112233·2024-01-17 03:11

如何简单易懂地理解变分推断(variational inference)？

在贝叶斯统计中，所有的对于未知量的推断(inference)问题可以看做是对后验概率(posterior)的计算。因此提出了Varia
小小何先生·2024-01-16 12:47

ML Design Pattern——Feature Store

aFeatureStoreisacentralizedrepositoryforpre-computedfeatures.Thinkofitasasupermarketforyourmodels,wheretheycanreadilypickandchoosetheingredients(features)theyneedfortrainingandinference.Bu
卢延吉·2024-01-15 15:42

Qt使用avcodec_send_frame和avcodec_receive_packet程序段错误

报错Theinferiorstoppedbecauseittriggeredanexception.Stoppedinthread9by:Exceptionat0x75cd4e3f,code:0xc00000005
噼里啪啦吧·2024-01-15 15:52

因果推断浅学--实践简篇

主要讲微软发布的DoWhy的简单用法因果推断框架DoWhy入门-知乎(zhihu.com)这个教程很不错Dowhy因果推断，简单教程(qq.com)「因果推断」（causalinference）是基于观察数据进行反事实估计
可能性之兽·2024-01-15 14:35

大模型实战营Day5 LMDeploy大模型量化部署实践

ContinuousBatchPageAttention）方案（云端移动端）LMDeploy：云端部署接口：pythongRPCRESTful轻量化推理引擎服务（apiservergradiotritoninferencese
流浪德意志·2024-01-14 17:38

【llm 使用vLLM部署本地大模型】

QuickstartContentsOfflineBatchedInferenceAPIServerOpenAI-CompatibleServerUsingOpenAICompletionsAPIwithvLLMUsingOpenAIChatAPIwithvLLMQuickstartThisguideshowshowtousevLLMto
放飞自我的Coder·2024-01-14 17:09

FastGPT + Xinference + OneAPI：一站式本地 LLM 私有化部署和应用开发

Excerpt随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困扰和障碍。因此，在当…随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困
南七小僧·2024-01-14 12:55

高效微调大型预训练模型的Prompt Learning方法

3PromptLearning训练策略3.1Prompting组织数据，优化参数3.2增加SoftPrompts，冻结模型，优化Prompt嵌入3.3使用Prompted数据进行预训练，再Zero-shotInference
cooldream2009·2024-01-14 04:29

单细胞组学 | 人脑类器官中的细胞命运调控组

题目：Inferringandperturbingcellfateregulomesinhumanbrainorganoids——————————————————————————单位：ETH时间：2022
防秃基因挖掘机·2024-01-14 00:18

Transformer如何工作

Transformer如何工作Transformer工作可以分为两个阶段：Inference（推理）和Training（训练）‍‍
vitaminYZZ·2024-01-13 21:15

xinference

xinferenceXorbitsInference（xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
vitaminYZZ·2024-01-13 21:45

[paddle]paddlehub部署paddleocr的hubserving服务

paddlehub环境第二步：下载paddleocr源码：gitclonehttps://github.com/PaddlePaddle/PaddleOCR.git然后切换到paddocr目录执行新建个文件夹叫Inference
FL1623863129·2024-01-13 17:26

Spark 读excel报错，scala.MatchError

Spark3详细报错：scala.MatchError:Map(treatemptyvaluesasnulls->true,location->viewfs://path.xlsx,inferschema
CoderOnly·2024-01-13 10:35

做一个怎样的女人？——Don't be shy.

Shynessinonlytheeffectofasenseofinferiorityinsomewayorother.IfIcouldpersuademyselfthatmymannerswereperfectlyeasyandgraceful
军老师·2024-01-13 02:28

浅淡A100-4090-性价比

大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。4090如果极致优化，性价比甚至可以达到H100的2倍。
天池小天·2024-01-12 21:37

深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧

大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧，TensorRT是NVIDIA公司提供的一个深度学习推理（inference）优化器和运行时库
微学AI·2024-01-12 09:28

NLP（十八）：LLM 的推理优化技术纵览

原文：NLP（十八）：LLM的推理优化技术纵览-知乎目录收起一、子图融合（subgraphfusion）1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM
javastart·2024-01-12 09:46

typescript 实现数组push unshift pop shift

typearrPush=[...args:T,a:U]extends[...args:inferG]?
学好大数据啊啊啊啊啊·2024-01-12 08:47

【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024

DailyComputationandLanguagePapersFFSplit:SplitFeed-ForwardNetworkForOptimizingAccuracy-EfficiencyTrade-offinLanguageModelInferenceAuthor
hitrjj·2024-01-12 04:38

det_keypoint_unite的C++部署（jetson）

CMakeLists.txt编译和运行运行结果环境准备硬件JetsonAGXOrin64GB软件gcc/g++>=5.4(推荐8.2)cmake>=3.10.0jetpack>=4.6.1如果需要集成PaddleInference
点PY·2024-01-12 01:53

[基础学习] 因果推理·学习资源整理

课程BradyNeal《因果推理导论》：YoutubeBilibili课程主页课程笔记·博客综述因果推理综述：ASurveyonCausalInference因果推理ML综述：CausalMachineLearning
让我安静会·2024-01-12 00:15

/lib/libnvinfer.so: file too short

一、背景在编译TensorRT官方的C++库时，库里是提供了命令行工具bin文件夹下的可执行程序trtexec，可以直接进行onnx的fp16以及int8量化，但我模型的输入是5维，模型里面全都是3D卷积，所以要对底层头文件进行修改。重新编译出一个trtexec命令行工具。二、报错报错如下：Linking:…/…/bin/trtexec_debug/usr/bin/ld:error:…/…/lib
一位不愿暴露自己的小可爱·2024-01-11 21:36

深度学习模型部署OpenVINO加速--OpenVINO部署YOLOv5,YOLOv7模型

前言：OpenVINO工具套件全称是OpenVisualInference&NeuralNetworkOptimization，是Intel于2018年发布的，开源、商用免费、主要应用于计
咕哥·2024-01-11 19:58

Kotlin 1.7.0 beta发布，改进构建器类型推断

在1.7.0beta版中，如果常规类型推断在没有指定-Xenable-builder-inference编译器选项
魏铁锤爱摸鱼·2024-01-11 17:19

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes（特殊类型）TypeErasure&TypeInference
ε(´ο｀*)))·2024-01-11 05:30

【腾讯云 HAI域探秘】释放生产力：基于 HAI 打造团队专属的 AI 编程助手

应用场景介绍三、HAI生产力场景探索：基于HAI打造团队专属的AI编程助手3.1申请HAI内测资格3.2购买HAI实例3.3下载CodeShell-7B-Chat模型3.4部署text-generation-inference
李子lll·2024-01-11 03:15

ML：5-1 neural networks

文章目录course2框架1.neuralnetworks（deeplearning）2.DemandPrediction【吴恩达机器学习p43-46】course2框架一、neuralnetworks-inference
skylar0·2024-01-10 18:22

离散数学——谓词逻辑

TheUniversalQuantifiers)存在量词(TheExistentialQuantifiers)谓词公式与翻译变元的约束谓词的永真与等价前束范式谓词演算的推理理论推理规则(Rulesofinference
何处秋风悲画扇·2024-01-10 12:45

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1
国家一级假勤奋大学生·2024-01-10 07:50

基于nsfw 的色情敏感图片识别

research/imgcensor训练好的模型https://drive.google.com/file/d/1BF2FaCqhr1LYeZ4vA56pTTlfFumUrg5q/view运行执行项目的inference.py
axing151·2024-01-10 06:10

scVI与MultiVI

docs.scvi-tools.org/en/stable/user_guide/models/multivi.html目录scVI生成推理任务MultiVI生成推理scVIsinglecellvariationalinfere
tzc_fly·2024-01-10 04:22

《书生.浦语大模型全链路开源体系》笔记

3、书生.浦语大模型部署的架构：模型支持量化、tritoninferenceserver,gradio。4、大模型驱动智能体：搭建不同模块的智能体框架，以大模型为核心，执行不同的动
hello zhenma·2024-01-10 03:37

泛型的第一个元素First＜T＞

never:T[0]//ortypeFirst=Textends[inferfirst,...any]?fir
Repeater、·2024-01-10 02:48

[C#]使用PaddleInference图片旋转四种角度检测

官方框架地址】https://github.com/PaddlePaddle/PaddleDetection.git【算法介绍】PaddleDetection是一个基于PaddlePaddle（飞桨）深度学习框架的开源目标检测工具库。它提供了一系列先进的目标检测算法，包括但不限于FasterR-CNN,MaskR-CNN,YOLOv3,YOLOv4,PP-YOLO等，以及丰富的高质量预训练模型，方
FL1623863129·2024-01-09 16:51

20190727工作进展

10createtablehs_tmp_65asselect*fromhs_tmp_54limit10;createtablehs_tmp_66asselect*fromhs_tmp_55limit10;（2）inferencepai-nametensorflow140
Songger·2024-01-09 12:03

几经折磨终于跑通jetson-inference

之前看了很多篇关于jetson-inference的文章，无论如何gitsubmoduleupdate--init这一步就过不了，总是Failed，昨晚看了下面这篇帖子：JetsonNano之jetson-inference
bopodoq·2024-01-08 09:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他