Infer

操作符infer的作用是什么？

在TypeScript中，infer关键字用于推断类型变量。它通常与条件类型（ConditionalTypes）一起使用，用于从条件类型中提取并推断出类型。
一个大长腿·2024-01-22 14:38

深度学习-自然语言推断

自然语言推断（naturallanguageinference）主要研究假设（hypothesis）是否可以从前提（premise）中推断出来，其中两者都是文本序列。
白云如幻·2024-01-22 07:09

大模型笔记【2】 LLM in Flash

Apple最近发表了一篇文章，可以在iphone,MAC上运行大模型：【LLMinaflash:EfficientLargeLanguageModelInferencewithLimitedMemory
南方铁匠·2024-01-22 03:04

【AIGC-AI人像生成系列-1】PhotoMaker：定制逼真的人体照片

PhotoMaker和ID导向的数据构建管道的概览PhotoMaker：ID导向的数据构建管道：b)方法详细解读堆叠ID嵌入（StackedIDEmbedding）：2.ID导向的数据构建管道：3.训练过程：4.推理（Inference
AI杰克王·2024-01-21 20:37

[错误记录]Could not load library libcudnn_cnn_infer.so.8.

运行深度学习脚本时出现报错:Couldnotloadlibrarylibcudnn_cnn_infer.so.8.运行环境：Windows11下WSL2的Ubuntu-22.04驱动版本：解决办法：安装
M·K·2024-01-21 13:51

Could not load library libcudnn_cnn_infer.so.8

项目场景：使用python的segment_anything包问题描述Couldnotloadlibrarylibcudnn_cnn_infer.so.8原因分析：环境中的问题是由libnvrtc.so
saoqi_boy·2024-01-21 13:50

dr阅读计划第一期：beloved（p1～90）

firstofall,“thetree”isnotarealonehere.itactuallyinfertoaclumpofscarsonSethe’sbackcausedbytheboyswhotookhermilkaswell.whitegirlcalledit
Rebecca_Yum·2024-01-21 11:47

[C#]winform部署openvino官方提供的人脸检测模型

【官方框架地址】https://github.com/sdcb/OpenVINO.NET【框架介绍】OpenVINO（OpenVisualInference&NeuralNetworkOptimization
FL1623863129·2024-01-20 22:27

扩散模型：Diffusion Model原理剖析

Inference最大似然估计倒数
WindyChanChan·2024-01-20 19:51

10X空间转录组数据推断基因拷贝数畸变（copy number aberrations）CNA

在空间转录组之前，我们可以利用单细胞数据进行推断CNA，用到的软件就是inferCNV，至于inferCNV的原理，我们这里就不详细叙说了，大家可以看文章InferCNV:InferringcopynumberalterationsfromtumorsinglecellRNA-Seqdata
单细胞空间交响乐·2024-01-20 18:15

[C#]C# winform部署yolov8目标检测的openvino模型

【官方框架地址】https://github.com/ultralytics/ultralytics【openvino介绍】OpenVINO（OpenVisualInference&NeuralNetworkOptimization
FL1623863129·2024-01-20 13:19

Object Class Aware Video Anomaly Detection through Image Translation 论文阅读

ObjectClassAwareVideoAnomalyDetectionthroughImageTranslationAbstractI.INTRODUCTIONII.RELATEDWORKSIII.PROPOSEDMETHODA.Thetwo-streammethodB.TheappearancebranchC.ThemotionbranchD.MaskingE.TrainingF.Infer
何大春·2024-01-20 08:24

【论文阅读】ControlNet、文章作者 github 上的 discussions

文章目录IntroductionMethodControlNetControlNetforText-to-ImageDiffusionTrainingInferenceExperiments消融实验定量分析在作者
上总介·2024-01-20 05:02

openvino Exception from src/inference/src/dev/core_impl.cpp:559: Device with “CPU“ name is not regis

CompiletheModelerror:Exceptionfromsrc/inference/src/core.cpp:133:Exceptionfromsrc/inference/src/dev/core_impl.cpp
Gaoithe·2024-01-20 01:55

typescript 中 infer 用法

infer介绍infer一般在extends子语句中,infer会引入一个待推断的类型变量(如inferR)R可以是任意单词字母这个推断的类型变量可以在有条件类型的true分支中被引用允许出现多个同类型变量的
潇、然·2024-01-19 15:24

【知识---如何利用TensorRT（NVIDIA Deep Learning Inference Library）引擎序列化为内存中的二进制数据流】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言TensorRT的主要特点和功能案例总结前言TensorRT（TensorReal-Time）是由NVIDIA提供的用于深度学习推断的高性能推理库。它针对NVIDIAGPU进行了优化，旨在提供低延迟和高吞吐量的深度学习推断。那么如何利用TensorRT进行一个引擎序列化呢？？？下面对于几行代码进行说明！！！TensorRT
fyc300·2024-01-19 14:54

【知识---c++中assert的使用及方法】

=nullptr);总结前言代码中很多地方使用到了assert这个函数：IRuntime*runtime=createInferRuntime(gLogger);assert(runti
fyc300·2024-01-19 08:27

DeepSpeed通过系统优化加速大模型推理

原文地址：DeepSpeed:Acceleratinglarge-scalemodelinferenceandtrainingviasystemoptimizationsandcompression原文作者
嵌入式视觉·2024-01-19 03:13

AI大模型学习笔记之二：什么是 AI 大模型的训练和推理？

在人工智能（AI）的领域中，我们经常听到训练（Training)和推理（Inference)这两个词汇，它们是构建强大AI模型的关键步骤。
DATA无界·2024-01-18 22:06

大模型训练为什么用A100不用4090

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能跟H100打个平手。
技术人生黄勇·2024-01-18 20:30

变分推断（Variational Inference）

从变分推断（VariationalInference）说起  在贝叶斯体系中，推断(inference)指的是利用已知变量x的观测值推测未知变量z的后验分布，即我们在已经输入变量x后，如何获得未知变量z
溯源006·2024-01-18 18:58

【TensorRT】c++使用面向对象来封装tensorRT推理代码的指针释放问题

std::shared_ptrInstance::Init_Instance(constchar*model_path,conststringclass_name_path){//注册防止反序列化报错nvinfer1
澄鑫·2024-01-18 15:16

jetson-inference入门

jetson-inference文章目录jetson-inference前言一、jetson-inference二、下载传输三、docker的安装使用总结前言jetson部署相关内容一、jetson-inference
小豆包的小朋友0217·2024-01-18 07:10

ubuntu下llama2的api远程调用

apipythonaccelerate_server.py--model_path/media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b--gpus"0"--infer_dtype"int8
小草cys·2024-01-18 04:54

[论文复现]Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing

论文翻译连接https://www.jianshu.com/p/b1be6a8a0bf7文章中提到的轮子有：1.在开源BranchyNet和Chainer下，实现了分支模型。2.使用经典AlexNet模型对cifar-10数据集执行图像识别任务。3.设置静态带宽环境，我们使用WonderShaper工具控制可用带宽。4.对于动态带宽环境设置，我们使用比利时4G/LTE带宽记录的数据集来模拟动态带宽
JUNLONG2·2024-01-17 22:39

CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法

futureworkCloudLeak:Large-ScaleDeepLearningModelsCloudLeak：通过对抗性示例窃取的大规模深度学习模型通过查询的方法可以发生信息泄露（泄露模型或者训练数据memberinferen
叩钉吧zz·2024-01-17 19:12

【常用Linux_Docker_Screen命令】

sudodockerps[-a][-n列出正在运行的容器信息[包括未运行的][最近的n个]sudodockerrun--shm-size20g\设置共享内20g[batch_size大的时候由需求--name=Infer_Orgin
Atlias·2024-01-17 17:16

2024年1月16日Arxiv热门NLP大模型论文：Using Natural Language Inference to Improve Persona Extraction from Dialog

霍普斯金新研究:提高对话智能体在新领域中从对话中提取个性信息的能力引言：探索跨领域对话智能体的个性化挑战在构建对话智能体时，个性化是一个关键挑战，尤其是在跨领域的情况下。对话智能体需要能够根据其被赋予的角色或个性来生成回应，这要求它们能够理解并表达与特定角色相关的特征和行为。然而，现有的对话智能体往往在维持一致的个性上存在困难，尤其是在从现实世界场景转移到如幻想世界等不同叙事领域时。为了解决这一问
夕小瑶·2024-01-17 10:45

边缘智能--Edgent

论文：EdgeIntelligence:On-DemandDeepLearningModelCo-InferencewithDevice-EdgeSynergy边缘智能：设备-边缘协同进行按需深度学习模型联合推理
游子_18f5·2024-01-17 09:51

flow函数和collect函数浅析

flow方法：publicfunflow(@BuilderInferenceblock:suspendFlowCollector.()->Unit):Flow=SafeFlow(block)publicinterfaceFlowCollector
～～1112233·2024-01-17 03:11

如何简单易懂地理解变分推断(variational inference)？

在贝叶斯统计中，所有的对于未知量的推断(inference)问题可以看做是对后验概率(posterior)的计算。因此提出了Varia
小小何先生·2024-01-16 12:47

ML Design Pattern——Feature Store

aFeatureStoreisacentralizedrepositoryforpre-computedfeatures.Thinkofitasasupermarketforyourmodels,wheretheycanreadilypickandchoosetheingredients(features)theyneedfortrainingandinference.Bu
卢延吉·2024-01-15 15:42

Qt使用avcodec_send_frame和avcodec_receive_packet程序段错误

报错Theinferiorstoppedbecauseittriggeredanexception.Stoppedinthread9by:Exceptionat0x75cd4e3f,code:0xc00000005
噼里啪啦吧·2024-01-15 15:52

因果推断浅学--实践简篇

主要讲微软发布的DoWhy的简单用法因果推断框架DoWhy入门-知乎(zhihu.com)这个教程很不错Dowhy因果推断，简单教程(qq.com)「因果推断」（causalinference）是基于观察数据进行反事实估计
可能性之兽·2024-01-15 14:35

大模型实战营Day5 LMDeploy大模型量化部署实践

ContinuousBatchPageAttention）方案（云端移动端）LMDeploy：云端部署接口：pythongRPCRESTful轻量化推理引擎服务（apiservergradiotritoninferencese
流浪德意志·2024-01-14 17:38

【llm 使用vLLM部署本地大模型】

QuickstartContentsOfflineBatchedInferenceAPIServerOpenAI-CompatibleServerUsingOpenAICompletionsAPIwithvLLMUsingOpenAIChatAPIwithvLLMQuickstartThisguideshowshowtousevLLMto
放飞自我的Coder·2024-01-14 17:09

FastGPT + Xinference + OneAPI：一站式本地 LLM 私有化部署和应用开发

Excerpt随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困扰和障碍。因此，在当…随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困
南七小僧·2024-01-14 12:55

高效微调大型预训练模型的Prompt Learning方法

3PromptLearning训练策略3.1Prompting组织数据，优化参数3.2增加SoftPrompts，冻结模型，优化Prompt嵌入3.3使用Prompted数据进行预训练，再Zero-shotInference
cooldream2009·2024-01-14 04:29

单细胞组学 | 人脑类器官中的细胞命运调控组

题目：Inferringandperturbingcellfateregulomesinhumanbrainorganoids——————————————————————————单位：ETH时间：2022
防秃基因挖掘机·2024-01-14 00:18

Transformer如何工作

Transformer如何工作Transformer工作可以分为两个阶段：Inference（推理）和Training（训练）‍‍
vitaminYZZ·2024-01-13 21:15

xinference

xinferenceXorbitsInference（xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
vitaminYZZ·2024-01-13 21:45

[paddle]paddlehub部署paddleocr的hubserving服务

paddlehub环境第二步：下载paddleocr源码：gitclonehttps://github.com/PaddlePaddle/PaddleOCR.git然后切换到paddocr目录执行新建个文件夹叫Inference
FL1623863129·2024-01-13 17:26

Spark 读excel报错，scala.MatchError

Spark3详细报错：scala.MatchError:Map(treatemptyvaluesasnulls->true,location->viewfs://path.xlsx,inferschema
CoderOnly·2024-01-13 10:35

做一个怎样的女人？——Don't be shy.

Shynessinonlytheeffectofasenseofinferiorityinsomewayorother.IfIcouldpersuademyselfthatmymannerswereperfectlyeasyandgraceful
军老师·2024-01-13 02:28

浅淡A100-4090-性价比

大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。4090如果极致优化，性价比甚至可以达到H100的2倍。
天池小天·2024-01-12 21:37

深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧

大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用32-在YOLOv5模型上使用TensorRT进行加速的应用技巧，TensorRT是NVIDIA公司提供的一个深度学习推理（inference）优化器和运行时库
微学AI·2024-01-12 09:28

NLP（十八）：LLM 的推理优化技术纵览

原文：NLP（十八）：LLM的推理优化技术纵览-知乎目录收起一、子图融合（subgraphfusion）1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM
javastart·2024-01-12 09:46

typescript 实现数组push unshift pop shift

typearrPush=[...args:T,a:U]extends[...args:inferG]?
学好大数据啊啊啊啊啊·2024-01-12 08:47

【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024

DailyComputationandLanguagePapersFFSplit:SplitFeed-ForwardNetworkForOptimizingAccuracy-EfficiencyTrade-offinLanguageModelInferenceAuthor
hitrjj·2024-01-12 04:38

det_keypoint_unite的C++部署（jetson）

CMakeLists.txt编译和运行运行结果环境准备硬件JetsonAGXOrin64GB软件gcc/g++>=5.4(推荐8.2)cmake>=3.10.0jetpack>=4.6.1如果需要集成PaddleInference
点PY·2024-01-12 01:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他