模型部署-ncnn 第6页

无名份的浪漫2018·2023-11-21 17:25

ARM CoreLink CCN 互连总线介绍

NICNOCCCICMNCNNNIcmn-700nic-700ni-700MLGB这都是啥玩意？后期博文或视频将会更新这一系列。

代码改变世界ctw·2023-11-21 15:21

chatgpt api使用教程

2.部署模型：将训练好的模型部署到您的服务器上，以便您可以使用它。3.使用API：使用ChatGPTAPI发送消息，接收回复

轮胎技术Tyretek·2023-11-21 14:39

大模型部署手记（17）7个大模型+Windows+LongChain-ChatChat

1.简介硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPreview22H2内存32GGPU显卡：NvidiaGTX3080Laptop（16G）2.代码和模型下载第1个大模型：ChatGLM2-6B组织机构：智谱/清华代码仓：GitHub-THUDM/ChatGLM2-6B:ChatGLM2-6B:AnOpenBilingualChatLLM|开源双语

张小白TWO·2023-11-21 10:32

树莓派系列五：火焰检测三（基于NCNN）

前言在前面两篇关于火焰检测的文章中，最终的效果不是很好，为了提高火焰检测的效果，又搜集了一些火焰数据，训练的网络由之前的yolov3-tiny改为mobilev2-yolov3，最终在树莓派上利用NCNN

嵌入式案例Show·2023-11-20 22:07

快速将Keras模型转换成Tensorflow模型

由于工作需要，最近要将一个keras模型部署在c++环境下，然而keras只有python接口。

代丹·2023-11-20 03:37

大大大模型部署方案抛砖引玉

作者|Oldpan编辑|oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV

自动驾驶之心·2023-11-20 02:22

【半监督学习】CNN与Transformer的结合

Semi-ViT（ECCV2022），Semiformer（ECCV2022）.Semi-SupervisedMedicalImageSegmentationviaCrossTeachingbetweenCNNandTransformer

m0_61899108·2023-11-19 20:53

编译tensorflow CPU版本的C++库以及C++中调用Keras模型

需要软件及版本号编译c++版本的tensorflow库keras模型转化c++环境下调用模型摘要：最近要将keras训练的模型部署在c++的工程中自己找了很多的资料，第一次尝试遇到了很多的坑，用了差不多一个星期终于能实现在

Taylor_wk·2023-11-19 18:12

tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装

文章目录tensorrt:pycuda,onnx,onnxruntime,tensorrt,torch-tensorrt安装1.深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT

tony365·2023-11-17 15:33

开源大模型部署及推理所需显卡成本必读之二

在前面的文章中，我们介绍了大模型占用显卡空间的一些分析情况，这次我们继续来看看具体量化角度上的结论。因此，本文来来介绍一个偏具体数值量化的工作。随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老

深科文库·2023-11-16 15:00

开源大模型部署及推理所需显卡成本必读之一

一、系统内存与架构在人工智能大模型训练的过程中，常常会面临显存资源不足的情况，其中包括但不限于以下两个方面：1.经典错误：CUDAoutofmemory.Triedtoallocate...；2.明明报错信息表明显存资源充足，仍然发生OOM问题。为了深入理解问题的根源并寻求解决方案，必须对系统内存架构以及显存管理机制进行进一步的探究。本文将为读者带来对这些基础知识的全面学习与了解。系统内存与两块G

深科文库·2023-11-16 15:55

YOLOV8部署Android Studio安卓平台NCNN

使用腾讯开源的ncnn，这是一个为手机端极致优化的高性能神经网络前向计算框架，能够将深度学习算法轻松移植到手机端高效执行。

Ye-Maolin·2023-11-16 07:22

YOLOV5部署Android Studio安卓平台NCNN

使用腾讯开源的ncnn，这是一个为手机端极致优化的高性能神经网络前向计算框架，能够将深度学习算法轻松移植

Ye-Maolin·2023-11-16 07:22

aarch交叉编译opencv、ncnn

aarch64-linux-gnu-gcc/g++交叉编译工具链#查看可以安装的版本apt-cachesearchaarch64#选择可以安装的版本进行安装#此处选择gcc-5-aarch64-linux-gnu以及g++-5-aarch64-linux-gnu进行安装sudoapt-getinstallgcc-5-aarch64-linux-gnusudoapt-getinstallgcc-5-

weixin_45625419·2023-11-16 03:31

机器学习模型的部署

原文连接:https://www.jianshu.com/p/ad2bfc08b9e2随着机器学习的广泛应用，如何高效的把训练好的机器学习的模型部署到生产环境，正在被越来越多的工具所支持。

奔跑的大大蜗牛·2023-11-15 04:06

深度学习可视化工具：Netron

Netron支持ONNX、TensorFlowLite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、CoreML、RKNN、MXNet、MindSporeLite

泠山·2023-11-14 23:21

深度学习---算法岗面试题

参考回答：开源的有：小米的MACE，骁龙的SNPE，腾讯的FeatherCNN和ncnn

勇敢牛牛@·2023-11-14 04:44

yolov8系列[六]-项目实战-yolov8模型部署android

yolov8系列[六]-项目实战-yolov8模型部署android@[TOC](yolov8系列[六]-项目实战-yolov8模型部署android)参考:YOLOV8部署AndroidStudio

GeekPlusA·2023-11-13 17:36

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization

AGI_Player·2023-11-13 11:12

亚马逊云AI应用科技创新下的Amazon SageMaker使用教程

借助SageMaker，数据科学家和开发人员可以快速、轻松地构建和训练机器学习模型，然后直接将模型部署到生产就绪托管环境中。它提供了一个集成的Jupyter编写Notebook实例，供您

lqj_本人·2023-11-12 14:40

YOLOv8模型ONNX格式INT8量化轻松搞定

ONNX格式模型量化深度学习模型量化支持深度学习模型部署框架支持的一种轻量化模型与加速模型推理的一种常用手段，ONNXRUNTIME支持模型的简化、量化等脚本操作，简单易学，非常实用。

金戈鐡馬·2023-11-12 12:34

为什么说CUDA是NVIDIA的护城河?

编辑|汽车人原文链接：https://www.zhihu.com/question/564812763点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】

自动驾驶之心·2023-11-12 11:37

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama27B大语言模型，所采用的环境为Ubuntu22.04及NVIDIACUDA。文中假设Linux的用户目录（一般为/home/username）为当前目录。安装NVIDIACUDA工具NVIDIA官方已经提供在Ubuntu22.04中安装CUDA的官方文档。本文稍有

SmileyFaceApp·2023-11-12 08:58

魔搭社区LLM模型部署实践，以ChatGLM3为例（一）

魔搭社区LLM模型部署实践，以ChatGLM3为例本文以ChatGLM3-6B为例，主要介绍在魔搭社区如何部署LLM，主要包括如下内容：●SwingDeploy-云端部署，实现零代码一键部署●多端部署-

大模型Maynor·2023-11-12 05:53

人工智能模型转ONNX & 连接摄像头使用ONNX格式的模型进行推理

模型部署的通用流程各大厂商都有自己的推理工具。训练的归训练，部署的归部署，人工智能也分训练端和部署端，每一个端操心自己事就好了。

computer_vision_chen·2023-11-10 18:10

RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力

它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。以

Rice嵌入式开发·2023-11-10 18:03

语言大模型推理性能工程：最佳实践

此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。

OneFlow深度学习框架·2023-11-10 15:55

使用Azure OpenAI服务创建聊天机器人

在你创建好的OpenAI服务中，依次点击“模型部署

程序猿老罗·2023-11-08 20:28

ChatGLM2-6B，部署及微调

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、模型部署1.下载代码2.下载模型3.建立conda的虚拟环境4.安装环境依赖5.修改模型配置6.执行web_demo.py

rexxa·2023-11-08 20:17

ChatGLM-6B部署、实战与微调

下载模型文件推理代码调用网页版的Demo网页版的Demo2命令行Demo部署API部署低成本部署模型量化CPU部署Mac部署多卡部署训练与微调软件依赖下载数据集训练P-Tuningv2评估P-Tuningv2训练的模型部署

静静AI学堂·2023-11-08 20:45

基于亚马逊云科技生成式AI，灵境未来实现云上大语言模型训练和推理平台部署

灵境未来的创业团队在机器学习与人工智能领域拥有丰富的经验积累，致力于以最低成本来帮助企业实现私有数据价值的最大化，为行业客户提供从数据准备、模型微调、模型评估、模型部署等服务。通过加入

Zaker科技·2023-11-08 05:01

从0开始的视觉研究生涯（6）YOLOv8-seg实战应用NCNN加速详解（进阶，多线程、Int8量化）

在前面的章节中，介绍了如何自建数据集，如何复现深度学习模型，如何训练测试模型以及导出模型的基础知识，这节将详细介绍如何以YOLOv8为例，真正实现计算机视觉应用，并用NCNN在arm架构芯片上进行加速推理

fisherisfish·2023-11-08 00:19

十月重点回顾：EasyDL八大国产芯片实现模型部署全适配！

10月，EasyDL模型部署国产芯片适配类型丰富度再进一步，新增「飞腾CPU」、「龙芯CPU」、「寒武纪MLU270」、「比特大陆SC5+」4款国产芯片部署能力，实现八大主流国产芯片全适配。

飞桨PaddlePaddle·2023-11-07 21:25

【20201127期嵌入式AI周报】NanoDet 目标检测模型、移植 ncnn到 RISC-V等！

导读：本期为AI简报20201127期，将为您带来8条相关新闻，希望对您有所帮助~一共2000+字，全篇看完需要5~7分钟1.NanoDet：轻量级（1.8MB）、超快速（移动端97fps）目标检测项目Github:https://github.com/RangiLyu/nanodet近日，GitHub上出现了一个项目nanodet，它开源了一个移动端实时的Anchor-free检测模型，希望能够

RTThreadIoTOS·2023-11-07 11:12

【终端目标检测03】nanodet训练自己的数据集、NCNN部署到Android

nanodet训练自己的数据集、NCNN部署到Android一、介绍二、训练自己的数据集1.运行环境2.数据集3.配置文件4.训练5.训练可视化6.测试三、部署到android1.使用官方权重文件部署1.1

咚咚锵咚咚锵·2023-11-07 11:11

LLM系列 | 03：实测讯飞星火、文心一言、bing chat和chatgpt

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。

JasonLiu1919·2023-11-04 18:46

优化改进YOLOv5算法：加入大核分离卷积注意力模块（ Large Separable Kernel Attention），实现暴力涨点同时显著减少计算复杂性和内存——(超详细)

1LargeSeparableKernelAttention介绍论文：LargeSeparableKernelAttention:RethinkingtheLargeKernelAttentionDesigninCNN

AI追随者·2023-11-04 09:21

Centos部署清华ChatGLM3-6B详细教程

今天终于下载了模型部署测试，实际效果确实要比ChatGLM2要好。结合自己实际操作过程，整理一篇关于ChatGLM3的部署的文档分

AINLPer·2023-11-04 07:07

LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM

在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的LLM推理部署（一）：LLM七种推理服务框架总结

wshzd·2023-11-04 03:01

python 调用onnxruntime 实现单输入多输出

做模型部署的时候需要将模型转换为onnx，转换好之后需要将图像传入验证对比原来的pth看输出参数是否一致。我的模型输出有三部分，直接贴出代码了，注释那部分可以实现指定输出部分。

Ceri·2023-11-04 02:11

第一个onnxruntime c++项目

同样是图像分割的c++inference,已经实现过libtorch和ncnn框架的c++推理，今天实现一下onnxruntime的c++推理。

落花逐流水·2023-11-03 06:01

自己编译ncnn,yolov3示例，cmake

cmake_minimum_required(VERSION3.0)project(yolov3)aux_source_directory(.SRC_LIST)set(EXECUTABLE_OUTPUT_PATH${PROJECT_SOURCE_DIR}/)find_package(OpenCVREQUIRED)include_directories(${OpenCV_INCLUDE_DIRS})

pl9632008·2023-11-02 22:39

Hugging Face LLM部署大语言模型到亚马逊云科技Amazon SageMaker推理示例

本篇文章主要介绍如何使用新的HuggingFaceLLM推理容器将开源LLMs，比如BLOOM大型语言模型部署到亚马逊云科技AmazonSageMaker进行推理的示例。

趣说科技·2023-11-02 14:32

移动端市容巡查AI目标检测计划

python...TensorFlow&模型训练训练环境搭建与升级12种归类图片训练数据采集与筛选数据标注和检测模型训练与调优AI目标检测App开发App架构框架搭建（全部才有最新且稳定）TensorFlow模型部署与推理地图定位数据采集手机摄像头自定义相机管理和数据封装业务数据封装

曾经的你呀·2023-11-02 10:28

[RKNN] 1. 入门介绍

CPU和GPUNPU最近半年一直在做部署，NCNN在树莓派上表现一般、TensorRT的Jetson系列开发板贵，

0zzx0·2023-11-02 04:21

从零开始的目标检测和关键点检测（三）：训练一个Glue的RTMPose模型

从零开始的目标检测和关键点检测（三）：训练一个Glue的RTMPose模型一、重写config文件二、开始训练三、ncnn部署从零开始的目标检测和关键点检测（一）：用labelme标注数据集从零开始的目标检测和关键点检测

HHzdh·2023-11-01 22:41

25FPS！英伟达首发BEVFusion部署源代码，边缘端实时运行！！！

作者|手写ai书写未来编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入自动驾驶之心【模型部署】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D

自动驾驶之心·2023-11-01 21:39

深度学习所有硬件平台的自动内核优化

在系统支持方面，我们面临着一个多对多的问题：将多个前端（例如Tensorflow、ONNX、MXNet）的训练模型部署到多个硬件平台（例如CPU、GPU、加速器）。此问题中性能最关

图波列夫·2023-11-01 20:08

端侧模型部署的成熟解决方案有了！

深度学习经过多年发展，AI已经深入人心，事实上，在图像、文本领域，AI在多个产业已经落地了诸多应用，我们熟知的自动驾驶、语音助手，背后就大量运用了AI技术。当下，飞桨PaddlePaddle、TensorFlow、PyTorch这样的开源框架已经非常强大，为部署侧也提供了相关的开源组件，以求降低开发难度。但由于端侧硬件、系统种类繁多，各种加速芯片层出不穷，端侧部署开发工作仍存在实实在在的挑战，成为

夕小瑶·2023-11-01 19:37

推荐频道

模型部署-ncnn

自动驾驶相关