- 使用vllIm部署大语言模型
添砖JAVA的小墨
机器学习
使用vllm部署大语言模型一般需要以下步骤:一、准备工作1.系统要求-操作系统:常见的Linux发行版(如Ubuntu、CentOS)或Windows(通过WSL)。-GPU支持:NVIDIAGPU并安装了适当的驱动程序。-足够的内存和存储空间。2.安装依赖-Python3.8及以上版本。-CUDA工具包(根据GPU型号选择合适的版本)。二、安装vllm1.创建虚拟环境(推荐)-使用Conda:c
- vllm在线推理踩坑记
懂点投资的码农
大语言模型ai语言模型python
最近在《AI大模型全栈工程师》课程里看老师推荐使用vllm部署大模型,优点就不详细介绍了,这里摘抄一段来自于Qwen2上手指南对于它的简单介绍:它易于使用,且具有最先进的服务吞吐量、高效的注意力键值内存管理(通过PagedAttention实现)、连续批处理输入请求、优化的CUDA内核等功能。至于原理就先不看了,直接上手部署,以后再来补理论知识。一、vLLM在线推理在Qwen2的上市指南里介绍了v
- Anaconda 安装与使用教程
寂然如故
python
Anaconda安装与使用教程目录-[简介](#简介)-[安装Anaconda](#安装anaconda)-[Windows系统](#windows系统)-[macOS系统](#macos系统)-[Linux系统](#linux系统)-[启动AnacondaPrompt(命令行)](#启动anaconda-prompt-命令行)-[创建与管理环境](#创建与管理环境)-[创建环境](#创建环境)-
- 多版本cuda安装及灵活切换详细教程
Fzc_PCL
CUDALinux记录cudalinux
一、首先介绍下我所使用的环境ubuntu18.04+1080ti二、下载安装包1.cudatoolkit下载①环境选择,想要多版本共存的,尽量选择runfile文件进行安装②有些cudatoolkit下载页面,和我上边的一样,没有对应的安装包下载按钮,BaseInstaller中只给了两行命令,如果运行第一行命令的话,下载会比较慢,我是直接复制wget后边的链接在新网页窗口中打开,会自动弹出下载窗
- Cuda 程序编译报错: fatal error: cusparse.h: No such file or directory
原野寻踪
实践经验cuda
编译cuda程序时发现下列报错:/mnt/xxx/miniconda3/envs/xxx/lib/python3.8/site-packages/torch/include/ATen/cuda/CUDAContext.h:6:10:fatalerror:cusparse.h:Nosuchfileordirectory#include^~~~~~~~~~~~检查发现是选择了错误的Cuda版本。ls/
- Anaconda版本和Python版本对应关系
纬领网络
pythonanaconda3
官网下载地址:https://repo.anaconda.com/archive/下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
- 天下苦英伟达久矣!PyTorch官方免CUDA加速推理,Triton时代要来?
诗者才子酒中仙
物联网/互联网/人工智能/其他pytorch人工智能python
在做大语言模型(LLM)的训练、微调和推理时,使用英伟达的GPU和CUDA是常见的做法。在更大的机器学习编程与计算范畴,同样严重依赖CUDA,使用它加速的机器学习模型可以实现更大的性能提升。虽然CUDA在加速计算领域占据主导地位,并成为英伟达重要的护城河之一。但其他一些工作的出现正在向CUDA发起挑战,比如OpenAI推出的Triton,它在可用性、内存开销、AI编译器堆栈构建等方面具有一定的优势
- pytorch安装(windows)
m0_62244898
windows人工智能
(1)下载pycharmPyCharm:thePythonIDEforProfessionalDevelopersbyJetBrains(2)下载anacondaAnaconda|TheWorld'sMostPopularDataSciencePlatform(3)创建一个新环境:torchcondacreate-ntorch-y(4)进入新环境condaactivatetorch(5)加入清华源
- win10下Anaconda创建的环境中更新python版本后jupyter打不开问题
JimmyFun
环境配置
问题描述:解决方法:pipuninstalljupyterpipinstalljupyterpipinstall--force-reinstall--upgradepyzmq
- 关于python版本与TensorFlow安装的版本问题
iiimharrygGc.
pythontensorflow开发语言
实测在conda环境下,python3.12的版本无法安装TensorFlow2.14.0(截至2024.5.21)最新版本在python3.7版本下正常安装ps:上述安装均在anacondanavigator软件内安装
- conda 中切换python版本
Pipibuibui
pythonconda开发语言linux运维
如何在conda中切换Python版本1.概述在使用conda管理Python环境时,我们可以很方便地切换不同版本的Python。下面我将详细介绍如何在conda中切换Python版本。2.步骤步骤操作1.打开终端或AnacondaPrompt2.查看当前环境中已安装的Python版本condasearch"^python$"3.创建一个新的Python环境condacreate--namenew
- GPU版pytorch安装
普通攻击往后拉
pythontips神经网络基础模型关键点
由于经常重装系统,导致电脑的环境需要经常重新配置,其中尤其是cudatorch比较难以安装,因此记录一下安装GPU版本torch的过程。1)安装CUDAtoolkit这个可以看做是N卡所有cuda计算的基础,一般都会随驱动的更新自动安装,但是不全,仍然需要安装toolkit,并不需要先看已有版本是哪个,反正下载完后会自动覆盖原有的cuda。下载网站两个:国内网站:只能下载最新的toolkit,但是
- 人工智能-GPU版本机器学习、深度学习模型安装
bw876720687
人工智能机器学习深度学习
背景1、在有Nvidia-GPU的情况下模型使用cuda加速计算,但是很有多模型的GPU和CPU版本安装方式不同,如何安装lgb\cat\xgb.2、为了让代码有普适性,如何自适应环境当中的设备进行CPU或者GPU的调整?解决方案问题一:安装GPU版本的LightGBMLightGBM默认不会安装GPU支持版,需要手动编译以启用GPU。以下是在Linux和Windows上编译GPU版本LightG
- [Python]Conda 介绍及常用命令
zzm_
python数据库操作系统
一、介绍Anaconda是一个用于科学计算的Python发行版,支持Linux,Mac,Windows,包含了众多流行的科学计算、数据分析的Python包。其使用conda系统进行包管理。区别于virtualenv(Python环境管理工具)的地方是Conda不仅可以管理环境,还可管理Python的版本,创建独立环境只是conda的一个功能,它还是可以安装库。那么安装库方面和pip的区别呢?Con
- conda环境管理
Johnson0722
pythonpythonconda环境管理
Anaconda使用软件包管理系统Conda进行包管理,为用户对不同版本、不同功能的工具包的环境进行配置和管理提供便利。来看一看使用conda来进行环境管理的基本命令创建环境创建一个名为test的python环境,指定python版本是3.7.3,并在test环境中安装pytorchcondacreate--nametestpython=3.7.3pytorch查看系统中的所有环境用户安装的不同环
- supervisor环境变量
蕴重Liu
场景:supervisor启动flask失败,手动python启动成功,报错信息是缺少ModuleNotFoundError配置文件:[program:aib-humanpose]environment=PYTHONPATH=/root/anaconda3/lib/python3.6/site-packagescommand=/root/anaconda3/bin/pythongateway_b_
- python学习——conda install Python库时报PackagesNotFoundError:的错误的解决方案,很实用
_Oak_Tree_
python基础python
安装完成Anaconda之后,我们可以在AnacondaPrompt交互式窗口中通过“condainstall库名称”实现Python库的安装,但是有时候在运用该命令进行安装时会提示PackagesNotFoundError:Thefollowingpackagesarenotavailablefromcurrentchannels:的错误,现在以Pydap库的安装为例,提供在Windows系统下
- conda安装包报PackagesNotFoundError错误
张遥
数据分析pythonanaconda
先查找包(base)bash-3.2$anacondasearch-tcondasklearn返回包的相关信息根据对应的包的包名使用如下命令(base)bash-3.2$anacondashowcorjos/sklearn-pandas会直接给出安装命令condainstall--channelhttps://conda.anaconda.org/corjossklearn-pandas
- 2.Python进行对Neo4j 的操作(连接数据库)
铁盒薄荷糖
#Neo4J学习neo4jpython开发语言
Python可以借助Py2neo库完成对Neo4j的操作Windows安装neo4j图数据库及python.py2neo全流程-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/436687958目录1.安装Py2neo库2.连接neo数据库并简单操作3.定义node,并读入数据库1.安装Py2neo库(1)(可选)打开AnacondaPrompt,创建一个新的虚
- python3.7安装keras教程_python 3.7 安装 sklearn keras(tf.keras)
weixin_39641103
#1sklearn一般方法网上有很多教程,不再赘述。注意顺序是numpy+mkl,然后scipy的环境,scipy,然后sklearn#2anocondaanaconda原始的环境已经自带了sklearn,这里说一下新建环境(比如创建了一个tensorflow的环境),activatetensorflow2.0,然后condainstallsklearn即可,会帮你把各种需要的库都安装。#kera
- CUDA 编程入门(2):CUDA 调度模型
知识搬运工人
CUDAGPUCUDA
参考:CUDA编程入门(2):CUDA编程模型-知乎(zhihu.com)CUDA调度模型Block调度Block对应的物理硬件概念是SM,也就是说SM负责block中线程的执行,SM会为每个block分配需求的资源,比如寄存器,共享内存等,由于SM自身资源有限,因此它被分配到的block数量也是有限的,这取决于block中线程的资源需求。当所有的SM都饱和之后,剩下的blocks将会被暂时挂起,
- Jupyter notebook安装的问题
大梦一场三十一
使用anaconda去安装会比较简单,而后在anaconda打开Jupyternotebookimage.png遇到的问题:(1)在anaconda打开Jupyternotebook,无法出现在浏览器上,http://localhost:8888/tree,无法使用。可以尝试使用http://127.0.0.1:8888/tree。原因是hosts中没有定义127.0.0.1为localhost,
- Ubuntu 开机出现 recovering journal 无法进入图形界面解决流程(不通用,自用)
Artintel
学习ubuntu
远程连接进入命令行:rm-rf/etc/X11/xorg.confcp/etc/X11/xorg.conf.failsafe/etc/X11/xorg.confsudoservicelightdmstopsudoapt-getremovenvidia*cdjohn/qudong+cuda9.0\+\cudnn/sudochmoda+xnv.runsudo./nv.run-no-x-check-no
- ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory:错误解决
nomoremorphine
pythonpip计算机视觉目标检测
安装yolov8时(pipinstallultralytics)报错:ERROR:CouldnotinstallpackagesduetoanOSError:[Errno2]没有那个文件或目录:‘xxxx/anaconda3/envs/v8-test/lib/python3.7/site-packages/numpy-1.21.6.dist-info/METADATA’问题原因:安装环境里对应的安
- Yolo-v3利用GPU训练make时发生错误:/usr/bin/ld: cannot find -lcuda
徐小妞66666
一.利用GPU训练Yolov3时,首先要修改MakeFile文件,修改格式如下:GPU=1(原来为0)CUDNN=1(原来为0)NVCC=/usr/local/cuda/bin/nvcc(新建,注意自己本机的地址)二.此时make产生错误/usr/bin/ld:cannotfind-lcuda1.查看MakeFile文件找到该行代码:LDFLAGS+=-L/usr/local/cuda/lib64
- 【环境搭建:onnx模型部署】onnxruntime-gpu安装与测试(python)(1)
2401_83703835
程序员python深度学习pytorch
cuda==10.2cudnn==8.0.3onnxruntime-gpu==1.5.0or1.6.0pipinstallonnxruntime-gpu==1.6.0###2.2方法二:onnxruntime-gpu不依赖于本地主机上cuda和cudnn在conda环境中安装,不依赖于本地主机上已安装的cuda和cudnn版本,灵活方便。这里,先说一下已经测试通过的组合:*python3.6,cu
- vnpy1.0版本学习-回测模块
ls13552912394
1、学习vnpy,从vnpy1.0开始。主要是学习回测模块的使用。ctaAlgo回测模块的使用。git的链接官方:官方地址。其中最主要碰到的坑,各种关联包的使用和开始启动py文件的方法。官方的说明文档写的不太清楚。详细还是要看官方的,我只写写我的感受和操作。2、首先talib包是比较难装的,需要使用conda命令,版本和依赖的包太乱了。使用anacondaprompt命令提示行执行如下:conda
- pytorch计算网络参数量和Flops
Mr_Lowbee
PyTorchpytorch深度学习人工智能
fromtorchsummaryimportsummarysummary(net,input_size=(3,256,256),batch_size=-1)输出的参数是除以一百万(/1000000)M,fromfvcore.nnimportFlopCountAnalysisinputs=torch.randn(1,3,256,256).cuda()flop_counter=FlopCountAna
- 出现 xxx missing 1 required positional argument: ‘self‘ 解决方法
码农研究僧
BUGpythonbug
目录1.问题所示2.原理分析3.解决方法1.问题所示编译代码的时候,出现如下问题:E:\software\anaconda3\envs\py3.10\python.exeF:\python_project\test\main.pyTraceback(mostrecentcalllast):File"F:\python_project\test\main.py",line36,
- Anaconda报错
fengshuaicool
pythonpycharm开发语言
Anaconda更新一直报错,修改为国内镜像也不好使,最终找到了未被屏蔽的镜像。错误日志:UnavailableInvalidChannel:Thechannelisnotaccessibleorisinvalid.channelname:simplechannelurl:http://pypi.douban.com/simpleerrorcode:404意思是资源路径无效或无法访问;资源的url
- mondb入手
木zi_鸣
mongodb
windows 启动mongodb 编写bat文件,
mongod --dbpath D:\software\MongoDBDATA
mongod --help 查询各种配置
配置在mongob
打开批处理,即可启动,27017原生端口,shell操作监控端口 扩展28017,web端操作端口
启动配置文件配置,
数据更灵活 
- 大型高并发高负载网站的系统架构
bijian1013
高并发负载均衡
扩展Web应用程序
一.概念
简单的来说,如果一个系统可扩展,那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集,并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种:
1.
- DISPLAY变量和xhost(原创)
czmmiao
display
DISPLAY
在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
- 获取B/S客户端IP
周凡杨
java编程jspWeb浏览器
最近想写个B/S架构的聊天系统,因为以前做过C/S架构的QQ聊天系统,所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统,由于存在客户端Java应用,所以直接在代码中获取客户端的IP,应用的方法为:
String ip = InetAddress.getLocalHost().getHostAddress();
然而对于WEB
- 浅谈类和对象
朱辉辉33
编程
类是对一类事物的总称,对象是描述一个物体的特征,类是对象的抽象。简单来说,类是抽象的,不占用内存,对象是具体的,
占用存储空间。
类是由属性和方法构成的,基本格式是public class 类名{
//定义属性
private/public 数据类型 属性名;
//定义方法
publ
- android activity与viewpager+fragment的生命周期问题
肆无忌惮_
viewpager
有一个Activity里面是ViewPager,ViewPager里面放了两个Fragment。
第一次进入这个Activity。开启了服务,并在onResume方法中绑定服务后,对Service进行了一定的初始化,其中调用了Fragment中的一个属性。
super.onResume();
bindService(intent, conn, BIND_AUTO_CREATE);
- base64Encode对图片进行编码
843977358
base64图片encoder
/**
* 对图片进行base64encoder编码
*
* @author mrZhang
* @param path
* @return
*/
public static String encodeImage(String path) {
BASE64Encoder encoder = null;
byte[] b = null;
I
- Request Header简介
aigo
servlet
当一个客户端(通常是浏览器)向Web服务器发送一个请求是,它要发送一个请求的命令行,一般是GET或POST命令,当发送POST命令时,它还必须向服务器发送一个叫“Content-Length”的请求头(Request Header) 用以指明请求数据的长度,除了Content-Length之外,它还可以向服务器发送其它一些Headers,如:
- HttpClient4.3 创建SSL协议的HttpClient对象
alleni123
httpclient爬虫ssl
public class HttpClientUtils
{
public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){
SSLContext sslContext=null;
try
{
sslContext=new SSLContextBuilder().l
- java取反 -右移-左移-无符号右移的探讨
百合不是茶
位运算符 位移
取反:
在二进制中第一位,1表示符数,0表示正数
byte a = -1;
原码:10000001
反码:11111110
补码:11111111
//异或: 00000000
byte b = -2;
原码:10000010
反码:11111101
补码:11111110
//异或: 00000001
- java多线程join的作用与用法
bijian1013
java多线程
对于JAVA的join,JDK 是这样说的:join public final void join (long millis )throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
- Java发送http请求(get 与post方法请求)
bijian1013
javaspring
PostRequest.java
package com.bijian.study;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURL
- 【Struts2二】struts.xml中package下的action配置项默认值
bit1129
struts.xml
在第一部份,定义了struts.xml文件,如下所示:
<!DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD Struts Configuration 2.3//EN"
"http://struts.apache.org/dtds/struts
- 【Kafka十三】Kafka Simple Consumer
bit1129
simple
代码中关于Host和Port是割裂开的,这会导致单机环境下的伪分布式Kafka集群环境下,这个例子没法运行。
实际情况是需要将host和port绑定到一起,
package kafka.examples.lowlevel;
import kafka.api.FetchRequest;
import kafka.api.FetchRequestBuilder;
impo
- nodejs学习api
ronin47
nodejs api
NodeJS基础 什么是NodeJS
JS是脚本语言,脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS,浏览器充当了解析器的角色。而对于需要独立运行的JS,NodeJS就是一个解析器。
每一种解析器都是一个运行环境,不但允许JS定义各种数据结构,进行各种计算,还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM,浏览器就提供了docum
- java-64.寻找第N个丑数
bylijinnan
java
public class UglyNumber {
/**
* 64.查找第N个丑数
具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url]
*
题目:我们把只包含因子
2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14
- 二维数组(矩阵)对角线输出
bylijinnan
二维数组
/**
二维数组 对角线输出 两个方向
例如对于数组:
{ 1, 2, 3, 4 },
{ 5, 6, 7, 8 },
{ 9, 10, 11, 12 },
{ 13, 14, 15, 16 },
slash方向输出:
1
5 2
9 6 3
13 10 7 4
14 11 8
15 12
16
backslash输出:
4
3
- [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新)
comsci
工作流
既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理
大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
- redis常见使用
cuityang
redis常见使用
redis 通常被认为是一个数据结构服务器,主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets
引入jar包 jedis-2.1.0.jar (本文下方提供下载)
package redistest;
import redis.clients.jedis.Jedis;
public class Listtest
- 配置多个redis
dalan_123
redis
配置多个redis客户端
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=&quo
- attrib命令
dcj3sjt126com
attr
attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统.
只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护.
存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件.
- Yii使用公共函数
dcj3sjt126com
yii
在网站项目中,没必要把公用的函数写成一个工具类,有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用,成为公用的函数集合。 function.php如下:
<?php /** * This is the shortcut to D
- linux 系统资源的查看(free、uname、uptime、netstat)
eksliang
netstatlinux unamelinux uptimelinux free
linux 系统资源的查看
转载请出自出处:http://eksliang.iteye.com/blog/2167081
http://eksliang.iteye.com 一、free查看内存的使用情况
语法如下:
free [-b][-k][-m][-g] [-t]
参数含义
-b:直接输入free时,显示的单位是kb我们可以使用b(bytes),m
- JAVA的位操作符
greemranqq
位运算JAVA位移<<>>>
最近几种进制,加上各种位操作符,发现都比较模糊,不能完全掌握,这里就再熟悉熟悉。
1.按位操作符 :
按位操作符是用来操作基本数据类型中的单个bit,即二进制位,会对两个参数执行布尔代数运算,获得结果。
与(&)运算:
1&1 = 1, 1&0 = 0, 0&0 &
- Web前段学习网站
ihuning
Web
Web前段学习网站
菜鸟学习:http://www.w3cschool.cc/
JQuery中文网:http://www.jquerycn.cn/
内存溢出:http://outofmemory.cn/#csdn.blog
http://www.icoolxue.com/
http://www.jikexue
- 强强联合:FluxBB 作者加盟 Flarum
justjavac
r
原文:FluxBB Joins Forces With Flarum作者:Toby Zerner译文:强强联合:FluxBB 作者加盟 Flarum译者:justjavac
FluxBB 是一个快速、轻量级论坛软件,它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写,并已经开发了一段时间。FluxBB 看起来非常有前途的,
- java统计在线人数(session存储信息的)
macroli
javaWeb
这篇日志是我写的第三次了 前两次都发布失败!郁闷极了!
由于在web开发中常常用到这一部分所以在此记录一下,呵呵,就到备忘录了!
我对于登录信息时使用session存储的,所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。
1、实现接口类,在web.xml文件中配置监听类,从而可以使该类完成其工作。
public class Ses
- bootstrp carousel初体验 快速构建图片播放
qiaolevip
每天进步一点点学习永无止境bootstrap纵观千象
img{
border: 1px solid white;
box-shadow: 2px 2px 12px #333;
_width: expression(this.width > 600 ? "600px" : this.width + "px");
_height: expression(this.width &
- SparkSQL读取HBase数据,通过自定义外部数据源
superlxw1234
sparksparksqlsparksql读取hbasesparksql外部数据源
关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源
前面文章介绍了SparSQL通过Hive操作HBase表。
SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0,简单介绍SparkSQL自定义外部数据源,访
- Spring Boot 1.3.0.M1发布
wiselyman
spring boot
Spring Boot 1.3.0.M1于6.12日发布,现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下:
1.提供一个新的sprin