- chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat
FL1623863129
环境配置深度学习
用python部署chatglm2时候报错:FileNotFoundError:Couldnotfindmodule'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\chatglm2-6b-int4\quantization_kernels_parallel.so'(oroneofitsdependenc
- beam search原理与常见实现,与直接sample的区别
samoyan
LLM面试transformer面试
目录BeamSearch原理1.基本概念2.工作流程3.特点BeamSearch与直接Sample的区别1.确定性与随机性2.结果多样性3.性能与效率4.应用场景常见的BeamSearch实现1.TensorFlow库2.PyTorch库3.HuggingFace的Transformers库算法库和工具BeamSearch原理1.基本概念BeamSearch是一种启发式图搜索算法,常用于自然语言处
- Made In Heaven,LLM要加速了
DisonTangor
人工智能transformer
借鉴了荒木老师笔下的普奇神父的台词玩LLM的多数用的是Huggingface框架,而它本身提供的是accelerate库来提升模型的训练推理速度。这些都离不开Nvidia的Cuda计算,而目前适配这一驱动的只有Windows和Linux。于是我就尝试在这两个系统上进行加速实验,尝试HuggingfaceDoc中推荐的FlashAttention2以及vLLM的PageAttention。原理参考L
- 大模型训练——PEFT与LORA介绍
MarkHD
人工智能深度学习机器学习
大模型训练中的PEFT(Parameter-EfficientFine-Tuning)与LoRA(Low-RankAdaptation)是两种重要的技术,它们在大型预训练模型的应用中发挥着重要作用。首先,让我们来了解一下PEFT。PEFT是一种参数高效的微调技术,由Huggingface发布。这种方法的核心思想是仅微调少量(额外)模型参数,同时冻结预训练LLM的大部分参数。这样做的好处是大大降低了
- Python连接huggingface的API接口
young
服务器运维
之前不明白这个过程,现在记录一下。我的原本目的:在本地写Python代码,然后调用huggingface中某个项目中模型的接口,从而完成模型的调用。以期达到我在本地键入输入,得到模型的输出,从而测试模型效果。之前的代码以及出现的问题:之前的代码:importrequestsAPI_URL="https://api-inference.huggingface.co/models/flax-sente
- Huggingface镜像网站下载语言模型方法
幽影相随
语言模型人工智能
通常通过镜像网站下载https://hf-mirror.com/。在链接页面有介绍方法,对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。使用huggingface官方提供的huggingface-cli命令行工具安装(huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载)pipinstall-Uhuggingface_hubhf_transfer基
- 如何通过AI作画?
刀锋0001
AI作画
网址:https://huggingface.co/spaces/prodia/fast-stable-diffusion模板网址:https://prompthero.com/prompt/96ee86ae9e2打开模板网址,选择StableDiffusion选择图片,复制prompt和Negativeprompt打开https://huggingface.co/spaces/prodia/fa
- stable diffusion官方版本复现
Zhuanshan_
stablediffusion
踩了一些坑,来记录下环境CentOSLinuxrelease7.5.1804(Core)服务器RTX3090复现流程按照StableDiffusion的readme下载模型权重、我下载的是stable-diffusion-v1-4版本的1因为服务器没法上huggingface,所以得把权重下载到本地,但是运行链接ln-smodels/ldm/stable-diffusion-v1/model.ck
- Hugging Face PEFT文档指南 - 第一章:开始使用
Tim_Van
NLP大语言模型自然语言处理python
原文:PEFT文档指南-第一章:开始使用https://huggingface.co/docs/peft/indexPEFTPEFT(参数高效微调)是一个库,用于有效地将预训练的语言模型(PLMs)适应各种下游应用,而无需微调所有模型的参数。PEFT方法仅微调少量(额外)模型参数,显著降低了计算和存储成本,因为微调大型PLMs的成本过高。最近的最先进的PEFT技术达到了与完全微调相当的性能。PEF
- stable-cascade 文生图模型diffusers使用案例
loong_XL
多模态深度学习AIGCVLM
参考:https://huggingface.co/stabilityai/stable-cascade下载:需要分别下载两个模型stabilityai/stable-cascade-prior与stabilityai/stable-cascadediffusers版本也要指定安装:pipinstallgit+https://github.com/kashif/diffusers.git@wuer
- 听说有 Hugging Face 陪伴的春节,是这样的…
人工智能
辞旧迎新春节到,家家户户好热闹。HuggingFace中国团队成员祝各位社区成员们新春快乐,万事如意!过去的一年我们持续看到AI技术的腾飞和发展,以及诸多机构为开源AI作出巨大的贡献。非常感谢将模型、数据集和应用Demo发布在HuggingFace上的团队,新的一年,我们也会持续发掘和介绍更多国内开发者/研究机构发布在HuggingFace上的作品。也欢迎大家主动联系我们(ง•̀_•́)ง新年到,
- LLaMA 2 - 你所需要的一切资源
llama人工智能
摘录关于LLaMA2的全部资源,如何去测试、训练并部署它。LLaMA2是一个由Meta开发的大型语言模型,是LLaMA1的继任者。LLaMA2可通过AWS、HuggingFace等提供商获取,并免费用于研究和商业用途。LLaMA2预训练模型在2万亿个标记上进行训练,相比LLaMA1的上下文长度增加了一倍。它的微调模型则在超过100万个人工标注数据下完成。这篇博客包含了所有的相关资源,以帮助您快速入
- 斯坦福大学分析3.2万篇大模型HuggingFace文档后指出:现状堪忧!
夕小瑶
人工智能机器学习深度学习
随着人工智能(AI)模型在各个领域的广泛应用,模型文档化的重要性日益凸显。文档化不仅帮助用户理解、信任并有效地使用这些模型,还揭示了模型潜在的偏见、错误和局限性,这对于那些模型输出具有深远影响的领域尤为关键,如医疗保健、金融和执法等。然而,尽管模型卡片已成为记录AI模型的标准方法,但目前对于模型卡片的质量和信息量尚未进行系统分析。这一空白可能导致文档化实践的不足,从而妨碍了确保AI技术的公平性、问
- sdxl-turbo、playground文生图模型使用案例
loong_XL
深度学习多模态pytorch深度学习人工智能
1、sdxl-turboSDXL-Turbo是一种快速生成的文本到图像模型,可以在单个网络评估中从文本提示合成逼真的图像。参考:https://huggingface.co/stabilityai/sdxl-turbo对比效果相比PixArt模型差很多,参考https://blog.csdn.net/weixin_42357472/article/details/1355201421)文生图gpu
- 真、开源LLM-OLMo
choose_c
大模型LLM
论文:https://arxiv.org/pdf/2402.00838.pdfWeightshttps://huggingface.co/allenai/OLMo-7BCodehttps://github.com/allenai/OLMoDatahttps://huggingface.co/datasets/allenai/dolmaEvaluationhttps://github.com/all
- 如何使用Hugging Face:对Transformer和pipelines的介绍
第欧根尼的酒桶
transformer深度学习人工智能
一、transformer介绍众所周知,transformer模型(如GPT-3、LLaMa和ChatGPT)已经彻底改变了人工智能领域。它们不仅被用于自然语言处理,还被应用于计算机视觉、语音处理和其他任务中。HuggingFace是一个以变换器为核心的Python深度学习库。因此,在我们深入了解其工作原理之前,我们将探讨什么是transformer,以及为什么它们能够支持如此强大的模型。1.递归
- 生成图片的大模型
hehui0921
huggingface机器翻译
https://huggingface.co/spaces/briaai/BRIA-2.2-FAST
- 一些好的huggingface space
hehui0921
huggingface深度学习
https://huggingface.co/spaces/ehristoforu/mixtral-46.7b-chattexttoimage:https://huggingface.co/spaces/latent-consistency/lcm-lora-for-sdxlhttps://huggingface.co/spaces/briaai/BRIA-2.2-FAST
- huggingface pipeline零训练样本分类Zero-Shot Classification的实现
hehui0921
huggingface分类python数据挖掘
1:默认的model。fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration,MBart50TokenizerFastfromtransformersi
- Stable Diffusion WebUI linux部署问题
SuperB666
stablediffusionpytorchweb
当我部署好环境后,准备大张旗鼓开搞时,进入项目地址运行pythonlaunch.py后发现下面连接着的报错是OSError:Can'tloadtokenizerfor'openai/clip-vit-large-patch14'.Ifyouweretryingtoloaditfrom'https://huggingface.co/models',makesureyoudon'thavealocal
- 使用huggingface pipeline实现抽取式问答question-answering
hehui0921
huggingfacejava服务器前端
1:fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportpipelineqa_model=pipeline("question-answering","timpal0l/mdeberta-v3-base-sq
- huggingface pipeline使用模型THUDM/chatglm3-6b
hehui0921
huggingfacejavapython前端
以下代码成功运在CPU机器上:第一次运行会自动下载模型文件,需要比较长的时间。fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('hf_ZYmPKiltO
- flan_t5的使用
hehui0921
huggingfacelangchain
https://huggingface.co/docs/transformers/model_doc/flan-t5
- 使用huggingface pipeline实现文本翻译
hehui0921
huggingfacelangchain
1:以下翻译英文到中文,可以CPU运行。fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration,MBart50TokenizerFastarticle_
- 【HuggingFace】Transformers-BertAttention逐行代码解析
Taylor不想被展开
PythonTransformer深度学习自然语言处理transformer计算机视觉
本文基于HuggingFace的2.6.0版本的Transformers包进行解析,不同版本间略有差异,但无伤大雅。I.Self-attention的HuggingFace实现(I).多头自注意力的实现原理关于Transformer的讲解不胜其数,这里就不多写了。本文主要写一下多头自注意力机制的操作。我们知道,多头自注意力是要分多个head分别进行自注意力操作,然后将每个head的计算结果conc
- 记录在Mac上安装safetensors时遇到的问题
m0_50277087
pythonmacos
因为要安装huggingface上的Diffusers,所以安装了一系列的东西,前面的Xcode,git安装的都比较顺利,到安装safetensors时出现了问题…问题1:没有安装Rustcompiler解决方法:在终端输入:curl--proto'=https'--tlsv1.2-sSfhttps://sh.rustup.rs|sh出现一大堆码,最后是:Currentinstallationop
- Linux 环境下本地测试stable diffusion v2.1出错
Branton_Zhenyuan
Debuglinuxpython运维
从huggingface上,把stabeldiffusion装到本地linux上面时,遇到三个错误:一、ErrorcaughtWas:Nomodulenamed"triton"直接安装也出错Errorcaughtwas:module'triton.language'hasnoattribute'constexpr'卸载后更新pip再安装也不行解决方法是:pipinstalltriton==2.0.
- huggingface学习|用dreambooth和lora对stable diffusion模型进行微调
丁希希哇
AIGC实践stablediffusion算法人工智能AIGC
目录用dreambooth对stable-diffusion-v1-5模型进行微调(一)模型下载和环境配置(二)数据集准备(三)模型微调(四)运行微调后的模型用lora对stable-diffusion-v1-5模型进行微调(一)模型下载和环境配置(二)数据集准备(三)模型微调(四)运行微调后的模型用dreambooth对stable-diffusion-v1-5模型进行微调(一)模型下载和环境配
- 关于GpuMall平台提供的学术加速服务说明
服务目的:本网络加速服务旨在为学术研究者提供一个更快捷的访问途径,专门针对 GitHub 和 HuggingFace 以及边缘站点的相关学术资源网站,此服务旨在解决用户在访问这些学术资源时可能遇到的网络速度缓慢问题。服务范围:加速服务仅限于上述学术资源网站,不包括其他非学术用途的网站。服务性质:本服务为非商业性质的学术支持工具,不设服务水平协议(SLA),因此我们不承诺服务的稳定性和可靠性。服务终
- Stable Diffusion WebUI 绘画【官方教程】
GpuMall智算云#huggingface大模型配置环境介绍目前平台集成了StableDiffusionWebUI的官方镜像,该镜像中整合如下资源:StableDiffusionWebUI版本:v1.7.0Python版本:3.10.6Pytorch版本:2.0.1CUDA版本:11.8Xformers版本:0.0.20Gradio版本:3.41.2部署目录:/root/stable-diffu
- JAVA基础
灵静志远
位运算加载Date字符串池覆盖
一、类的初始化顺序
1 (静态变量,静态代码块)-->(变量,初始化块)--> 构造器
同一括号里的,根据它们在程序中的顺序来决定。上面所述是同一类中。如果是继承的情况,那就在父类到子类交替初始化。
二、String
1 String a = "abc";
JAVA虚拟机首先在字符串池中查找是否已经存在了值为"abc"的对象,根
- keepalived实现redis主从高可用
bylijinnan
redis
方案说明
两台机器(称为A和B),以统一的VIP对外提供服务
1.正常情况下,A和B都启动,B会把A的数据同步过来(B is slave of A)
2.当A挂了后,VIP漂移到B;B的keepalived 通知redis 执行:slaveof no one,由B提供服务
3.当A起来后,VIP不切换,仍在B上面;而A的keepalived 通知redis 执行slaveof B,开始
- java文件操作大全
0624chenhong
java
最近在博客园看到一篇比较全面的文件操作文章,转过来留着。
http://www.cnblogs.com/zhuocheng/archive/2011/12/12/2285290.html
转自http://blog.sina.com.cn/s/blog_4a9f789a0100ik3p.html
一.获得控制台用户输入的信息
&nbs
- android学习任务
不懂事的小屁孩
工作
任务
完成情况 搞清楚带箭头的pupupwindows和不带的使用 已完成 熟练使用pupupwindows和alertdialog,并搞清楚两者的区别 已完成 熟练使用android的线程handler,并敲示例代码 进行中 了解游戏2048的流程,并完成其代码工作 进行中-差几个actionbar 研究一下android的动画效果,写一个实例 已完成 复习fragem
- zoom.js
换个号韩国红果果
oom
它的基于bootstrap 的
https://raw.github.com/twbs/bootstrap/master/js/transition.js transition.js模块引用顺序
<link rel="stylesheet" href="style/zoom.css">
<script src=&q
- 详解Oracle云操作系统Solaris 11.2
蓝儿唯美
Solaris
当Oracle发布Solaris 11时,它将自己的操作系统称为第一个面向云的操作系统。Oracle在发布Solaris 11.2时继续它以云为中心的基调。但是,这些说法没有告诉我们为什么Solaris是配得上云的。幸好,我们不需要等太久。Solaris11.2有4个重要的技术可以在一个有效的云实现中发挥重要作用:OpenStack、内核域、统一存档(UA)和弹性虚拟交换(EVS)。
- spring学习——springmvc(一)
a-john
springMVC
Spring MVC基于模型-视图-控制器(Model-View-Controller,MVC)实现,能够帮助我们构建像Spring框架那样灵活和松耦合的Web应用程序。
1,跟踪Spring MVC的请求
请求的第一站是Spring的DispatcherServlet。与大多数基于Java的Web框架一样,Spring MVC所有的请求都会通过一个前端控制器Servlet。前
- hdu4342 History repeat itself-------多校联合五
aijuans
数论
水题就不多说什么了。
#include<iostream>#include<cstdlib>#include<stdio.h>#define ll __int64using namespace std;int main(){ int t; ll n; scanf("%d",&t); while(t--)
- EJB和javabean的区别
asia007
beanejb
EJB不是一般的JavaBean,EJB是企业级JavaBean,EJB一共分为3种,实体Bean,消息Bean,会话Bean,书写EJB是需要遵循一定的规范的,具体规范你可以参考相关的资料.另外,要运行EJB,你需要相应的EJB容器,比如Weblogic,Jboss等,而JavaBean不需要,只需要安装Tomcat就可以了
1.EJB用于服务端应用开发, 而JavaBeans
- Struts的action和Result总结
百合不是茶
strutsAction配置Result配置
一:Action的配置详解:
下面是一个Struts中一个空的Struts.xml的配置文件
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE struts PUBLIC
&quo
- 如何带好自已的团队
bijian1013
项目管理团队管理团队
在网上看到博客"
怎么才能让团队成员好好干活"的评论,觉得写的比较好。 原文如下: 我做团队管理有几年了吧,我和你分享一下我认为带好团队的几点:
1.诚信
对团队内成员,无论是技术研究、交流、问题探讨,要尽可能的保持一种诚信的态度,用心去做好,你的团队会感觉得到。 2.努力提
- Java代码混淆工具
sunjing
ProGuard
Open Source Obfuscators
ProGuard
http://java-source.net/open-source/obfuscators/proguardProGuard is a free Java class file shrinker and obfuscator. It can detect and remove unused classes, fields, m
- 【Redis三】基于Redis sentinel的自动failover主从复制
bit1129
redis
在第二篇中使用2.8.17搭建了主从复制,但是它存在Master单点问题,为了解决这个问题,Redis从2.6开始引入sentinel,用于监控和管理Redis的主从复制环境,进行自动failover,即Master挂了后,sentinel自动从从服务器选出一个Master使主从复制集群仍然可以工作,如果Master醒来再次加入集群,只能以从服务器的形式工作。
什么是Sentine
- 使用代理实现Hibernate Dao层自动事务
白糖_
DAOspringAOP框架Hibernate
都说spring利用AOP实现自动事务处理机制非常好,但在只有hibernate这个框架情况下,我们开启session、管理事务就往往很麻烦。
public void save(Object obj){
Session session = this.getSession();
Transaction tran = session.beginTransaction();
try
- maven3实战读书笔记
braveCS
maven3
Maven简介
是什么?
Is a software project management and comprehension tool.项目管理工具
是基于POM概念(工程对象模型)
[设计重复、编码重复、文档重复、构建重复,maven最大化消除了构建的重复]
[与XP:简单、交流与反馈;测试驱动开发、十分钟构建、持续集成、富有信息的工作区]
功能:
- 编程之美-子数组的最大乘积
bylijinnan
编程之美
public class MaxProduct {
/**
* 编程之美 子数组的最大乘积
* 题目: 给定一个长度为N的整数数组,只允许使用乘法,不能用除法,计算任意N-1个数的组合中乘积中最大的一组,并写出算法的时间复杂度。
* 以下程序对应书上两种方法,求得“乘积中最大的一组”的乘积——都是有溢出的可能的。
* 但按题目的意思,是要求得这个子数组,而不
- 读书笔记-2
chengxuyuancsdn
读书笔记
1、反射
2、oracle年-月-日 时-分-秒
3、oracle创建有参、无参函数
4、oracle行转列
5、Struts2拦截器
6、Filter过滤器(web.xml)
1、反射
(1)检查类的结构
在java.lang.reflect包里有3个类Field,Method,Constructor分别用于描述类的域、方法和构造器。
2、oracle年月日时分秒
s
- [求学与房地产]慎重选择IT培训学校
comsci
it
关于培训学校的教学和教师的问题,我们就不讨论了,我主要关心的是这个问题
培训学校的教学楼和宿舍的环境和稳定性问题
我们大家都知道,房子是一个比较昂贵的东西,特别是那种能够当教室的房子...
&nb
- RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系
daizj
oraclermanfilespersetPARALLELISM
RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系 转
PARALLELISM ---
我们还可以通过parallelism参数来指定同时"自动"创建多少个通道:
RMAN > configure device type disk parallelism 3 ;
表示启动三个通道,可以加快备份恢复的速度。
- 简单排序:冒泡排序
dieslrae
冒泡排序
public void bubbleSort(int[] array){
for(int i=1;i<array.length;i++){
for(int k=0;k<array.length-i;k++){
if(array[k] > array[k+1]){
- 初二上学期难记单词三
dcj3sjt126com
sciet
concert 音乐会
tonight 今晚
famous 有名的;著名的
song 歌曲
thousand 千
accident 事故;灾难
careless 粗心的,大意的
break 折断;断裂;破碎
heart 心(脏)
happen 偶尔发生,碰巧
tourist 旅游者;观光者
science (自然)科学
marry 结婚
subject 题目;
- I.安装Memcahce 1. 安装依赖包libevent Memcache需要安装libevent,所以安装前可能需要执行 Shell代码 收藏代码
dcj3sjt126com
redis
wget http://download.redis.io/redis-stable.tar.gz
tar xvzf redis-stable.tar.gz
cd redis-stable
make
前面3步应该没有问题,主要的问题是执行make的时候,出现了异常。
异常一:
make[2]: cc: Command not found
异常原因:没有安装g
- 并发容器
shuizhaosi888
并发容器
通过并发容器来改善同步容器的性能,同步容器将所有对容器状态的访问都串行化,来实现线程安全,这种方式严重降低并发性,当多个线程访问时,吞吐量严重降低。
并发容器ConcurrentHashMap
替代同步基于散列的Map,通过Lock控制。
&nb
- Spring Security(12)——Remember-Me功能
234390216
Spring SecurityRemember Me记住我
Remember-Me功能
目录
1.1 概述
1.2 基于简单加密token的方法
1.3 基于持久化token的方法
1.4 Remember-Me相关接口和实现
- 位运算
焦志广
位运算
一、位运算符C语言提供了六种位运算符:
& 按位与
| 按位或
^ 按位异或
~ 取反
<< 左移
>> 右移
1. 按位与运算 按位与运算符"&"是双目运算符。其功能是参与运算的两数各对应的二进位相与。只有对应的两个二进位均为1时,结果位才为1 ,否则为0。参与运算的数以补码方式出现。
例如:9&am
- nodejs 数据库连接 mongodb mysql
liguangsong
mongodbmysqlnode数据库连接
1.mysql 连接
package.json中dependencies加入
"mysql":"~2.7.0"
执行 npm install
在config 下创建文件 database.js
- java动态编译
olive6615
javaHotSpotjvm动态编译
在HotSpot虚拟机中,有两个技术是至关重要的,即动态编译(Dynamic compilation)和Profiling。
HotSpot是如何动态编译Javad的bytecode呢?Java bytecode是以解释方式被load到虚拟机的。HotSpot里有一个运行监视器,即Profile Monitor,专门监视
- Storm0.9.5的集群部署配置优化
roadrunners
优化storm.yaml
nimbus结点配置(storm.yaml)信息:
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional inf
- 101个MySQL 的调节和优化的提示
tomcat_oracle
mysql
1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中——在内存中访问文件时的速度要比在硬盘中访问时快的多。 2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的,它的速度很慢。 3. 使用电池供电的RAM(注:RAM即随机存储器)。 4. 使用高级的RAID(注:Redundant Arrays of Inexpensive Disks,即磁盘阵列
- zoj 3829 Known Notation(贪心)
阿尔萨斯
ZOJ
题目链接:zoj 3829 Known Notation
题目大意:给定一个不完整的后缀表达式,要求有2种不同操作,用尽量少的操作使得表达式完整。
解题思路:贪心,数字的个数要要保证比∗的个数多1,不够的话优先补在开头是最优的。然后遍历一遍字符串,碰到数字+1,碰到∗-1,保证数字的个数大于等1,如果不够减的话,可以和最后面的一个数字交换位置(用栈维护十分方便),因为添加和交换代价都是1