- ComfyUI AnimateDiff-Lightning 教程
jayli517
ComfyUIAIGC
介绍项目主页:https://huggingface.co/ByteDance/AnimateDiff-Lightning在线测试(有墙):https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning国内镜像:https://hf-mirror.com/ByteDance/AnimateDiff-LightningAnimateDiff
- AI学习笔记:pdf-document-layout-analysis
hillstream3
人工智能学习笔记pdfAI编程nlp
一直在学AI,但没有连续的时间来尝试。现在终于失业了,有大把连续的时间来动手。之前准备了一台I5-1400F+RTX360012G的电脑,现在终于派上用场了。由于一直在从事无线通信相关的工作,所以,拿到一份很长的AI可能与通信在哪些方面,能够结合的pdf文档。所以,打算从这份文档开始入手。第一个找到的项目的是这个:https://huggingface.co/HURIDOCS/pdf-docume
- QLoRa使用教程
云帆@
训练peft人工智能
一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址:https://huggingface.co/docs/peft/main/en/developer_guides/quantization案例11.4bit量化+LoRaimporttorchfromtransformersimportBitsAndBytesConfigconfig=BitsAndBytesConfig(load_
- llama.cpp本地部署大模型
张兆坤的那些事
大模型llama.cpp
llama.cpp是一个C++库,用于简化LLM推理的设置,它使得在本地机器上运行大模型(GGUF格式)成为可能。官网:https://github.com/ggerganov/llama.cpp模型库:https://huggingface.co/HF-Mirror魔搭社区安装并且使用llama.cpp0.安装llama.cpp官方文档:https://github.com/ggerganov/
- Deepspeed 结合huggingface Trainer实现多机分布式训练
ningzhao
分布式
目前工作中只使用了单机多卡做微调训练,为了提升训练效率,特实验多机多卡分布式训练。一、环境准备本试验使用两台机器(manager,worker),操作系统ubuntu22.4,每台机器有4个GPU为了使安装配置统一,使用docker容器,docker的安装这里不做介绍。1.网络配置-创建overlay共享网络初始化集群,在manager机器上运行:dockerswarminit#输出结果:Swar
- 解决Can‘t load tokenizer for ‘bert-base-chinese‘.问题
CSDNhdlg
NLPbert人工智能深度学习自然语言处理
报错提示:OSError:Can'tloadtokenizerfor'bert-base-chinese'.Ifyouweretryingtoloaditfrom'https://huggingface.co/models',makesureyoudon'thavealocaldirectorywiththesamename.Otherwise,makesure'bert-base-chinese
- conda进行transformers安装
大多_C
conda
首先建立新环境condacreate-nmyenvpython=3.8安装numpy和pytorchcondainstallnumpycondainstallpytorchtorchvisiontorchaudiocpuonly-cpytorch-cconda-forge其余的一些环境配置huggingface_hub0.16.4py_0huggingfaceimportlib-metadata6
- 如何快速下载huggingface模型——全方法总结
u013250861
#elasticsearch大数据搜索引擎
原文发布于本人博客:如何快速下载huggingface大模型-padeoe的小站这是博主第一次上知乎发文章,欢迎评论、交流!Update:推荐huggingface镜像站:https://hf-mirror.com。Update:推荐官方的huggingface-cli命令行工具、以及本人开发的
- 【深度学习 transformer】使用pytorch 训练transformer 模型,hugginface 来啦
东华果汁哥
深度学习-文本分类深度学习transformerpytorch
HuggingFace是一个致力于开源自然语言处理(NLP)和机器学习项目的社区。它由几个关键组件组成:Transformers:这是一个基于PyTorch的库,提供了各种预训练的NLP模型,如BERT、GPT、RoBERTa、DistilBERT等。它还提供了一个简单易用的API来加载这些模型,并进行微调以适应特定的下游任务。Datasets:这是一个用于加载和预处理NLP数据集的库,与Tran
- 求教大佬指导,可有偿
七十二@八十一
大数据github开源软件开源科技webviewpython
想问一下有没有大佬在用GitHub和huggingface的我是最近刚接触这两个开源社区非程序员所以完全看不懂上面的代码啥的但是想在上面下载一些comfyui的大模型却不知道在哪里下有没有大佬指导一下给我大概通俗易懂的讲解一下这两个开源社区上面的每个版块的内容(我不白嫖,也可以付费,线上指导,时间大概15-30分钟左右,¥100。只要能给我讲明白就好。)或者有没有什么推荐的课程可以看来学习的呀!!
- Hugging Face教程
小牛笔记
自然语言处理人工智能自然语言处理
HuggingFace教程1.引言在当今数字化时代,自然语言处理(NLP)在各个领域中扮演着重要角色。从文本分类、情感分析到机器翻译和对话系统,NLP技术的应用日益广泛。在NLP领域,HuggingFace是一个备受欢迎的开源工具库,提供了丰富的预训练模型和强大的工具,帮助开发者快速构建和部署NLP应用。2.HuggingFace简介HuggingFace是一个专注于NLP的开源组织,致力于提供易
- windows系统huggingface连接不上的解决方案
herosunly
windowshuggingface连接不上解决方案
大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
- 【HuggingFace Transformers】BertIntermediate 和 BertPooler源码解析
CS_木成河
HuggingFace深度学习人工智能bertpython大模型Transformer
BertIntermediate和BertPooler源码解析1.介绍1.1位置与功能1.2相似点与不同点2.源码解析2.1BertIntermediate源码解析2.2BertPooler源码解析1.介绍1.1位置与功能(1)BertIntermediate位置:位于BertLayer的注意力层(BertSelfAttention)和输出层(BertOutput)之间。功能:它执行一个线性变换(
- 在浏览器上使用transformers.js运行(WebGPU)RMBG-1.4进行抠图(背景移除)
shizidushu
WebGPUtransformers.jsRMBG-1.4抠图
在浏览器上使用transformers.js运行(WebGPU)RMBG-1.4进行抠图(背景移除)说明:首次发表日期:2024-08-28官方Github仓库地址:https://github.com/xenova/transformers.js/tree/main/examples/remove-background-client准备下载onnx模型文件:https://huggingface
- Firefly多轮对话微调书生·浦语InternLM-7B实践
u013250861
#LLM/预训练&SFT人工智能chatgpt
本篇文章主要介绍使用Firefly项目对书生·浦语InternLM-7B进行微调的工作。Firefly项目链接:https://github.com/yangjianxin1/Fireflyfirefly-internlm-7b模型权重:https://huggingface.co/YeungNLP/firefly-internlm-7b01书生·浦语InternLMInternLM,即书生·浦语
- 大模型训练优化方法
少喝冰美式
人工智能大语言模型ai大模型大模型应用LLM大模型训练计算机技术
写在前面在训练模型尤其是大模型的时候,如何加快训练速度以及优化显存利用率是一个很关键的问题。本文主要参考HF上的一篇文章:https://huggingface.co/docs/transformers/perf_train_gpu_one,以及笔者在实际训练中的一些经验,给出一些比较实用的方法。先看一个总览的表:方法加快训练速度优化显存利用率BatchsizechoiceYesYesGradie
- HuggingFace - linux环境 修改下载默认缓存路径
如果曾经拥有
LLMlinux缓存人工智能
原文:不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_使用huggingface下载bert保存在哪里怎么看-CSDN博客Howtochangehuggingfacetransformersdefaultcachedirectory-StackOverflowlinux系统解决huggingface下载缓存不够的问题_清理huggingface缓存-CSDN博客本人两种方法均尝试
- [论文笔记] LLM数据集——LongData-Corpus
心心喵
论文笔记服务器ubuntulinux
https://huggingface.co/datasets/yuyijiong/LongData-Corpus1、hf的数据在开发机上要设置sshkey,然后cat复制之后在设置在hf上2、中文小说数据在云盘上清华大学云盘下载:#!/bin/bash#BaseURLbase_url="https://cloud.tsinghua.edu.cn/d/0670fcb14d294c97b5cf/fi
- 论文:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Ian_Wonder
论文阅读
论文:Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode:https://github.com/huggingface/transformers/blob/master/model_cards/facebook/rag-toke
- 国内如何下载huggingface模型、数据集
Wanderer X
配置深度学习
镜像网站1:https://hf-mirror.com/镜像网站2:https://aliendao.cn/#/可以直接使用wget下载镜像1也可以在终端直接exportHF_ENDPOINT=https://hf-mirror.comhuggingface-clidownload--resume-download--local-dir-use-symlinksFalsebigscience/bl
- 可商用、性能超强!新开源Mamba架构纯代码模型
RPA中国
人工智能
7月17日,法国著名开源大模型平台Mistral.ai在官网开源了,基于Mamba架构的纯代码模型——CodestralMamba。根据测试数据显示,CodestralMamba只有70亿参数,但性能却是Meta开源的知名代码模型CodeLlam7B的两倍,成为同类最强代码模型之一。开源地址:https://huggingface.co/mistralai/mamba-codestral-7B-v
- 当前主流的 ChatGPT 工具有哪些?
圣逸
人工智能专栏chatgpt
目录1.OpenAIChatGPT概述特色应用场景优缺点2.MicrosoftAzureOpenAIService概述特色应用场景优缺点3.GoogleBard概述特色应用场景优缺点4.ChatGPTbyAnthropic概述特色应用场景优缺点5.其他值得关注的工具5.1.HuggingFace5.2.FacebookAIResearch(FAIR)5.3.自然语言处理科研界的其他项目总结随着人工
- Unable to load weights from pytorch checkpoint file for ‘bert-base-uncased‘ at ...
Ray Mond
Pytorch深度学习pytorch
OSError:Unabletoloadweightsfrompytorchcheckpointfilefor‘bert-base-uncased’at…方案一使用huggingface的bert时遇到预训练模型加载失败的问题,具体终端报错为:OSError:Unabletoloadweightsfrompytorchcheckpointfilefor'bert-base-uncased'at..
- 安装BLIP2模型时报错:Can‘t load tokenizer for ‘bert-base-uncased‘. If you were trying to load it from ‘h ...
David_jiahuan
人工智能深度学习
报错的信息如下所示:OSError:Can'tloadtokenizerfor'bert-base-uncased'.Ifyouweretryingtoloaditfrom'https://huggingface.co/models',makesureyoudon'thavealocaldirectorywiththesamename.Otherwise,makesure'bert-base-un
- AIGC:Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis
微风❤水墨
AIGC
代码:GitHub-Kwai-Kolors/Kolors:KolorsTeam论文:Kolors/imgs/Kolors_paper.pdfatmaster·Kwai-Kolors/Kolors·GitHub模型:huaggingface:https://huggingface.co/Kwai-Kolors/Kolors-diffusersmodelscope:https://modelscope
- 利用命令行从youtube下载影片,并用huggingface的大语言模型翻译成中文
SteveMiller
语言模型人工智能自然语言处理
今天,从网络流媒体上下载字幕,并把它翻译成各种语言是一个非常常规的操作。我创建了一个工作流程。可以根着这个工作流程,从网上先下载影片,然后转出字幕,最后再做翻译。https://github.com/victorspaceRMW/download-Youtube-with-yt-dlp-and-translate-with-HuggingFace-s-whisper-model/tree/main
- chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat
FL1623863129
环境配置深度学习
用python部署chatglm2时候报错:FileNotFoundError:Couldnotfindmodule'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\chatglm2-6b-int4\quantization_kernels_parallel.so'(oroneofitsdependenc
- beam search原理与常见实现,与直接sample的区别
samoyan
LLM面试transformer面试
目录BeamSearch原理1.基本概念2.工作流程3.特点BeamSearch与直接Sample的区别1.确定性与随机性2.结果多样性3.性能与效率4.应用场景常见的BeamSearch实现1.TensorFlow库2.PyTorch库3.HuggingFace的Transformers库算法库和工具BeamSearch原理1.基本概念BeamSearch是一种启发式图搜索算法,常用于自然语言处
- Made In Heaven,LLM要加速了
DisonTangor
人工智能transformer
借鉴了荒木老师笔下的普奇神父的台词玩LLM的多数用的是Huggingface框架,而它本身提供的是accelerate库来提升模型的训练推理速度。这些都离不开Nvidia的Cuda计算,而目前适配这一驱动的只有Windows和Linux。于是我就尝试在这两个系统上进行加速实验,尝试HuggingfaceDoc中推荐的FlashAttention2以及vLLM的PageAttention。原理参考L
- 大模型训练——PEFT与LORA介绍
MarkHD
人工智能深度学习机器学习
大模型训练中的PEFT(Parameter-EfficientFine-Tuning)与LoRA(Low-RankAdaptation)是两种重要的技术,它们在大型预训练模型的应用中发挥着重要作用。首先,让我们来了解一下PEFT。PEFT是一种参数高效的微调技术,由Huggingface发布。这种方法的核心思想是仅微调少量(额外)模型参数,同时冻结预训练LLM的大部分参数。这样做的好处是大大降低了
- Algorithm
香水浓
javaAlgorithm
冒泡排序
public static void sort(Integer[] param) {
for (int i = param.length - 1; i > 0; i--) {
for (int j = 0; j < i; j++) {
int current = param[j];
int next = param[j + 1];
- mongoDB 复杂查询表达式
开窍的石头
mongodb
1:count
Pg: db.user.find().count();
统计多少条数据
2:不等于$ne
Pg: db.user.find({_id:{$ne:3}},{name:1,sex:1,_id:0});
查询id不等于3的数据。
3:大于$gt $gte(大于等于)
&n
- Jboss Java heap space异常解决方法, jboss OutOfMemoryError : PermGen space
0624chenhong
jvmjboss
转自
http://blog.csdn.net/zou274/article/details/5552630
解决办法:
window->preferences->java->installed jres->edit jre
把default vm arguments 的参数设为-Xms64m -Xmx512m
----------------
- 文件上传 下载 解析 相对路径
不懂事的小屁孩
文件上传
有点坑吧,弄这么一个简单的东西弄了一天多,身边还有大神指导着,网上各种百度着。
下面总结一下遇到的问题:
文件上传,在页面上传的时候,不要想着去操作绝对路径,浏览器会对客户端的信息进行保护,避免用户信息收到攻击。
在上传图片,或者文件时,使用form表单来操作。
前台通过form表单传输一个流到后台,而不是ajax传递参数到后台,代码如下:
<form action=&
- 怎么实现qq空间批量点赞
换个号韩国红果果
qq
纯粹为了好玩!!
逻辑很简单
1 打开浏览器console;输入以下代码。
先上添加赞的代码
var tools={};
//添加所有赞
function init(){
document.body.scrollTop=10000;
setTimeout(function(){document.body.scrollTop=0;},2000);//加
- 判断是否为中文
灵静志远
中文
方法一:
public class Zhidao {
public static void main(String args[]) {
String s = "sdf灭礌 kjl d{';\fdsjlk是";
int n=0;
for(int i=0; i<s.length(); i++) {
n = (int)s.charAt(i);
if((
- 一个电话面试后总结
a-john
面试
今天,接了一个电话面试,对于还是初学者的我来说,紧张了半天。
面试的问题分了层次,对于一类问题,由简到难。自己觉得回答不好的地方作了一下总结:
在谈到集合类的时候,举几个常用的集合类,想都没想,直接说了list,map。
然后对list和map分别举几个类型:
list方面:ArrayList,LinkedList。在谈到他们的区别时,愣住了
- MSSQL中Escape转义的使用
aijuans
MSSQL
IF OBJECT_ID('tempdb..#ABC') is not null
drop table tempdb..#ABC
create table #ABC
(
PATHNAME NVARCHAR(50)
)
insert into #ABC
SELECT N'/ABCDEFGHI'
UNION ALL SELECT N'/ABCDGAFGASASSDFA'
UNION ALL
- 一个简单的存储过程
asialee
mysql存储过程构造数据批量插入
今天要批量的生成一批测试数据,其中中间有部分数据是变化的,本来想写个程序来生成的,后来想到存储过程就可以搞定,所以随手写了一个,记录在此:
DELIMITER $$
DROP PROCEDURE IF EXISTS inse
- annot convert from HomeFragment_1 to Fragment
百合不是茶
android导包错误
创建了几个类继承Fragment, 需要将创建的类存储在ArrayList<Fragment>中; 出现不能将new 出来的对象放到队列中,原因很简单;
创建类时引入包是:import android.app.Fragment;
创建队列和对象时使用的包是:import android.support.v4.ap
- Weblogic10两种修改端口的方法
bijian1013
weblogic端口号配置管理config.xml
一.进入控制台进行修改 1.进入控制台: http://127.0.0.1:7001/console 2.展开左边树菜单 域结构->环境->服务器-->点击AdminServer(管理) &
- mysql 操作指令
征客丶
mysql
一、连接mysql
进入 mysql 的安装目录;
$ bin/mysql -p [host IP 如果是登录本地的mysql 可以不写 -p 直接 -u] -u [userName] -p
输入密码,回车,接连;
二、权限操作[如果你很了解mysql数据库后,你可以直接去修改系统表,然后用 mysql> flush privileges; 指令让权限生效]
1、赋权
mys
- 【Hive一】Hive入门
bit1129
hive
Hive安装与配置
Hive的运行需要依赖于Hadoop,因此需要首先安装Hadoop2.5.2,并且Hive的启动前需要首先启动Hadoop。
Hive安装和配置的步骤
1. 从如下地址下载Hive0.14.0
http://mirror.bit.edu.cn/apache/hive/
2.解压hive,在系统变
- ajax 三种提交请求的方法
BlueSkator
Ajaxjqery
1、ajax 提交请求
$.ajax({
type:"post",
url : "${ctx}/front/Hotel/getAllHotelByAjax.do",
dataType : "json",
success : function(result) {
try {
for(v
- mongodb开发环境下的搭建入门
braveCS
运维
linux下安装mongodb
1)官网下载mongodb-linux-x86_64-rhel62-3.0.4.gz
2)linux 解压
gzip -d mongodb-linux-x86_64-rhel62-3.0.4.gz;
mv mongodb-linux-x86_64-rhel62-3.0.4 mongodb-linux-x86_64-rhel62-
- 编程之美-最短摘要的生成
bylijinnan
java数据结构算法编程之美
import java.util.HashMap;
import java.util.Map;
import java.util.Map.Entry;
public class ShortestAbstract {
/**
* 编程之美 最短摘要的生成
* 扫描过程始终保持一个[pBegin,pEnd]的range,初始化确保[pBegin,pEnd]的ran
- json数据解析及typeof
chengxuyuancsdn
jstypeofjson解析
// json格式
var people='{"authors": [{"firstName": "AAA","lastName": "BBB"},'
+' {"firstName": "CCC&
- 流程系统设计的层次和目标
comsci
设计模式数据结构sql框架脚本
流程系统设计的层次和目标
 
- RMAN List和report 命令
daizj
oraclelistreportrman
LIST 命令
使用RMAN LIST 命令显示有关资料档案库中记录的备份集、代理副本和映像副本的
信息。使用此命令可列出:
• RMAN 资料档案库中状态不是AVAILABLE 的备份和副本
• 可用的且可以用于还原操作的数据文件备份和副本
• 备份集和副本,其中包含指定数据文件列表或指定表空间的备份
• 包含指定名称或范围的所有归档日志备份的备份集和副本
• 由标记、完成时间、可
- 二叉树:红黑树
dieslrae
二叉树
红黑树是一种自平衡的二叉树,它的查找,插入,删除操作时间复杂度皆为O(logN),不会出现普通二叉搜索树在最差情况时时间复杂度会变为O(N)的问题.
红黑树必须遵循红黑规则,规则如下
1、每个节点不是红就是黑。 2、根总是黑的 &
- C语言homework3,7个小题目的代码
dcj3sjt126com
c
1、打印100以内的所有奇数。
# include <stdio.h>
int main(void)
{
int i;
for (i=1; i<=100; i++)
{
if (i%2 != 0)
printf("%d ", i);
}
return 0;
}
2、从键盘上输入10个整数,
- 自定义按钮, 图片在上, 文字在下, 居中显示
dcj3sjt126com
自定义
#import <UIKit/UIKit.h>
@interface MyButton : UIButton
-(void)setFrame:(CGRect)frame ImageName:(NSString*)imageName Target:(id)target Action:(SEL)action Title:(NSString*)title Font:(CGFloa
- MySQL查询语句练习题,测试足够用了
flyvszhb
sqlmysql
http://blog.sina.com.cn/s/blog_767d65530101861c.html
1.创建student和score表
CREATE TABLE student (
id INT(10) NOT NULL UNIQUE PRIMARY KEY ,
name VARCHAR
- 转:MyBatis Generator 详解
happyqing
mybatis
MyBatis Generator 详解
http://blog.csdn.net/isea533/article/details/42102297
MyBatis Generator详解
http://git.oschina.net/free/Mybatis_Utils/blob/master/MybatisGeneator/MybatisGeneator.
- 让程序员少走弯路的14个忠告
jingjing0907
工作计划学习
无论是谁,在刚进入某个领域之时,有再大的雄心壮志也敌不过眼前的迷茫:不知道应该怎么做,不知道应该做什么。下面是一名软件开发人员所学到的经验,希望能对大家有所帮助
1.不要害怕在工作中学习。
只要有电脑,就可以通过电子阅读器阅读报纸和大多数书籍。如果你只是做好自己的本职工作以及分配的任务,那是学不到很多东西的。如果你盲目地要求更多的工作,也是不可能提升自己的。放
- nginx和NetScaler区别
流浪鱼
nginx
NetScaler是一个完整的包含操作系统和应用交付功能的产品,Nginx并不包含操作系统,在处理连接方面,需要依赖于操作系统,所以在并发连接数方面和防DoS攻击方面,Nginx不具备优势。
2.易用性方面差别也比较大。Nginx对管理员的水平要求比较高,参数比较多,不确定性给运营带来隐患。在NetScaler常见的配置如健康检查,HA等,在Nginx上的配置的实现相对复杂。
3.策略灵活度方
- 第11章 动画效果(下)
onestopweb
动画
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
- FAQ - SAP BW BO roadmap
blueoxygen
BOBW
http://www.sdn.sap.com/irj/boc/business-objects-for-sap-faq
Besides, I care that how to integrate tightly.
By the way, for BW consultants, please just focus on Query Designer which i
- 关于java堆内存溢出的几种情况
tomcat_oracle
javajvmjdkthread
【情况一】:
java.lang.OutOfMemoryError: Java heap space:这种是java堆内存不够,一个原因是真不够,另一个原因是程序中有死循环; 如果是java堆内存不够的话,可以通过调整JVM下面的配置来解决: <jvm-arg>-Xms3062m</jvm-arg> <jvm-arg>-Xmx
- Manifest.permission_group权限组
阿尔萨斯
Permission
结构
继承关系
public static final class Manifest.permission_group extends Object
java.lang.Object
android. Manifest.permission_group 常量
ACCOUNTS 直接通过统计管理器访问管理的统计
COST_MONEY可以用来让用户花钱但不需要通过与他们直接牵涉的权限
D