E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Fine
MoE模型性能还能更上一层楼?一次QLoRA微调实践
Fine
-TuningMixtral8x7BwithQLoRA:EnhancingModelPerformance编者按:最近,混合专家(MixtureofExperts,MoE)这种模型设计策略展现出了卓越的语言理解能力
Baihai IDP
·
2024-01-11 18:15
技术干货
白海科技
人工智能
深度学习
LLM
AI
MoE
自然语言处理
RAG:让大语言模型拥有特定的专属知识
本文就来介绍一下RAG的技术原理,并和
Fine
-tuning(微调)进行对比,同
博文视点
·
2024-01-11 15:52
语言模型
人工智能
机器学习
Instruct GPT:training language models to follow instructions with human feedback
贡献本文提出构建人类反馈的数据集,使用监督学习去
Fine
-tuneGPT模型,这样能使得模型往大家希望的方向行进(模型输出与人类意图Alignment)。
Fine
-tune后,仅使用
WindyChanChan
·
2024-01-11 06:32
论文
gpt
语言模型
人工智能
Training language models to follow instructions with human feedback
文章使用
fine
-tuningwithhumanfeedback方法将语言模型与用户意图在一系列对齐。首先收集标注者对于理想模型行为的演示用于微调GPT-3(监督学习),然后收集对于模型输出
qq_43901463
·
2024-01-11 06:27
语言模型
人工智能
自然语言处理
Flutter应用中安卓和IOS的一些权限配置
以下是一些常用的权限:安卓设备常用权限android.permission.CAMERA:使用设备的摄像头android.permission.ACCESS_
FINE
_LOCATION或android.permission.ACCESS_COARSE_LOCATION
且随疾风前行.
·
2024-01-11 06:41
Flutter
flutter
android
ios
Linux服务器安装FineBI分析工具
或者在Linux命令行下,使用:wgethttps://
fine
-build.oss-cn-shanghai.aliyuncs.com/finebi/5.1.3/stable/exe/spider/linux_unix_FineBI5
TURING.DT
·
2024-01-10 13:38
BI
linux
服务器
运维
知识任务的解决方案-RAG
该系统包括两部分:RAG和
fine
-tune一、RAG大致思想就是给定一个问题/任务,先检索到数据源中最相关的文档,再用这些文档来生成回答。优点:1.为LLM提供动态实时的信息。
灵海之森
·
2024-01-10 09:35
LLM
搜索引擎
论文阅读
LLM调研笔记
这里写目录标题LLM调研1.外挂知识库2.微调数据prompting和
fine
-tuning的对比3.NLP的发展4.大语言模型的涌现能力5.大模型的几个关键技术6.数据预处理7.主流架构8.模型训练9
国家一级假勤奋大学生
·
2024-01-10 07:24
LLM
大模型
LLM
调研笔记
【设备树添加节点】
节点结束位置都需要加分号of_iomap完成映射of_property_read_u32_arrayof_property_read_stringof_
fine
_node_by_pathfind.
laughing_heart
·
2024-01-09 08:03
linux
【书生·浦语大模型实战营03】《基于 InternLM 和 LangChain 搭建你的知识库》学习笔记
RetrievalAugmentedGeneration,检索增强生成1.大模型开发范式1.1RAGVSFinetuneRAGFinetune低成本可个性化微调可实时更新知识覆盖面广受基座模型影响大成本高昂单次回答知识有限无法实时更新1.1.2
Fine
songyuc
·
2024-01-09 05:16
langchain
学习
笔记
出门做梦
走在路上耳机音量开的比较大像是整个天空都在唱这首歌也像自己是个音响哪里都是舞台我走的很慢以求平稳和轻松走的慢加上耳机才会有我所说的感觉歌曲的力量让人忽略掉旁人和雾霾正好放的都是
fine
乐团的歌力量的强大让我忽略掉自己此刻最轻松回到宿舍摘掉耳机世界还是世界我刚刚出门做了个梦
很旧了
·
2024-01-08 17:39
蜀南历险记1——想不想知道我为什么会变成现在的样子,给你讲个我瞎编的故事
--
Fine
,thankyou,andyou?更加不堪的是,听说人家正经老外平时问好根本不这么说。这鸟语学
张乙
·
2024-01-07 19:05
RAG实战案例:如何基于 LangChain 实现智能检索生成系统
微调(
Fine
-tuning)与检索增强生成(Retrieval-AugmentedGeneration,简称RAG)两种方法各有千秋,且都对此问题有着不可忽视的贡献。
技术狂潮AI
·
2024-01-07 12:38
AI应用实战
大模型企业实战
LLM应用实战
增强检索生成(RAG)
AI实战
LangChain
人工智能
论文解读:P-Tuning v2: Prompt Tuning Can BeComparable to
Fine
-tuning Universally Across Scales and Tasks
1介绍提示调优只使用冻结的语言模型来调优连续的提示,这大大减少了每次任务的存储和训练时的内存使用。然而,在NLU的背景下,先前的工作表明,对于正常大小的预训练模型,即时调优并不能很好地执行。还发现,现有的提示调优方法无法处理硬序列标记任务,这表明缺乏通用性。论文提出了一个新的经验发现,即适当优化的prompttuning可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配,同时只有0.
智慧医疗探索者
·
2024-01-07 10:35
深度学习模型
prompt
深度学习
人工智能
p-tuning
居家第四天
本想休假最后变成了居家办公,仅靠一部手机上班,
fine
。和大家说了不去上班,大家羡慕我,我羡慕大家。城里的人想出去,城外的人想进来。明天叔就解放了,不知道我们可不可以解封。
一夏知春秋
·
2024-01-06 23:25
【AI】一文读懂大模型套壳——神仙打架?软饭硬吃?
目录一、套壳的风波此起彼伏二、到底什么是大模型的壳2.1大模型的3部分,壳指的是哪里大模型的内核预训练(Pre-training)调优(
Fine
-tuning)2.2内核的发展历程和万流归宗2.3套壳不是借壳三
giszz
·
2024-01-06 04:47
人工智能
随笔
人工智能
对Stable Diffusion做
fine
-tune时遇见的bug
由于我的显卡比较垃圾(3050),加载模型时都用的torch.dtype=float16后来用下列方式保存模型:pipeline=StableDiffusionPipeline(text_encoder=text_encoder,vae=vae,unet=unet,tokenizer=tokenizer,scheduler=PNDMScheduler(beta_start=0.00085,beta
幼稚的云锣
·
2024-01-05 21:03
stable
diffusion
bug
自然语言转SQL,一个微调ChatGPT3.5的实例(下)--模型微调及模型性能
os.getenv("OPENAI_API_KEY")print(openai.File.create(file=open("spider-finetuning.jsonl","rb"),purpose='
fine
-tun
数大招疯
·
2024-01-05 08:01
人工智能
深度学习
在Ubuntu22.04上部署Stable Diffusion
在AI绘画软件领域Stable-Diffusion(简称SD)在开源领域绝对是不二之选,他的插件方式可以让此软件具有更多的功能,开发者社群为此提供了大量免费高质量的外接预训练模型(
fine
-tune)和插件
BBM的开源HUB
·
2024-01-05 01:20
stable
diffusion
BERT(Bidirectional Encoder Representations from Transformers)理解
因此,预训练的BERT表示可以通过一个额外的输出层进行微调(
fine
-tuning),适用于广泛任务的最先进模型的构建,比如问答任务和语言推理,无需针对具体任务做大幅架构修改。
weixin_30425949
·
2024-01-04 13:59
人工智能
大数据
#开始记日记#540 模子菜是咋回事,古城老院的
fine
dining
昨天日记里说了一个小青菜拌百叶,我是这样写的:喜欢这个爽口有味有嚼头的小青菜拌百叶。这个在上海叫模子菜,当年一些混社会的人到乍浦路、黄河路宵夜,经常会让厨师做一些自己配搭出的菜,慢慢这些菜流行起来,上了一些餐厅的菜单。上海把这种混社会的人叫做模子,他们编创的菜也就被叫做模子菜了。图片发自App在朋友圈里引起了很多上海本地朋友的评论。仔细看过后,大致清楚了所谓模子菜的意思以及来龙去脉。方言有些时候只
董克平日记
·
2024-01-04 12:42
大语言模型LLM微调技术:P-Tuning
1引言Bert时代,我们常做预训练模型微调(
Fine
-tuning),即根据不同下游任务,引入各种辅助任务loss和垂直领域数据,将其添加到预训练模型中,以便让模型更加适配下游任务的方式。
智慧医疗探索者
·
2024-01-04 07:28
深度学习模型
语言模型
人工智能
自然语言处理
五年级Lesson 14 Jenny Writes a Postcard反思
2.能听懂、会说、认读并书写下列词汇:write,mum,dad,dear,
fine
,left,right3.能认读、理解并运用下列基本句型结构:Wheredoyouwriteonapostcard?
远方那朵格桑花
·
2024-01-04 07:47
AI智能助手peropure·AI正式上线,打造场景化智慧服务空间
面对技术浪潮,清越科技(PeroPure)立足多样化生活场景、精准把握用户实际需求,持续精确
Fine
-tune技术能力,创新AI应用方式,于今年7月正式推出智能服务式AI产品——peropure·
仙剑魔尊重楼
·
2024-01-04 04:52
peropure·AI
热门软件
人工智能
chatgpt
peropure·AI
peropure
BERT -Bidirectional Encoder Representation from Transformers[2018GoogleLab]
整体介绍Bert主要工作分为pre-traing(预训练)与
fine
-tuning(微调),核心工作是预训练,微调是根据down-streamtask(下游任务)进行修改即可预训练的输入:unlabelledsentencepair
思考实践
·
2024-01-03 15:26
#
NLP与推荐系统
Bert
论文笔记BERT: Bidirectional Encoder Representations from Transformers
BERT:BidirectionalEncoderRepresentationsfromTransformers.应用预训练模型于下游任务有两种策略,分别是feature-based和
fine
-tuning
AI强仔
·
2024-01-03 15:26
NLP
人工智能
大语言模型LLM微调技术:Prompt Tuning
预训练语言模型的发展历程截止23年3月底,语言模型发展走过了三个阶段:第一阶段:设计一系列的自监督训练目标(MLM、NSP等),设计新颖的模型架构(Transformer),遵循Pre-training和
Fine
-tuning
智慧医疗探索者
·
2024-01-03 08:57
深度学习模型
prompt
大语言模型
微调
记录很久没有的工作到深夜
但是通宵写ppt这个已经很久没有感受过了,可能偶尔是会突然大脑短路了,心脏也有点钝钝的,但是
Fine
,一切都还不错。图片发自App希望明天超越妹妹保佑,逆天改命!心想事成!一切顺利!
Louiefff
·
2024-01-03 04:55
大语言模型(LLM)框架及微调 (
Fine
Tuning)
大语言模型(LLM)是指由大规模训练语言模型所得的模型。这些模型通常使用深度学习方法,在巨大的文本语料库上进行训练,以学习语言的各种结构、规则和特征。LLM在自然语言处理(NLP)任务中表现出色,如机器翻译、文本生成、问题回答等。LLM框架由两个主要步骤组成:预训练和微调。在预训练阶段,模型通过对大规模语料库进行无监督学习来学习语言。这个过程通常使用Transformer模型结构,在大规模计算资源
m0_黎明
·
2024-01-03 01:06
语言模型
人工智能
自然语言处理
day4--GPT/GPT2.0
GPTGPT训练的两个阶段:GPT的架构图:自注意力机制:GPT-2GPT-2的架构图:GPTGPT训练的两个阶段:第一个阶段是Pre-training阶段,主要利用大型语料库完成非监督学习;第二阶段是
Fine
-tuning
呆呆有库
·
2024-01-02 14:13
深度学习
transformer
神经网络
嵌入式视频播放器(mplayer)
1.文件准备:MPlayer-1.0rc2.tar.bz2libmad-0.15.1b.tar.gz直接Git到本地gitclonehttps://gitee.com/zxz_
FINE
/mplayer_tarball.git2
想和我重名?
·
2024-01-02 08:06
嵌入式驱动
音视频
linux
运维
BERT: Pre-training of Deep Bidirectional Transformers for Language Understading
通过这种方式预训练的表示只需要一个额外的输出层来
fine
-tune一下就可以在众多任务上实现SOTA。BERT一共在7个自然语言处理任务上获得SOTA结果,并且将GLU
chansonzhang
·
2023-12-31 07:28
NLP
Papers
NLP
AI
人工智能
神经网络
算法
深度学习
BERT
Language Models as Knowledge Bases?
语言模型相比于结构化的知识库具有很多优势,比如不需要schemaengineering支持对于开放关系类别的查询容易扩展到更多数据训练时不需要humansupervision我们对各种预训练语言模型中已有的(没有
fine
-tuning
chansonzhang
·
2023-12-31 07:28
NLP
Papers
NLP
AI
语言模型
自然语言处理
人工智能
Fine
-Tuning Language Models from Human Preferences
Abstract奖励学习(rewardlearning)可以将强化学习(RL)应用到由人类判断定义奖励的任务中,通过询问人类问题来构建奖励模型。奖励学习的大部分工作使用了模拟环境,但是关于价值的复杂信息经常是以自然语言的形式表达的。我们相信语言奖励学习是使强化学习在现实世界任务中实用且安全的关键。在本文中,我们基于语言模型生成式预训练方面的进展,将奖励学习应用于四种自然语言任务:continuin
chansonzhang
·
2023-12-31 07:54
NLP
Papers
NLP
AI
语言模型
人工智能
自然语言处理
大语言模型(LLM)框架及微调 (
Fine
Tuning)
大语言模型(LLM)技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。LLM是利用深度学习和大数据训练的人工智能系统,专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法,从而能够执行各种语言相关任务。LLM技术也发挥了关键作用。此外,它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。LLM技术应用类型分别为大模型、AI编程、工具和平台、基础设施
ejinxian
·
2023-12-31 06:20
语言模型
人工智能
自然语言处理
【 FILIP】一种大规模细粒度交互式语言图像预训练方法
FILIPPaper:
Fine
-grainedInteractiveLanguage-ImagePretrainAuthor:LeweiYao,RunhuiHuang,LuHou1,GuansongLu
菜鸡不叫
·
2023-12-31 04:03
多模态
人工智能
深度学习
迁移学习
神经网络
Android BLE扫描不到设备
AndroidBLE相关功能开发问题描述AndroidBLE存在扫描不到设备的情况原因分析:1.Android6.0及以上版本BLE扫描需要配置定位权限(ACCESS_COARSE_LOCATION和ACCESS_
FINE
_LOCATION
潇潇独行侠
·
2023-12-30 12:53
Android
问题
android
工具系列:TimeGPT_(5)特定领域微调模型
Fine
-tuning(微调)是一种更有效地利用TimeGPT的强大过程。基础模型在大量数据上进行预训练,捕捉广泛的特征和模式。然后可以将这些模型专门用于特定的上下文或领域。
愤斗的橘子
·
2023-12-30 03:40
#
TimeGPT
transformer
深度学习
【图像拼接】论文精读:Coarse-to-
fine
Seam Estimation for Image Stitching
第一次来请先看这篇文章:【图像拼接(ImageStitching)】关于【图像拼接论文精读】专栏的相关说明,包含专栏使用说明、创新思路分享等(不定期更新)图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag
十小大
·
2023-12-29 09:47
图像拼接论文精读
计算机视觉
图像拼接
image
stitching
Image
Stitching
图像处理
Fine
BI-区域销售分析
一、数据准备:本篇文章数据来源:FineBI官方数据1.数据表:销售明细表、品牌维度表、门店维度表、品类维度表2.创建关联关系:关联关系视图3.最终数据结构:二、区域销售从以下几方面分析:1.总销售额、毛利额和毛利率;2.各大区销售占比情况;3.各小区销售排名情况;4.各大区、小区门店分布情况;5.各小区各品类销售情况;6.各小区各品牌销售情况;7.各小区月销售趋势;8.华北区7月与6月各品牌销售
AoEliauk
·
2023-12-28 20:31
You're Going to Be
Fine
(ACT I) 1
Molly,Ineedyourspecialtalentforhandingspecialmatters.Likewhatspecialmatters?Well,Ihaveascheduling(日程)problem.Yes?Ihavethreetonsillectomies(扁桃体切除术)setforFridaywithDr.Earl.Yes?Ineedtofitafourthoperation
LuminaryWL
·
2023-12-28 18:01
【翻译】Ian回复V神的7个问题
本文原文链接为https://steemit.com/eos/@iang/another-
fine
-mess-you-ve-got-us-into,由本号“EOS技术爱好者”翻译。"
Lochaiching
·
2023-12-28 17:01
【Kimi帮我看论文(二)】Parameter-Efficient
Fine
-Tuning Methods for Pretrained Language Models—Survey
一、论文信息1标题Parameter-EfficientFine-TuningMethodsforPretrainedLanguageModels:ACriticalReviewandAssessment2作者LinglingXu,HaoranXie,Si-ZhaoJoeQin,XiaohuiTao,FuLeeWang3研究机构HongKongMetropolitanUniversity,Hong
ZedKingCarry
·
2023-12-28 00:45
大语言模型
阅读笔记
高效微调
笔记
人工智能
语言模型
Huggingface T5模型代码笔记
0前言本博客主要记录如何使用T5模型在自己的Seq2seq模型上进行
Fine
-tune。1文档介绍本文档介绍来源于Huggingface官方文档,参考T5。
Q同学的nlp笔记
·
2023-12-27 19:14
Text-to-sql
人工智能
nlp
深度学习
自然语言处理
使用 PAI-Blade 加速 StableDiffusion
Fine
-Tuning
01背景StableDiffusion模型自从发布以来在互联网上发展迅猛,它可以根据用户输入的文本描述信息生成相关图片,用户也可以提供自己喜爱的风格的照片,来对模型进行微调。例如当我们输入"Aphotoofsksdoginabucket",StableDiffusion模型会生成类似下面的图片:02PAI-Blade加速PyTorch训练PAI-Blade使用编译优化技术提高PyTorch程序的执
阿里云大数据AI技术
·
2023-12-27 00:49
人工智能
2018-08-10
5.
Fine
,thankyou/thanks.我很好,谢谢。6.Notbad,thankyou.不错,谢谢。7.Howdoyoudo?你好。8.Nicetom
入夏孤桐
·
2023-12-26 22:15
《Learning
Fine
-grained Features via a CNN Tree for Large-scale Classification》阅读笔记
论文标题《LearningFine-grainedFeaturesviaaCNNTreeforLarge-scaleClassification》通过CNN树学习细粒度特征,实现大规模分类作者ZhenhuaWang,XingxingWang,GangWang以色列耶路撒冷希伯来大学计算机科学与工程学院新加坡南洋理工大学电气与电子工程学院阿里巴巴人工智能实验室,杭州,中国初读摘要我们提出了一种增强卷
AncilunKiang
·
2023-12-26 09:09
论文阅读笔记
论文阅读
论文笔记
CNN树
细粒度识别
You're Going to Be
Fine
(ACT I) 2
Well,Mrs.Herrera,Carlwillbeperfectlyfineafterweremovehistonsils.Thankyouforyourreassurance,Dr.Stewart.He'shadsomanycoldsandsorethroatsrecently.Well,it'saveryeasyoperstion,Carl.Youwon'tfeelathing.Butwh
LuminaryWL
·
2023-12-25 13:06
python AI视觉实现口罩检测实时语音报警系统
PaddlenHub模块PaddleHub是飞桨预训练模型管理和迁移学习工具,通过PaddleHub开发者可以使用高质量的预训练模型结合
Fine
-tuneAPI快速完成迁移学习到应用部署的全流程工作。
qq_30895747
·
2023-12-25 10:36
python智能算法
python
人工智能
开发语言
多模态大模型:关于分辨率那些事儿
Overview多模态大模型:关于分辨率那些事儿一:DocPedia总览二:Monkey总览三:Vary总览3.1Motivation3.2Method3.3Results3.3.1
Fine
-grainedPerceptionPerformance3.3.2DownstreamTaskPerformance3.3.3GeneralP
猴猴猪猪
·
2023-12-25 05:13
多模态大模型
人工智能
论文阅读
AIGC
计算机视觉
深度学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他