MOE

NVIDIA GPU加速AI落地，潞晨科技Colossal-AI助力大模型普适化

AI大模型的高门槛成为研发一大难题近年来，AI模型已从AlexNet、ResNet、AlphaGo发展到BERT、GPT、MoE…随着深度学习的兴起及大模型横扫各大性能榜单，AI能力不断提升的一个显著特征是模型参数的爆发式增长
潞晨科技官方·2023-04-12 13:53

关于大模型实践的一些总结

以Transformer、MOE结构为代表的大模型，传统的单机单卡训练模式肯定不能满足上千亿参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。
李国冬·2023-04-10 20:17

数学建模（数据分析C题）-建模思路

前言：参考E038的2019薄利多销优秀论文的模型建立与求解http://dxs.moe.gov.cn/zx/a/hd_sxjm_sxjmlw_2019qgdxssxjmjslwzs/191029/1613991
Cabbage coder·2023-04-10 00:22

MMOE——多任务学习模型

在这项工作中，我们提出了一种新的多任务学习方法，多门专家混合模型(MMoE)，通过在所有任务中共享专家子模型，我们将专家混合结构(MoE)适应于多任务学习，同时还训练了一个门控网络来优化每个任务。为
bugmaker.·2023-04-09 14:13

谷歌发布首个大规模MoE架构的视觉语言模型

文|明敏（发自凹非寺）源|量子位多模态模型常见，但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE，首次将稀疏化方法用在了图像文本混合模型上。要知道，随着大模型参数呈指数级增加，训练成本也是一路飙升。所以如何降低训练成本，成为了目前学界重点关注的一个问题。谷歌想到的办法，不是拼硬件，而是从模型本身入手。利用稀疏化的方法，让每次输入只需激活部分网络就能完成任务。它们在模型内部设置了很多“专家”，
夕小瑶·2023-04-02 21:38

稀疏大模型简述：从MoE、Sparse Attention到GLaM

文|唐工源|知乎Sparsity,...,isanotherimportantalgorithmicadvancethatcangreatlyimproveefficiency.稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。Theuseofsparsityinmodelsis...veryhighpotentialpayoffintermsofcomputationalef
夕小瑶·2023-04-02 21:08

【V-MoE】论文学习笔记

文章目录1Abstract2Introduction3Methods3.1TheVisionMixtureofExperts(V-MoE)3.1.1ConditionalComputationwithMoEs3.1.2MoEsforVision3.1.3Routing3.1.4Expert'sBufferCapacity3.2SkippingTokenswithBatchPrioritizedRo
HelloNettt·2023-04-02 21:35

稀疏性在机器学习中的发展趋势：MoE、稀疏注意力机制

每天给你送来NLP技术干货！作者：唐工来源：https://zhuanlan.zhihu.com/p/463352552编辑：李rumorSparsity,...,isanotherimportantalgorithmicadvancethatcangreatlyimproveefficiency.稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。Theuseofsparsit
zenRRan·2023-04-02 21:00

150亿参数，谷歌开源了史上最大视觉模型V-MoE的全部代码

他们推出了史上最大规模的视觉模型V-MoE，实现了接近SOTA的Top-1准确率。如今，谷歌大脑开源了训练和微调模型的全部代码。
机器学习社区·2023-04-02 21:51

谷歌发布史上最大视觉模型V-MoE，却最有希望减少碳排放？

近日，土豪GoogleAI继之前发布的20亿参数的ViT-G/14模型之后，又发布了参数量为150亿的视觉模型V-MoE，这可以称得上迄今为止最大的视觉模型，其在ImageNet上的Top-1accuracy
机器学习算法工程师·2023-04-02 21:20

MoE（Mixture of Expert）简单research

MoE的关注重点是专家之间应该保证足够的差异性，这样才能使得问
kandysoso·2023-04-02 21:48

Vision MLP 之 Sparse-MLP A Fully-MLP Architecture with Conditional Computation

Sparse-MLPAFully-MLPArchitecturewithConditionalComputation原始文档：https://www.yuque.com/lart/papers/pfvpvo从摘要读文章Mixture-of-Experts(MoE
有为少年·2023-04-02 21:38

谷歌提出一种新的视觉架构：V-MoE，测试准确率高达90.35%

我们知道稀疏门控混合专家网络(MOE)在自然语言处理中表现出良好的可伸缩性。然而，在计算机视觉中，几乎所有的性能网络都是"密集的"，也就是说，每个输入都由每个参数处理。
机器学习社区·2023-04-02 20:27

实用的工具

实用网站网站名称功能SimilarSites发现相似网站的网站trace.moe根据图片找视频magiceraser魔术橡皮抠图密塔写作猫文字纠错，改写，识别，改写Azure文字视频配音，可配合AzureSpeechDownload
R_est·2023-04-01 23:46

国家各个政府机构网站

www.fmprc.gov.cn/mfa_chn/国防部：http://www.mod.gov.cn/国家发展和改革委员会：http://www.ndrc.gov.cn/教育部：http://www.moe.gov.cn
前端加班仔·2023-03-29 04:33

Moe

图片发自App我写不出让你感动的文字也没有给你鼓励的声音还好现在你活的很精彩我不会踏进那个鲜花盛开的森林不是因为感到胆怯也不是害怕迷失是为了能够能够看见一张百合花般的笑容就能让人觉得很温暖被温柔的眼光注视着的感觉是世界上最幸福的事与其等待黎明不如期待眼前小小的星辰我不能与你相伴至少这一片星空是属于你属于我当命运之轮再次转动时有喜欢你的人就在你的身旁守护着你真希望你能一直微笑下去就像百合花一样美丽的
王小狼少年·2023-03-26 01:32

Linux 学习centos8 安装

一.准备1、下载http://ap.stykers.moe/centos/8.0.1905/isos/x86_64/CentOS-8-x86_64-1905-dvd1.iso----可以使用迅雷进行下载
Leo_5cdb·2023-03-18 11:21

Uni-Perceiver-MoE显著提升通才模型的性能

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群Uni-Perceiver-MoE:稀疏激活的通才模型论文标题：Uni-Perceiver-MoE:LearningSparseGeneralistModelswithConditionalMoEs
Amusi（CVer）·2023-03-09 09:53

#今日论文推荐# 引入稀疏激活机制,Uni-Perceiver-MoE显著提升通才模型的性能

#今日论文推荐#引入稀疏激活机制,Uni-Perceiver-MoE显著提升通才模型的性能本文提出的Uni-Perceiver-MoE首次成功将MixtureofExperts应用到“通才”模型，MoE
wwwsxn·2023-03-09 09:53

Windows下Ubuntu子系统的图形化界面以及文件传输

”中选择开发者选项，点击开发者人员模式；其余可参考该文章：https://www.jianshu.com/p/20e6f9f7a81a其中源的更新建议使用清华镜像源：wgethttps://tuna.moe
追风少年王二狗·2023-02-03 04:16

初探 Cloudflare 零信任 - 通过 Docker 部署 Bitwarden 密码管理器

❝本文转自DejavuMoe的博客，原文：https://www.dejavu.moe/posts/selfhosted-bitwarden-with-cloudflare-tunnel/，版权归原作者所有
米开朗基杨·2023-01-15 01:35

java定时器的几种实现方式

转自：https://www.cnkirito.moe/timer/1前言在开始正题之前，先闲聊几句。
手写代码·2023-01-09 09:10

国家各个政府机构网站

www.fmprc.gov.cn/mfa_chn/国防部：http://www.mod.gov.cn/国家发展和改革委员会：http://www.ndrc.gov.cn/教育部：http://www.moe.gov.cn
前端加班仔·2022-12-24 06:18

多任务学习-MMOE-Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

针对其他的经典算法，比如a-硬共享share-bottom结构的方式，引入了一组不同的专家网络；针对b-MOE结构，扩展了门网络的数量，使得网络结构对于多任务的相关性较低时，能够更好的优化。
JunTHU·2022-12-23 08:16

【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析

一、MoE简介MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】AdaptiveMixturesofLocalExperts二、MMoE简介关于MMoE
CC‘s World·2022-12-23 08:41

RS Meet DL(68)-建模多任务学习中任务相关性的模型MMoE

ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts》多任务学习最近越来越受欢迎，咱们前面也介绍过几篇阿里多任务学习的模型，不过多任务学习的效果受不同任务之间的相关性影响较大，因此本文基于Mixture-of-Experts(MoE
文文学霸·2022-12-23 06:17

MOE定量构效关系（QSAR）

目前多款商业软件都已集成了该功能，之所以以MOE为例，是因为它的QSAR构建页面是我见过最简洁、最直观的，而且功能分区比较集中，不需要开开关关多个窗口。
grosetta·2022-12-21 02:54

全国高等学校点位数据

具体名单可以登录https://hudong.moe.gov.cn/qggxmd/进行查看，本文里分享的数据是全国普通高等学校、成人高等学校的点位数据，另外包含一份来自于POI里的高等学校点位数据数据格式
JGiser·2022-12-19 13:36

Multi-Source Domain Adaptation with Mixture of Experts

作者对domain之间的relationship建模提出了mixture-of-expert(MoE)的方法，将不同的sourcedomai
xpc_buaa·2022-12-13 18:28

腾讯SkillNet｜NLU任务全能网络，对Pathways架构的初步尝试

对于较早关注AI领域的同行们来说，这其实类似17年就提出的MoE（Mixture-of-Experts）概念。
李rumor·2022-12-05 12:34

【多模态】MoE解决多模态单双塔问题 VLMo: Unifified Vision-Language Pre-Training with Mixture-of-Modality-Experts

之前在秋招和写毕业论文，一个月没更了。毕业论文交了，开更。《VLMo:UnififiedVision-LanguagePre-TrainingwithMixture-of-Modality-Experts》多模态的单双塔困境在多模态工作中存在两类主流方法，分别是双塔模型和单塔模型。双塔模型以CLIP和ALIGN为代表，这类方法对文本和图像分别用一个编码器进行编码，然后计算两个模态的embeddin
yanguang1470·2022-12-04 06:38

多任务学习原理与优化

文章目录一、什么是多任务学习二、为什么我们需要多任务学习三、多任务学习模型演进Hardsharedbottom硬共享Softsharedbottom软共享软共享：MOE&MMOE软共享：CGC&PLE加入
tf.Print(**)·2022-11-27 02:55

技术干货 | 如何基于MindSpore实现万亿级参数模型算法？

其MoE化扩展，如下图
昇思MindSpore·2022-11-22 06:56

深度学习科普链接

NCEloss：知乎InfoNCEloss:知乎、B站Glancinglanguagemodel(GLM)：知乎Mixture-of-Experts(MoE)：知乎Sparsely-GatedMixture-of-Experts
反卷斗士小郑·2022-11-21 23:55

10000个科学难题书籍介绍

1、10000个科学难题——生物学卷(2010.12)10000个科学难题生物学卷http://www.moe.gov.cn/s78/A16/A16_ztzl/ztzl_kxnt/kxnt_sgxz/201512
dllglvzhenfeng·2022-10-17 08:21

在投射和录制时显示敏感信息时，免root授权确认框

id=moe.shizuku.privileged.api不能下载
ton_tom·2022-09-30 00:49

iOS 砸壳

砸壳分为静态砸壳和动态砸壳静态砸壳分为:1.Cluth详见Cluth2.dumpdecryped详见dumpdecrypted3.flexdecrypt2,cydia网址:http://repo.misty.moe
·2022-05-23 10:42

MindSpore 1.5，确立中文名昇思，使能科研创新和行业应用

此同时为大家带来全新科学计算行业套件MindScience、亲和算法库MindSporeBoost、支持混合专家（MoE）与异构并行、集群调优支持
这不科技·2022-04-02 07:00

社区会议｜MOSN 社区将会发布 1.0 版本，同时推动下一代架构演进

同时推动MOE（MOSN2.0架构）演进，对接更多的生态组件。随着MOSN的落地用户
·2022-03-01 11:48

极客日报：小米汽车将于2024年实现量产；苹果AR眼镜或于明年底发布；GitLab 14.5发布

年实现量产传字节跳动将明年电商GMV目标调高为2万亿元贾跃亭旗下FF收到退市警告腾讯财付通外汇业务违规被罚278万我国5G终端用户达4.5亿户，占全球80%以上苹果AR眼镜或于明年底发布微软发布高性能MoE
极客日报·2021-11-29 09:52

一封给Moe的家信

Moe：Hey，Moe！这周去米果果研学，玩的开心吧！看照片你们挖地瓜，烤番薯，趟水捕鱼，练习军训站姿，早上还晨跑了，生活的很充实，这些都是你在家没有体验过的。
倩1982·2021-11-16 19:17

多任务模型

文章目录多任务多任务建模中需要注意的问题shared-bottom其他结构样本Loss加权ESMMAITMMMOE(MOE)十字绣网络闸式网络ple（cgc）star任务之间做隔离信息选择cea多任务的使用多任务多任务建模中需要注意的问题
BlackEyes_SGC·2021-11-15 21:47

Sparse-MLP A Fully-MLP Architecture with Conditional Computation

Sparse-MLPAFully-MLPArchitecturewithConditionalComputation原始文档：https://www.yuque.com/lart/pa...从摘要读文章Mixture-of-Experts(MoE
·2021-10-14 16:20

【Python实战】1997-2019年教育统计数据爬取并导出excel

数据来源：教育部官网【moe.gov.cn/】-文献-教育统计数据举例来说：教育统计数据.png教育统计数据2.png教育统计数据3.png这次相较于之前，就多用了个函数pandas.read_html
Hobbit的理查德·2021-07-21 19:39

Hadoop集群搭建

VMwareWorkstationProLInux版本：CentOS-6.10-x86_64-bin-DVD1.iso（下载地址：https://developer.aliyun.com/mirror或者https://tuna.moe
码戈·2021-06-22 05:10

如何简单理解Google 1.6万亿参数的Switch Transformer论文？

SwitchTransformer可以理解成一种如何在训练基于MOE(MixtureofExperts)的巨模型时“偷工减料”的技巧，但这种“偷工减料”却蕴含了一些新的洞察（insights)。
OneFlow深度学习框架·2021-01-15 19:40

分布式 | 使用 Arthas 热更新 dble

https://github.com/alibaba/ar...https://github.com/alibaba/ar...https://www.cnkirito.moe/arth...h
爱可生云数据库·2020-12-25 16:18

ZOJ 3596 Digit Number【状态压缩】【BFS】

题目链接http://icpc.moe/onlinejudge/showProblem.do?problemId=4680思路给你n,m，问n的倍数中，最小的，只用了m个数字的（可重复用）是什么。
The_Dawn_Star·2020-09-17 14:01

CT 系统参数标定及反投影重建成像-2017数模国赛论文A298编程分析

本文提到的论文下载地址：http://dxs.moe.gov.cn/zx/qkt/sxjm/lw/2017qgdxssxjmjslwzs/一、读题-快速数据可视化首先，论文中巧妙地使用Excel作为数据可视化的工具
框架主义者·2020-09-17 14:18

【RPC 专栏】深入理解 RPC 之集群篇

Java并发源码合集RocketMQ源码合集Sharding-JDBC源码解析合集SpringMVC和Security源码合集MyCAT源码解析合集摘要:原创出处https://www.cnkirito.moe
芋道源码·2020-09-15 19:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他