MOE

用通俗易懂的方式讲解大模型分布式训练并行技术：流水线并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。
Python算法实战·2023-09-07 20:47

用通俗易懂的方式讲解大模型分布式训练并行技术：数据并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。
Python算法实战·2023-09-07 20:17

GPT-4内幕大泄露！1.8万亿巨量参数，13万亿token训练，斥资6300万美元

其中包括GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型（MixtureofExperts，MoE）等非常具体的参数和信息。
qq_41771998·2023-08-23 20:25

MoE 系列（七）｜ Envoy Go 扩展之沙箱安全

在本系列的第5篇《MoE系列（五）｜EnvoyGo扩展之内存安全》中我们介绍了内存安全如何实现。第6篇《MoE系列（六）｜EnvoyGo扩展之并发安全》又谈到了并发场景下的内存安全。
·2023-08-23 17:48

MoE 系列（五）｜Envoy Go 扩展之内存安全

前面几篇介绍了EnvoyGo扩展的基本用法，接下来几篇将介绍实现机制和原理。Envoy是C++实现的，那EnvoyGo扩展，本质上就相当于把Go语言嵌入C++里了。在Go圈里，将Go当做嵌入式语言来用的，貌似并不太多见，这里面细节还是比较多的。比如：Envoy有一套自己的内存管理机制，而Go又是一门自带GC的语言。Envoy是基于libevent封装的事件驱动，而Go又是包含了抢占式的协程调度。为
·2023-08-18 15:20

大语言模型之三 InstructGPT训练过程

2020年后全球互联网大厂、AI创业公司研发了不少AI超大模型（百亿甚至千亿参数），典型代表是NLP领域的GPT-3，LlaMA，视觉领域的DALL*E2，StableDiffusion以及V-MoE。
shichaog·2023-08-16 21:26

【前端】VUE3使用$ref()糖语法 去除.value

ReactivityTransform|VueMacros(sxzz.moe)letcount=$ref(0)console.log(count)functionincrement(){count++}
我是Superman丶·2023-08-16 04:23

MoE 系列（六）｜Envoy Go 扩展之并发安全

前一篇介绍了EnvoyGo扩展的内存安全，相对来说，还是比较好理解的，主要是EnvoyC++和GoGC都有自己一套的内存对象的生命周期管理。这篇聊的并发安全，则是专注在并发场景下的内存安全，相对来说会复杂一些。并发的原因首先，为什么会有并发呢️本质上因为Go有自己的抢占式的协程调度，这是Go比较重的部分，也是与Lua这类嵌入式语言区别很大的点。细节的话，这里就不展开了，感兴趣的可以看这篇cgo实现
·2023-08-15 16:36

通用视觉大模型

ViT:GoogleSwin-Transformer:MicrosoftV-MOE:GoogleSAM：Meta盘古CV：华为文心UFO：百度…预训练大模型#导入必要的库和模块importargparseimportjsonimportpathlib
Zain Lau·2023-08-15 14:24

大语言模型：LLM的概念是个啥？

[2]替代架构包括专家混合（MoE），它是由Go
无水先生·2023-08-14 17:59

数组转list方式

1.Arrays.asListpublicstaticvoidmain(String[]args){//Arrays.asListListname=Arrays.asList("Larry","Moe"
可乐zzz·2023-08-13 21:41

2019-01-05

来自挪威的MOE乐队曲风百变刚才重金属秒变BossaNova（巴萨诺瓦）曲风。有幸与MOE同台演出～～～图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App
b7ues蓝调·2023-08-13 02:59

自媒体常见玩法

有声小说转成视频题材来源喜马拉雅工具https://trace.moe/33台词找台词文字转视频题材来源小说类APP书籍音乐转视频
hello_中年人·2023-08-04 13:20

揭秘 GPT-4：OpenAI 的架构和工程权衡——GPT-4最新细节曝光：从架构、基础设施、训练数据集、成本、视觉到MoE

目录GPT-4Architecture,Infrastructure,TrainingDataset,Costs,Vision,MoEGPT-4架构、基础设施、训练数据集、成本、愿景、MoE
禅与计算机程序设计艺术·2023-07-31 04:10

Map、List、Set的简洁初始化

newHashMap(){{put("Name","Unmi");put("QQ","1125535");}};Liststooges=newArrayList(){{add("Larry");add("Moe
mundane·2023-07-30 10:15

跟着Nature Microbiology学作图：R语言ggplot2做散点图添加拟合曲线和p值

ProtectiveroleoftheArabidopsisleafmicrobiotaagainstabacterialpathogenimage.png今天的推文来重复一下论文中的figure3c散点图添加拟合曲线image.png读取数据集library(readxl)df<-read_excel("41564_2021_997_MOE
小明的数据分析笔记本·2023-07-25 03:38

LeCun爆粗口、马斯克哭笑不得，只因9个人形机器人开了场新闻发布会

其中包括GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型（MixtureofExperts，MoE）等非常具体的参数和信息。
夕小瑶·2023-07-21 02:07

Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models

专家混合遇见指令调整：大型语言模型的制胜组合摘要1引言2方法2.1模型架构2.2指令微调配方3实验3.1设置3.2跨规模的对比研究3.3放大FLAN-MOE4讨论4.1微调策略4.2附加分析5相关
UnknownBody·2023-07-20 20:42

WideNet:让网络更宽而不是更深

通过混合专家(MoE)代替前馈网络(FFN)，使模型沿宽度缩放。使用单独LN用于转换各种语义表示，而不是共享权重。
deephub·2023-07-19 02:19

使用腾讯云轻量编译安装 qBittorrent 搭建下载环境

本文原载于https://www.idc.moe/archives/qcloud-Lighthouse-qBittorrent.htmlqBittorrent是一款开源种子和磁力链接下载工具，支持Windows
Signaliks·2023-07-17 16:58

GPT-4最新细节曝光：从架构、基础设施、训练数据集、成本、视觉到MoE

OpenAI保持GPT-4架构封闭，不是因为对人类的某种存在风险，而是因为他们所构建的内容是可复制的。实际上，我们预计Google、Meta、Anthropic、Inflection、Character、Tencent、ByteDance、Baidu等公司在短期内将拥有与GPT-4一样甚至更强大的模型能力。请不要误解，OpenAI具有令人惊叹的工程能力，他们所构建的东西令人难以置信，但他们所找到的
sam5198·2023-07-17 13:51

同源建模MOE：请叫我永远的神！

同源建模实/操/篇1.分子力场的设置MOE中缺省的分子力场MMFF94x是一个用于小分子和复合物模拟的力场,不能很好地适用于大分子模拟,由于这里我们要进行同源模建,模拟对象是蛋白质结构,因此首先要将缺省分子力场
lixuegaoyunfeng·2023-07-15 13:49

GPT-4参数最新爆料1.76万亿参数，8个2200亿MoE模型，深信不疑

家人们，GPT-4的参数可能还真不止1万亿！近来，美国知名骇客GeorgeHotz在接受采访时透露，GPT-4由8个220B模型组成。这么算来，8x220B=1.76万亿。就连PyTorch的创建者SoumithChintala对此也深信不疑。GPT-4：8x220B专家模型用不同的数据/任务分布和16-iter推理进行训练。如果真是这样的话，GPT-4的训练可能更加有效。1.76万亿「八头蛇」？
手把手教你学AI·2023-06-21 19:08

sql拆分逗号分隔的字段，并统计

selectname,count(*)from(SELECTmoe.id,substring_index(substring_index(moe.options,',',b.help_topic_id+
斑三三·2023-06-21 11:04

大模型实践总结

对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练
·2023-06-15 20:46

大模型实践总结

对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练
吃果冻不吐果冻皮·2023-06-15 20:36

DNS出口IP分析

：https://www.cnblogs.com/shanhua-fu/p/6903580.html网易DNS检测工具http://nstool.netease.com/https://ip.skk.moe
识途老码·2023-06-14 19:10

UniControl：条件可控的图像生成，通用统一

本文来源机器之心编辑部来自SalesforceAI、东北大学、斯坦福大学的研究者提出了MOE-styleAdapter和Task-awareHyperNet来实现UniControl中的多模态条件生成能力
机器学习与AI生成创作·2023-06-09 20:05

MoE 系列（二）｜Golang 扩展从 Envoy 接收配置

文｜朱德江（GitHubID：doujiang24)MOSN项目核心开发者蚂蚁集团技术专家专注于云原生网关研发的相关工作本文1445字阅读5分钟上一篇我们用一个简单的示例，体验了用Golang扩展Envoy的极速上手。这次我们再通过一个示例，来体验Golang扩展的一个强大的特性：从Envoy接收配置。BasicAuth我们还是从一个小示例来体验，这次我们实现标准的BasicAuth的认证，与上一
·2023-06-07 23:35

MoE 系列（三）｜使用 Istio 动态更新 Go 扩展配置

上一篇我们用Go扩展实现了BasicAuth，体验了Go扩展从Envoy接受配置。之所以这么设计，是想复用Envoy原有的xDS配置推送通道，今天我们就来体验一番，云原生的配置变更。前提准备这次我们需要一套K8s环境，如果你手头没有，推荐使用Kind安装一套。具体安装方式，这里就不展开了。安装Istio我们直接安装最新版的Istio：#下载最新版的istioctl$exportISTIO_VERS
·2023-06-07 23:04

MoE 系列（五）｜Envoy Go 扩展之内存安全

前面几篇介绍了EnvoyGo扩展的基本用法，接下来几篇将介绍实现机制和原理。Envoy是C++实现的，那EnvoyGo扩展，本质上就相当于把Go语言嵌入C++里了。在Go圈里，将Go当做嵌入式语言来用的，貌似并不太多见，这里面细节还是比较多的。比如：Envoy有一套自己的内存管理机制，而Go又是一门自带GC的语言。Envoy是基于libevent封装的事件驱动，而Go又是包含了抢占式的协程调度。为
·2023-06-06 21:53

MoE 系列（二）｜Golang 扩展从 Envoy 接收配置

文｜朱德江（GitHubID：doujiang24)MOSN项目核心开发者蚂蚁集团技术专家专注于云原生网关研发的相关工作本文1445字阅读5分钟上一篇我们用一个简单的示例，体验了用Golang扩展Envoy的极速上手。这次我们再通过一个示例，来体验Golang扩展的一个强大的特性：从Envoy接收配置。BasicAuth我们还是从一个小示例来体验，这次我们实现标准的BasicAuth的认证，与上一
SOFAStack·2023-04-19 12:14

MoE 系列（二）｜Golang 扩展从 Envoy 接收配置

文｜朱德江（GitHubID：doujiang24)MOSN项目核心开发者蚂蚁集团技术专家专注于云原生网关研发的相关工作本文1445字阅读5分钟上一篇我们用一个简单的示例，体验了用Golang扩展Envoy的极速上手。这次我们再通过一个示例，来体验Golang扩展的一个强大的特性：从Envoy接收配置。BasicAuth我们还是从一个小示例来体验，这次我们实现标准的BasicAuth的认证，与上一
·2023-04-18 22:25

Unity的闪屏Logo去除、移除、隐藏，在安卓平台的VR一体机上

先上最终方案链接，想自己学习的朋友可以直接去学，我的博客主要针对安卓VR一体机，但是人家原文是对各个平台的去除Logo都有描述：GitHub-kiraio-moe/remove-unity-splash-screen
纪纯·2023-04-16 20:30

NVIDIA GPU加速AI落地，潞晨科技Colossal-AI助力大模型普适化

AI大模型的高门槛成为研发一大难题近年来，AI模型已从AlexNet、ResNet、AlphaGo发展到BERT、GPT、MoE…随着深度学习的兴起及大模型横扫各大性能榜单，AI能力不断提升的一个显著特征是模型参数的爆发式增长
潞晨科技官方·2023-04-12 13:53

关于大模型实践的一些总结

以Transformer、MOE结构为代表的大模型，传统的单机单卡训练模式肯定不能满足上千亿参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。
李国冬·2023-04-10 20:17

数学建模（数据分析C题）-建模思路

前言：参考E038的2019薄利多销优秀论文的模型建立与求解http://dxs.moe.gov.cn/zx/a/hd_sxjm_sxjmlw_2019qgdxssxjmjslwzs/191029/1613991
Cabbage coder·2023-04-10 00:22

MMOE——多任务学习模型

在这项工作中，我们提出了一种新的多任务学习方法，多门专家混合模型(MMoE)，通过在所有任务中共享专家子模型，我们将专家混合结构(MoE)适应于多任务学习，同时还训练了一个门控网络来优化每个任务。为
bugmaker.·2023-04-09 14:13

谷歌发布首个大规模MoE架构的视觉语言模型

文|明敏（发自凹非寺）源|量子位多模态模型常见，但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE，首次将稀疏化方法用在了图像文本混合模型上。要知道，随着大模型参数呈指数级增加，训练成本也是一路飙升。所以如何降低训练成本，成为了目前学界重点关注的一个问题。谷歌想到的办法，不是拼硬件，而是从模型本身入手。利用稀疏化的方法，让每次输入只需激活部分网络就能完成任务。它们在模型内部设置了很多“专家”，
夕小瑶·2023-04-02 21:38

稀疏大模型简述：从MoE、Sparse Attention到GLaM

文|唐工源|知乎Sparsity,...,isanotherimportantalgorithmicadvancethatcangreatlyimproveefficiency.稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。Theuseofsparsityinmodelsis...veryhighpotentialpayoffintermsofcomputationalef
夕小瑶·2023-04-02 21:08

【V-MoE】论文学习笔记

文章目录1Abstract2Introduction3Methods3.1TheVisionMixtureofExperts(V-MoE)3.1.1ConditionalComputationwithMoEs3.1.2MoEsforVision3.1.3Routing3.1.4Expert'sBufferCapacity3.2SkippingTokenswithBatchPrioritizedRo
HelloNettt·2023-04-02 21:35

稀疏性在机器学习中的发展趋势：MoE、稀疏注意力机制

每天给你送来NLP技术干货！作者：唐工来源：https://zhuanlan.zhihu.com/p/463352552编辑：李rumorSparsity,...,isanotherimportantalgorithmicadvancethatcangreatlyimproveefficiency.稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。Theuseofsparsit
zenRRan·2023-04-02 21:00

150亿参数，谷歌开源了史上最大视觉模型V-MoE的全部代码

他们推出了史上最大规模的视觉模型V-MoE，实现了接近SOTA的Top-1准确率。如今，谷歌大脑开源了训练和微调模型的全部代码。
机器学习社区·2023-04-02 21:51

谷歌发布史上最大视觉模型V-MoE，却最有希望减少碳排放？

近日，土豪GoogleAI继之前发布的20亿参数的ViT-G/14模型之后，又发布了参数量为150亿的视觉模型V-MoE，这可以称得上迄今为止最大的视觉模型，其在ImageNet上的Top-1accuracy
机器学习算法工程师·2023-04-02 21:20

MoE（Mixture of Expert）简单research

MoE的关注重点是专家之间应该保证足够的差异性，这样才能使得问
kandysoso·2023-04-02 21:48

Vision MLP 之 Sparse-MLP A Fully-MLP Architecture with Conditional Computation

Sparse-MLPAFully-MLPArchitecturewithConditionalComputation原始文档：https://www.yuque.com/lart/papers/pfvpvo从摘要读文章Mixture-of-Experts(MoE
有为少年·2023-04-02 21:38

谷歌提出一种新的视觉架构：V-MoE，测试准确率高达90.35%

我们知道稀疏门控混合专家网络(MOE)在自然语言处理中表现出良好的可伸缩性。然而，在计算机视觉中，几乎所有的性能网络都是"密集的"，也就是说，每个输入都由每个参数处理。
机器学习社区·2023-04-02 20:27

实用的工具

实用网站网站名称功能SimilarSites发现相似网站的网站trace.moe根据图片找视频magiceraser魔术橡皮抠图密塔写作猫文字纠错，改写，识别，改写Azure文字视频配音，可配合AzureSpeechDownload
R_est·2023-04-01 23:46

国家各个政府机构网站

www.fmprc.gov.cn/mfa_chn/国防部：http://www.mod.gov.cn/国家发展和改革委员会：http://www.ndrc.gov.cn/教育部：http://www.moe.gov.cn
前端加班仔·2023-03-29 04:33

Moe

图片发自App我写不出让你感动的文字也没有给你鼓励的声音还好现在你活的很精彩我不会踏进那个鲜花盛开的森林不是因为感到胆怯也不是害怕迷失是为了能够能够看见一张百合花般的笑容就能让人觉得很温暖被温柔的眼光注视着的感觉是世界上最幸福的事与其等待黎明不如期待眼前小小的星辰我不能与你相伴至少这一片星空是属于你属于我当命运之轮再次转动时有喜欢你的人就在你的身旁守护着你真希望你能一直微笑下去就像百合花一样美丽的
王小狼少年·2023-03-26 01:32
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他