活动报名|超越Transformer?RetNet设计原则与应用前景

活动报名|超越Transformer?RetNet设计原则与应用前景_第1张图片

智源LIVE第48期将于2023年07月27日11:00-12:00线上召开,本期活动邀请了清华大学在读博士孙宇涛进行线上报告,题目为《RetNet的设计原则与应用前景》。

活动报名|超越Transformer?RetNet设计原则与应用前景_第2张图片

孙宇涛

清华大学在读博士

孙宇涛于2023年获得清华大学学士学位,并将于同年继续攻读计算机博士学位,师从王建勇教授。同时,他从2022年7月开始在微软亚洲研究院开展研究工作至今。他的主要研究兴趣是大模型的基本架构、长文本的建模与推理、以及大模型在其他领域的应用。

思维链如何解锁并释放大模型的隐藏能力

RetNet作为一个全新的神经网络架构,拥有强大的建模性能和推理速度,展示了其作为自然语言基座的应用潜力。在本次报告中,将讲述RetNet的设计思想,分析已有的方法的优势和缺陷,以及实验中的一些结论;除此以外,作者还将介绍未来延续该工作的计划,以及在更多场景下的可能性。

活动时间:7月27日(周四)11:00-12:00(上午)

活动形式:线上直播,点击“阅读原文”进行预约;扫描二维码进入交流群

活动报名|超越Transformer?RetNet设计原则与应用前景_第3张图片

你可能感兴趣的:(活动报名|超越Transformer?RetNet设计原则与应用前景)