Talk | 卡内基梅隆大博士生侯博涵：MLC-LLM-机器学习编译与在大语言模型上的应用

本期为TechBeat人工智能社区第516期线上Talk！

北京时间7月26日(周三)20:00， 卡内基梅隆大博士生—侯博涵的Talk已经准时在TechBeat人工智能社区开播了！

他与大家分享的主题是: “MLC-LLM-机器学习编译与在大语言模型上的应用”，与大家探讨了在消费级设备上部署大语言模型的原因、挑战、优化策略等方面的问题。

Talk·信息

▼

主题：MLC-LLM-机器学习编译与在大语言模型上的应用

嘉宾：卡内基梅隆大博士生 侯博涵

时间：北京时间 7月26日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

点击下方链接，一键预约TALK！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=793

Talk·介绍

▼

自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。

由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷纷发挥想象力尝试各种prompt与模型对话的时候，我们也注意到在一些应用场景中，出于定制化、个性化或者隐私性的目的，人们想要自己在各种终端设备中本地运行大语言模型，不需要/不希望连接互联网或者依赖于服务器，例如

• 智能汽车的终端可以对驾驶员的操作习惯定制化

• 智能家居的终端可以对户主的生活习惯定制化

• 手机游戏，或者主机游戏中NPC的对话可以根据玩家的行为而改变

• PC端的应用希望本地部署聊天机器人，但是用户的显卡可能是N卡，A卡，或者集成显卡，安装了CUDA/Vulkan/OpenCL驱动

我们希望能够让每个人都可以开发，优化和部署AI大模型，让它工作在每个人都能方便获得的设备上

Talk大纲

1、为什么我们需要在消费级设备上本地部署大语言模型

2、在消费级设备上部署大语言模型的挑战

3、在消费级设备上部署大语言模型的优化策略

4、 MLC-LLM使用的机器学习编译器框架：TVM Unity

5、MLC-LLM demo展示

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2207.04296

repo：

https://github.com/mlc-ai/mlc-llm

https://github.com/mlc-ai/web-llm

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

侯博涵

卡内基梅隆大博士生

卡内基梅隆大学Catalyst实验室博士研究生，本科毕业于上海交通大学，研究方向包括深度学习编译器，机器学习系统等。曾以第一作者身份在ASPLOS上发表相关研究。参与开发了WebLLM，MLC-LLM等开源项目。

个人主页: 

https://www.techbeat.net/grzytrkj?id=33082

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区