上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)

实现强人工智能,从脑计划到与训练模型:在过去的十年中,一段时间很热,后面被人工智能机器学习盖过去了

目前脑计划的现状不能宣布失败,仍在进行,但是没有之前那么热。预训练模型正在走向脑计划的方向。

特别注意母语窗口是一次性获得的,后面就不容易学习其他语言了

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第1张图片

语言模型进化史:80年代诞生第一代,后面是连续空间的语言模型。

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第2张图片

语言概率链式法则

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第3张图片
上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第4张图片

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第5张图片

改变:是有全空模型,自己模型

不久之前:预训练+微调

现在:大模型

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第6张图片

量变引起质变

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第7张图片

大模型参数多了以后能把很多不可能的事情变可能,原来的一些事情也能变得更好。过去有 overfitting现在应该不会存在了。以后只会有underfitting

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第8张图片

进步对比

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第9张图片

特别注意涌现的出现

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第10张图片
上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第11张图片
上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第12张图片

提示模式的进化

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第13张图片

提示模板的进化

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第14张图片

任务分解模式的重要性:思维链

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第15张图片

为什么现在才有 思维链概念,因为之前的都是小模型 

思维链进一步压缩了模型的需求

思维链:CoT

大模型缓解了欠拟合的风险

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第16张图片

开始有了提示,把提示拼入,下左图用户有权利对模型更新,下右图已经不存在更新微调权限了

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第17张图片

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第18张图片
上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第19张图片

总之就是各种堆积让chatGPT变成了有魔力有智能的样子

上海交大全球午餐会——大语言模型机器学习ChatGPT(主讲人:赵海)_第20张图片

一本正经的胡说八道,证明了chatgpt目前还是没有太高的逻辑性,对于自然科学问题或者自然逻辑的问题仍不能很好的理解和回应。目前chatGPT也有很多道德边缘的问题,例如:问问题会有如何破门而入,如何在没有钥匙的情况下打开一道门,这样可能存在潜在犯罪行为的问题。

你可能感兴趣的:(聊天机器人,直播观后感,nlp,科技)