了解GPT的最快方法,阅读《这就是ChatGPT》

在图灵编辑部公众号了解到沃尔弗拉姆写的这本《这就是ChatGPT》后,果断下单,一是因为在读论文的时候了解过沃尔弗拉姆所创立的“计算等价原理”,是很有意思的理论,知道他是位大牛,二是ChatGPT也已经火了一段时间了,它的英文写作真的很高效,让我受益颇多。但由于我不是算法方向,没怎么去研究大模型方向的论文,技术细节是完全没有了解。个人感觉,这本书能让我们这些做Web方向的,在学术上做一些引导。

由于之前有些机器学习的基础,我一直到本书第61页开始,才看到GPT的与众不同,基于获取的文本,生成嵌入向量来表示,所以严格来说,ChatGPT并不像其他模型来处理词,而是直接处理“标记token“,这是一种更加直接的方法,绕过语言语义的繁琐规则。这种嵌入会不断的衍生,从而达到新的嵌入。加上权重的重新加权,这样对单词的处理才能达到智能,我想这也是ChatGPT超越之前的会话机器人的关键所在。

这是一种触及到人类大脑在生成语言时所做事情的本质的研究,这种训练模式,再加上它们的网络规模和训练数据的规模,才能够做到及时反馈,及时切换权重。从第90页开始,本书用图表的形式,非常形象的意义空间和语义运动规律,我觉得非常有效,在没有NLP基础的情况下,也能理解其中的关联。

ChatGPT的成功,更加体现了人类大脑的精妙之处,“类人“也许是一条更加清晰的道路,也会再将来带动更多的模型产出,嵌入再嵌入,最终我们可以期待更加神奇的AI,可以说ChatGPT是一抹亮色,揭开了黑夜的一角。而本书是了解它最快捷的方式。

了解GPT的最快方法,阅读《这就是ChatGPT》_第1张图片

你可能感兴趣的:(机器学习人工智能神经网络)