人工智能的一些感悟——随记

人工智能的未来思考

我现在觉得所谓的人工智能说到底，其实就是找一个可以描述世界的模型（分布），然后使用收集到的数据去拟合这个世界。我们现在使用的数学模型，其实都是早几百年前就已经存在于世的，实际上我们获得的飞速提升，都是近五十年来，计算机运算速度的提升和联网后信息交互的加速所提供的。这种增长速度之前是指数式的，但是并不会无穷增长，摩尔定律已经撑不住了。这个过程更像是Softmax函数，慢慢会区域平缓。当然我觉得就目前来说其实不会超过一半，也就是说我们还能保持指数式的爆炸，但是向前推进的手段更大程度要靠WEB而非硬件提升。
当然，总有一天我们还是会趋于平缓，而且可能也就只需要二三十年，到时候会有什么新的东西去保持这种增长模式呢？

机器学习的数学本质思考

如果我们有n个特征，每个特征有两个取值，那我们就有2的n次方种可能性，如果我们的数据量足够大到包含所有可能性，那随便什么问题都可以知道准确答案。但是这不可能。
n个特征，就是一个n维空间，给每个维度一个定义域，我们的预测就是一个n维的函数，但是我们的数据算不出所有点的取值，只有部分点，所以我们做的只是一个函数的插值。
什么是函数插值，给你一堆点。让你求一个函数经过所有点，这就是函数插值。显然这样的函数有无穷多，想得到一个确定的函数，我们必须有一个模型，比如说我们假设它就是一条线，但是一旦有了模型，我们的数据非但不是不够，反而求不出一个满足所有点的解了，这时候我们就需要妥协，求一个尽可能满足所有数据的模型，这个尽可能是我们需要考量的。最后是如何满足这个尽可能，也就是如何求解，求解难度大不大。

三个黑体字就是核心，一条线不足以描述复杂的世界，我么需要更复杂的模型，无疑越复杂参数越多，越能拟合复杂的世界，所以神经网络、集成学习总是人们最爱的。但是模型越复杂，参数越多，训练越困难。

显然三者在一个平衡中，大部分人的任务是利用已有的设备、模型去寻求一个最好的平衡，而不是发明新模型。

顺带提一句，你能想象迁移学习很有用了吧，至少预测狗和预测猫的函数肯定是很像的，在有限的数据集下，我们可能只需要修改一下耳朵形状，尾巴形状就可以轻松确定是狗，但是如果没有迁移学习，我们训练出的模型就只能根据尾巴、耳朵来判断了，严重过拟合。

从卷积神经网络到Transformer

提到深度学习，你肯定想到的第一个就是卷积神经网络。卷积神经网络神奇在哪里，就是能自己提取特征，它是靠什么提取特征的呢？靠的是把附近的点加权取和，我觉得这和人其实很像，我们人看一个东西关注的总是一片区域。但是卷积神经网络并不是那么擅长提取相隔比较远的特征，而我们人是如何做的呢？我们看第一眼总会注意到某样东西，但是第二眼的时候又会注意到不同的东西，并且也会思考它们之间的联系，随着一眼眼看过去，我们慢慢抓住了重点，得出了结论，这就是现在很火的注意力机制。
感觉现在越来越火的各类模型都还是从人的智慧中提取出来的，包括一些仿生学模型是从动物身上提取的，至少这样机器人尚且是不会超越人的。