《机器学习基石》课堂原文Lecture4-1

大家好，大家好，欢迎回到今天的机器学习课程 今天的课程我们要跟大家探讨的题目是Feasibility of Learning，Learning到底是不是 可行的呢？在开始这个题目之前，我们先看看我们上一次到底上了些什麽东西？我们上一次探索了各式各样不一样的机器学习的设定，然后我们跟大家说到说我们的焦点会著重在说二元的分类还有迴归分析上，最核心的问题那我们会在批次 的资料，还有supervised，也就是有提供标记的这样的状况下，来探讨一些理论的设定跟演算法另外我们也暂时会假设 我们用这个比较具体的 feature来做这个 learning 动作，未来会再提到更多不同的可能性。

那我们上次就埋了一个梗，跟大家说就算在这样核心的例子里面，我们要跟大家说 learning搞不好是不可行的，搞不好是做不到的那我们今天会先跟大家讨论这个问题，然后呢再进一步进行到说如果 learning是做不到的 我们能不能再加上一些什麽假设或用一些什麽方法，让它大部分的时候做得到的。

好，所以一开始，我们大家 头脑先来动一动吧，我给大家一个人类学习的问题这当然也可以用在一个机器学习的问题，不过呢我现在想要考验大家的这个不是人工智慧

而是所谓的工人智慧里面的human intelligence，所以我们来看看我给大家六张图片，当作六个例子。这六张图片里面呢，每张图片有 9 格，然后每一格是黑色或者是白色，它会按照某一种规则，然后按照某一种规则之后呢 这个我说上面的三张是属于-1，-1 那一类的例子 下面的三张是属于 +1 那一类的例子用 machine learning 的讲法，就是我给了大家六个例子

每一个例子里面有一张图片，还有它是 -1还是 +1 好，我希望大家看一看这六个例子，看完以后然后想一想说你脑袋里会生出，你想像你的脑袋现在就是一个 learning algorithm会生出一个什麽样的 hypothesis g，然后如果把你想出来的g 用在这张新的，我们还没有标记的图片上面，你会说它是+1 还是 -1 。好，这是我们的 human learning 的题目，你会说它到底是+1 还是 -1 。

好，想一想呢，然后呢如果今天有一个同学就来跟我说，好吧，老师我决定了，我找出它的规则了

我觉得这张新的图片应该是-1 那我就会这样给他讲，我会跟他说：诶，不对啊，同学啊，我心里想的规则其实是+1 哦，为什麽呢？你看看这六张图片，这六张图片里面，这下面这三张都是对称或者是线对称的，上面这三张图片都是没有对称的 所以有一个简单的规则是没有对称的就是-1，有对称的就是 +1 那右边这张图片怎麽样，右边这种图片是有对称的，所以当然是个 +1 啊。你怎麽会说 -1 呢，哈哈哈，你答错那另外一个同学说，好，老师那我答对了吗？ 我心里觉得这张图片应该是个 +1才对 说，同学，你答错了。我这个老师就是喜欢说，同学，你答错了我心里的规则其实不是这样啊，你看看上面这三张图片

上面这三张图片的左上角那一格都有黑色下面这三张图片的左上角那一格都是白色，所以如果左上角是白色 就是+1，如果左上角是黑色就是 -1，右边这张图片呢，左上角什麽颜色？黑色，哈哈，是个 -1，你说 +1 你答错了你说，老师你怎麽这麽奸诈，我说 -1，你就说 +1，我说 +1，你就说 -1。对啊，我就这麽奸诈，不然怎麽办？

好，或者呢我若更奸诈，我还可以给你说更複杂的规则，其实这边是刚好我有两个简单规则在这边。搞不好，有人说，正确的规则其实是怎麽样呢，正确的规则其实是这边有一个or啊 and 啊，统统弄一下，所以这样是 +1。

或者呢，有人说 -1 的规则其实是噹噹噹噹噹这样一长串，是-1 好，你就会看到规则是随人说的。台语里面叫iii，一隻嘴巴，好像那个政客一隻嘴巴什麽东西都随便他说好，那所以在这裡就看到说，我用一个机器学习的设定给你啊，我给你六个例子，我还用这个监督式的还用二元，这些非常核心的问题，然后考验你非常聪明的脑袋但是如果我没有在这个 一些，加上一些限制的话，那麽有可能你答什麽答案我都可以说你是错的。如果我是你的敌人，或我是一个坏心的老师的话我总是可以说你答错了，你没有从这六个例子里面学到东西 这样看起来，好像learning 是一个不可行的方式

数学上真的是这样吗？我们再稍微看一点点例子，我举一个比较数学一点的例子跟大家讲。刚才我们那是一张图片，所以大家可以想这是一个 9个维度的向量 我们稍微简单一点，我们现在想像我们的输入是一个三个维度的向量，不单三个维度的向量，我还说每个维度只能有 0跟 1 两种选择 所以这个对资讯，学资讯的同学都知道，就是三个bit，我的输入是三个 bit 我们输出还是 +1 跟 -1两种情形，这边视觉化的我们用圈圈跟叉叉来做代表

好，我们问的问题是这样，在这样的设定下，我给了你五笔资料，五笔资料，你能不能弄一个机器学习演算法，还是你人类学习的演算法，还是怎麽样子，然后就告诉我说这个 g 应该长什麽样子？最重要的告诉我说这个 g 跟我们最理想的那个目标f 到底接不接近。你说，那不然这样好了既然你只有三个维度、三个 bit 的输入，三个 bit只有八种可能性 你输出有两种，你的输入有八种，所以总共的函数的数量，你只有 2 的 8 次方，256 那麽多种这样好了，我把这 256 种 统统放在我的high positive set 里面，high positive set 所有的函数统统都有然后我请我的机器学习演算法选一个什麽呢？

选一个 g这个 g 跟什麽一样，这个 g 在这五笔资料上 都跟 f一模一样，也就是说，都跟我看到的这个 y yn 一模一样，这g 在这五笔资料上统统都会正确 好，我们学过的 perceptronlearning algorithm大体上来说就是做这件事，对不对，它在那边找找找找它一条线找到一条线以后，把所有的圈圈跟叉叉都完美的分开，它在所有我们以前看过的资料上统统答对。我们现在问题是这样的 g好还是不好？不管你设计什麽样的演算法，总之你找出一个这样的 g了

那这样的 g 我们就可以把它，我们说我们只有 8种可能的输入，我们可以把它在我们已经看过的五个上面做衡量了。我们已经看过的五个上面，它一定都会非常的正确

那还有呢，还有三个，我们没有看过里面，那我们也可以把这g 放在上面 看 g 做什麽预测。好，我们已经看过五个点上面，因为我们刚才设计那个演算法的方式，我们确保了什麽，确保了 g 跟 f 一定一模一样。所以 g 跟 f 在 D 上面是不是一模一样？是，没有问题但是在外面这三个呢，你说哦，那我们就问你了，你找出什麽 g？ 你说我找到了 g 呢在这三个点上的预测是 圈 叉 圈 好，圈叉 圈，可是你看那，这边有 8 种可能的 f 这8 种可能 f 都满足我们要的条件，在这五笔资料上产生了 圈 叉 叉 圈 叉这五个 yn 的资讯，所以这 8 种可能的f ，如果统统都有可能的话，你说，刚才这边是 圈 叉 圈 最坏最坏的情形，如果你 f是个 叉 圈 叉，我就可以又开始哈哈哈，你答错了，你全部答错了 或者呢，如果这8 个 f 我们真的没有其他理由判断，你说这 8 个 f 统统都有可能啊那麽这个有的 f 跟我们很 margin，非常的相似，有的f 跟我们非常不一样，平均来说好像我们没有学到任何东西也就是说，我们如果在这样的设定下，要说我们在 资料以外的部分跟f 不一样，是非常困难的，或甚至可以说是不可能的但是大家回头想一下，这是什麽？

这其实我们想要的，我们想要的不是把资料里面原来有的东西统统都答对，我们想要的都是我们在没有看过的资料里面能不能跟 f做的一样好

例如说，我们说一开始说那个信用卡的问题，我今天不希望拿一个旧顾客来，然后说拿一个旧顾客来，然后我来看看我会不会答对。我今天是有一个新的，我没有看过的顾客进来我要知道我答圈圈或叉叉跟那个最理想的公式打的圈圈或叉叉到底是一样还是不一样。所以我们想要的是资料以外部分。

但是这个例子好像告诉我们，诶，我们想要的事情是做不到的那这个在机器学习里面有一些研究，他们把这一系列研究叫 No Free Lunch什麽，No Free Lunch 什麽意思？天下没有白吃的午餐

这个名词东西方用的都是一样，天下没有白吃的午餐说的事情就是什麽？如果我们只是说给机器资料然后它就知道去学，然后我们说，到底资料有没有发生什麽事的话，通常通常我们是没有办法有任何的这个结论。我们没有办法说 g 在我们所看过的资料以外 的f 好还是不好，我们没有办法说。如果要有办法说的话，可能就要加上一些假设，不然的话 这个，如果是在一个敌对setting，就像我们刚才讲的这个，如果是一个坏心的老师，或是你的敌人，我们永远都可以说你答错了。

所以如果我们坚持，大家记得我们坚持什麽，我们坚持，一是 f是不知道的 f 不知道，所以我们在我们看过的 data 以外的点，我们对f 是一无所知 如果我们只坚持 f 是不知道，那麽 我要在data 以外的部分去说我一定学到了什麽东西 这件事情是做不到的，这是这个No Free Lunch，天下没有白吃的午餐，这样的 philosophy这样的哲学告诉我们的事情

好，所以呢，大家现在有了这个概念以后呢，我就来跟大家说，这是我几年前在网路上看到的-一个问题 他说，我给你几个数字，然后我告诉你说，从这个数字经过某个运算以后就可以得到，得到某一种另外一个数字。那麽今天我再给你三个新的数字，你能不能告诉我它经过同样的一串运算以后，会得到什麽？据说这是一个益智问题 全世界只有2% 的人非常聪明，能够看出这个益智问题下面的答案

所以这个它，益智问题原先给的这三个数字呢是5、3、2，然后他说 5、3、2 最后会得到 151022这样的一串数字，然后它给你新的数字 7、2、5，他问你说会得到什麽？我们这边有四个选项，大家想一想说，到底 7、2、5之后你会得到什麽 数字？

好，我们希望大家想一想以后呢，知道说实际上我们参考的答案是 4，说这个问题是没有很标准的答案。你要说任何的数字，你都可以说你自己是对的，就像你刚才 敌人always 可以说你是错的，那你既然若是自己说，你永远可以说自己是对的网路上给的参考答案是2，网路上给的参考答案。

他说这个规则呢是，例如说这个新数字的前两位是从原来的数字的第一个数字跟第二个数字乘起来，然后中间两位是从第一个数字跟第三个数字乘起来最后一位是经过一个比较複杂的运算，但是这样的解释 这样有2% 的人发现解释，是不是真的很有道理，你如果跟随著我们刚才课程的话，你可能会知道说这其实只是一种解释而已，我们永远可以说这种解释是不对的行在线转换