AI 建模师 素养手冊(1)


文章目录

  • 前言
  • 一、AI是深谙【鉴往知来艺术】的大师
  • 二、AI是一门【看】(Seeing)的艺术
  • 三、AI如何【看】出事物的全貌?
  • 四、从统计回归分析说起
  • 五、加上Sigmoid激活函数
  • 六、多元分类:善用Softmax()函
  • 总结


前言

*** 本文摘自 高焕堂 的下列书籍 ***

AI 建模师 素养手冊(1)_第1张图片

*** 以及北京【电子世界杂志】连载专栏 ***


一、 AI 是深谙「鉴往知来艺术」的大师

         而当今主流的 AI(人工智能)就是一位深谙「鉴往知来艺术」的大师。 AI 融合了统计(学)回归分析方法、网络普及和计算机高效运算,而获得瞬 间洞察能力,可以帮助您穿越这层迷雾。

         所谓鉴往知来的艺术,就是可以看出眼前或未的情况和 过发生情况的某些相似(特征)点。愈多的经验和专业知识,就 愈能看出许多相似情况,而在新手菜鸟的眼中,每一个情况都是新 颖且独特的情况。这又称为:专家直觉(Expert intuition)。 AI 从大数据的统计分析或人类专家传授的不同途径中,获取瞬间洞察,点燃了鉴往知来艺术的火花。面对眼前事物的不完全信息、 未来的不确定,AI 可以吸取经验、发挥直觉,协助您摆脱疑云的纠 缠,拥有警醒的双眼,冷静洞悉通往成功之路。

        同样地,AI 也藉由统计(学)回归分析算法而拥有和专家一样的 辨识事物,以及探寻相似性 (Similarity) 并对事物进行分类 (Classification)的能力。换句话说,AI 也拥有丰富的专家直觉。 在《科学革命的结构》(The structure of scientific revolution) 一书里,作者 Kuhn(孔恩)曾经说道:

「直觉不是个人的…,直觉是一个成功群体成员经过测试而共同具 有的,新手人员可以经由训练(学习)而获得直觉,这是他们为成为 这个群体成员所做的准备。」

        同样地,AI(机器)也能透过训练(学习)而获得直觉和瞬间洞察的 眼光。这称为:机器学习(Machine learning)。尤其在网络时代中, 大数据(Big data)呈现出不一致、不确定性,让人们更加困扰。因为 几乎所有行为都必须在模糊未明的情况下规划,这是普遍的现象, 就像迷雾或月光的效果一样,常使事物扩大而模糊了它的本质面貌。 那么,如何藉由瞬间洞察(Flash of insight)来穿越迷雾呢? 最 有效的途径是:吸取经验,发挥「鉴往知来的艺术(The art of what works)」。

二、AI 是一门「看」(Seeing)的艺术

        AI(机器学习)是一门「看」(Seeing)的艺术。例如,日本著名武 士宫本武藏在他写的《五轮书》里,他传授专家直觉的禅道,他说:

「在策略中,你必须能不移动眼珠而观看到两边,您无法快速地学会这种能力,请照着以下的方法练习:在每天的生活中练习使用这 种注视法,不论发生什么事都不要改变它。」

        注视眼前的全局征兆,以专家直觉衬托出全貌。计算机科学界 诺贝尔奖「图灵奖」得主 Judea Pearl(珀尔)在其 2019 年的新书《因 果革命》里,也以图片里的猫头鹰来强调当今主流 AI 的专家直觉及 洞察眼光(Seeing)的艺术。

AI 建模师 素养手冊(1)_第2张图片

        以鉴往知来为基础,穿越迷雾,多方尝试,保留最可奏效的方法,以 迅速强有力的行动抓住突然降临的好机运。其中的「多方尝试,保留奏效 的途径」的 AI(机器学习)模式就称为:强化学习(Reinforcement learning)。

三、AI 如何「看」出事物的全貌呢?

        AI 擅于计算相似性,并据之分群、分类。我们也一样可以给 AI 归类, 然后我发现 AI 与专家直觉两者具极高的相似度。既然这两者属于同一类 别,我们就可以发挥〈鉴往知来〉的艺术。藉由我们过〈往〉经验和知识, 而衬托出 AI 的全貌,并推估它的未〈来〉发展。于是,什么是 AI 呢? AI 有什么用呢? 就非常清晰明朗了。

鉴往:

         从我们的既有经验中,可以看出来最典型的专家直觉就是:开车。其 最大特征是:直觉反应,不假思考。现在,AI 和司机是归于同一类,意味 着 AI 也具备上述两项特征;因而也能推知:

         未来发展:AI 司机将大量取代人类司机。

         AI 人工智能,是不假思索、不经理性逻辑推理的直觉性智能。  AI 的推论结果就没有高度正确性,只有准确性。

         AI 人工智能与 IT 信息科技,两者并不同类。例如,许多学校把 AI 归入信息科技类,其实是违背专家直觉的〈非专家见识〉。

        无论是人或 AI,都会鉴古,手段是:拿一堆历史的殊相(资料),归纳 出共相。在人方面,采归纳法找出万变不离其宗的恒常性,谓之〈道〉。 在 AI 方面,采统计学回归分析,找出最中庸的回归曲线或面等。        

知来:

        刚才说明了 AI 最核心能力是<鉴往知来〉,其最亮丽的表现是〈瞬间 洞察〉。道与中庸皆为共相。求道而得道,谓之高人、圣人,乃专家也。 高人圣人身怀专家直觉,就可观察眼前事物的征兆(殊相),然后进行:

殊相 + 同类的共相 == 该事物的(推测)全貌

        就能洞悉未来、指点迷津了,谓之:高人指点。为什么需衬托出〈整体讯 息〉呢? 俗语说:见微知着。眼前只见到微弱的(特)征兆,而依微弱征兆 而分类,配上该类事物的历史整体面貌,就清晰眼前事物的将来发展的全 貌了。见(眼前)之微,鉴古之慧,知(未来)之全貌。

AI 也「知道」

        为什么 AI 预测预测没有正确性,而只有准确性呢? 因为 AI 的预测含 有〈推论〉的内涵,也就是有〈见微知着〉的涵意。其观察到眼前的少许 征兆,而能推(测而)知其全貌,以及未来发展。例如,看到有个人擦口红, 而推知其很可能也穿高跟鞋、有飘逸长发。为什么能很有把握推测呢?因 为阅历多、见识广,具有专家直觉。

        然而专家直觉来自〈鉴往〉,又称〈考古〉。也就是来自归纳思维的抽 象,抽出共同现象:共相。然后,把共相套用于眼前的殊相上,就不一定 100%正确啰。更何况眼前事物只出现一些征兆(非全貌)而已,AI 不仅仅 拿眼前的大量数据来处理,而依公式计算出结论而已;而是先去探索过往 的历史资料(如古代读书人勤读古书经史),而获得共相(道),谓之:知道。 在 AI 方面谓之:训练(Training)。

        大家常说:学以致用。学而知〈道〉,然后巧妙地应〈用〉于眼前或 未来的新事物上。AI 的训练就是让 AI〈知道〉;而 AI 的预测就是道之用。 这是 AI 的预测的本质。老子有言:<反者道之动,弱者道之用>。其意味着:

         反者道之动:返求既往而鉴古,道跃然其中,动而欲出。

         弱者道之用:不费神不费力去思考,直觉反应、瞬间洞悉。

大文豪 苏东坡有言:<博观而约取,厚积而薄发>。其意味着:

         鉴古得道之法:博观而约取。

         道的致用之法:厚积而薄发。亦即,与时俱进,沉淀成为直觉, 轻轻挥洒不假思索。

美妙的组合:「道+理」

        刚才说明了,AI〈知道〉的能力已经高达 IQ300 (根据日本软银董事 长孙正义 2019 年评估),而人类天才 IQ 为 180。因而,有些人担心,AI 知道而行道,知行合一,就超越人类、主宰人类了!

        其实是不必担心的,因为只有道(归纳得共相),并不足够的。有〈道〉, 还要有〈理〉,才能有效〈行道〉。如果人或 AI 得道之后,而直接行道, 常常没有效果、徒劳无功的。

        由于道是经由归纳&抽象思维而找到的〈相关性〉(即共相),只依据鉴 古而得共相智慧(道),很难有效解决眼前现实的殊相问题。所以,AI 知道 非常有助于〈瞬间洞察〉,但不一定能有效行道(解决眼前问题)。

        道只是相关性的规律,它要加上〈理〉:溯因推理和演绎推理;才能 有效行道。亦即:

AI 相关性(道) —— 溯因推理——找出果因——因果演绎

        例如人们常常看到庭院低空有:蜻蜓纷飞。也发现很快就下雨了。随 着人生阅历增多,这情境履见不鲜,就知〈道〉了:蜻蜓纷飞与天下雨有 高度的相关性。如果知了这个道,而去行道:赶快跑去收正晒太阳的衣 服。这是可以的。

         然而从科学角度而言,只有道而没有〈理〉,常常会掉入科学的迷思 里:把〈相关性〉误解为〈因果性〉。亦即:

蜻蜓纷飞 ——天将下雨

        这两者只是相关性,却误认为是因果性。从科学角度而言,人们总是企图 从观察到的〈果〉去探究背后真正的〈因〉,然后去调整因,而达成愿望: 改变〈果〉。例如,失眠是果,医生探索其因,而对症下药(调整因),就 一夜好眠了(改变果)。

        同理,AI 知了道:蜻蜓纷飞 ——天将下雨,但是 AI 也掉入科学的 迷思里:把蜻蜓纷飞看成(误解为),而把天将下雨看成。此时, AI 知道且行道(知行合一):拼命把蜻蜓都扑杀光了。却做了白工,毫无效 果:仍然下雨。因为蜻蜓乱飞,不是真正的因。反而被相关性误导了!所 谓科学素养,就是习惯于溯因推理,而能发现不是真正的因, 就会再重新溯因,而找到〈乌云密布〉才是真正的因。因之,

知道(相关性)—— 溯因 ——因果性

才更符合科学素养。

#=============== ============

欢迎加入…

<中国 AI 建模师俱乐部>微信群

微信群 新创期间,免入会费

询问:[email protected] Melody 收

*** *** *** *** *** *** *** *** ***

四、从统计回归分析说起

         ML 的主要能力之一就是:从复杂的数据里探索潜在的规律。回归分 析就是 AI(机器学习)探索规律的基础技术。

         例如,有一堆二维的数据点,有一条最具有代表性的直线:X * W + B = Y。这条线通称为:回归线。

         其中,X[]和 Y[]值是已知的,而 W 和 B 是未知的。如下图:

AI 建模师 素养手冊(1)_第3张图片

         所谓就是找寻最棒的 W 和 B 值。就得到这条线了。

         按下<寻找规律>,就进行回归分析,找出最棒的 W 和 B 值,就得到 这条线了。如下图:

AI 建模师 素养手冊(1)_第4张图片

也输出 W 和 B 值,如下:

AI 建模师 素养手冊(1)_第5张图片

        一样使用线性回归:X * W + B = Y。将得出的 Y 值,经由 sigmoid() 函数,可以计算出条件机率 P(Y/X)值。这是机器学习的二元分类的标准做法。


        例如,有 7 瓶水,其摄氏温度分别是:[-5, -2, -1, 2, 3, 4, 6]。此时人 们常常将之区分为两个类别:水与冰。

        就把这 X 值和 P(Y/X)值,呈现于 Excel 上: 

AI 建模师 素养手冊(1)_第6张图片

        其数据的意义是:依据人们日常生活中的经验,第 1 瓶温度是-5 度, 有 95%的概率是属于<冰>类。再如最后一瓶的温度是 6 度,有 95% 的概率是属于 95%的概率是属于<水>类。按下<寻找规律>,就就进行回归分析,找出最棒的 W 和 B 值,就得到这条线了。如下图:  

AI 建模师 素养手冊(1)_第7张图片

        也输出 W 和 B 值,如下:

AI 建模师 素养手冊(1)_第8张图片

         接着,按下图,就由 sigmoid()激活函数转换,将直线转 换成为曲线,并绘出图形如下:

AI 建模师 素养手冊(1)_第9张图片

         因为我们在 Excel 里给的是 P(Y=水/X)的条件机率值,而 sigmoid() 函数也能线性公式计算出来 Y 值转换成为 P(Y/X)概率值。因此,这条 曲线成为上述(Excel 里)数据的最佳代表曲线,这称为:非线性回归分 析。于是,把 7 个瓶子区分为两类了:

AI 建模师 素养手冊(1)_第10张图片

         AI(机器学习)就是,透过这样来一堆数据进行分门别类,简称为:分类(Classification)。

五、添加 Sigmoid 激活函数

         刚才的回归分析已经找出最棒的 W 和 B 值了,也就是找到最具代表性的回归曲线了。

         接下来,就能给予新的数据 X,如下:

AI 建模师 素养手冊(1)_第11张图片

         按下,就先计算:X*W+B=Y,得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值,然后输出如下:

AI 建模师 素养手冊(1)_第12张图片

          并且绘出图形:

AI 建模师 素养手冊(1)_第13张图片

         以上说明了,我们先提供 7 笔训练数据(Training Data),按下来进行训练(即回归分析),找出最棒的 W 和 B 值。

         然后,拿 5 笔新数据来(Test Data)来进行分类,果然完美地分类了。

多项特征的二元分类

         在刚才的水瓶范例里,只有一项特征(摄氏温度)。现在来看看两项特 征的范例:将玩具区分为和两个类别。

         首先收 4 笔集训练数据,如下:

AI 建模师 素养手冊(1)_第14张图片

         由于这 4 只玩具就在眼前,所以 P(Y/X)值为 0 或 1。例如,第 1 只玩 具属于<猫>类的概率是 100%。而最后一只玩具属于类的概率 是 100%。

         按下<寻找规律>,就进行回归分析,找出最棒的 W 和 B 值,并输出 下:

AI 建模师 素养手冊(1)_第15张图片

         经由训练(回归分析),已经找出最棒的 W 和 B 值了。

         接下来,就能给予新的数据 X(代表两只新玩具),如下:

AI 建模师 素养手冊(1)_第16张图片

         按下,就先计算:x0*w0 + x1*w1 + B = Y,得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值,然后输出如下:

AI 建模师 素养手冊(1)_第17张图片

         于是预测出来了,第 1 只玩具属于<兔>类的概率是 0.002,所以归为 <猫>类。而第 2 只玩具属于<兔>类的概率是 0.994。

         以上说明了,我们先提供 4 笔训练数据(Training Data),按下<寻找规律>来进行训练(即回归分析),找出最棒的 W 和 B 值。

         然后,利用上述的 W 和 B 值来,对两笔新数据来进行分类,果然完 美地分类了。

Sigmoid 激活函数的重要角色 

         在前面的<猫兔>二元分类里,sigmoid()函数只输出一个条件概率值: P(Y=兔/X)。由于只有两种类别,所以一旦知道了 P(Y=兔/X),也就知 道了 P(Y=猫/X) = 1 - P(Y=兔/X)。

         然而,如果分为五个类别(如)时,sigmoid() 函数只计算出一个概率值 P(Y=金/X),却无法计算出 P(Y=木/X)、P(Y= 土/X)等概率值。该怎么办呢?

         答案是:改用 softmax()函数即可,因为 softmax()函数可以输出多个 概率值,可以用来区分多个类别。这称为:多类分类(Multi-class Classification)。俗称为多元分类。

         现在复习二元分类+Sigmoid 函数:

AI 建模师 素养手冊(1)_第18张图片

         按下<寻找规律>,就进行回归分析,找出最棒的 W 和 B 值,并输出 如下:

AI 建模师 素养手冊(1)_第19张图片

         按下<使用规律>,就先计算:x0*w0 + x1*w1 + B = Y,得到了 Y 值。

         再将 Y 值经由 sigmoid()函数计算出 P(Y/X)值,然后输出如下:

AI 建模师 素养手冊(1)_第20张图片

          按下<绘图>,就绘出图形:

AI 建模师 素养手冊(1)_第21张图片

         在这二元分类范例里,使用 sigmoid()函数只输出一个概率值,所以 表现于一维数在线。

二元分类+Softmax 激活函数

         在上述的<猫兔>二元分类里,如果使用 softmax()函数,就能同时输 出两个条件概率值:P(Y=兔/X)与 P(Y=猫/X)。

         于是,在 Excel 上呈现如下:

AI 建模师 素养手冊(1)_第22张图片

 按下<学习>,就进行回归分析,找出最棒的 W 和 B 值,并输出:

AI 建模师 素养手冊(1)_第23张图片

         按下,就先计算: x0*w00 + x1*w10 + b0 = y0 x0*w01 + x1*w11 + b1 = y1

         再将 Y(即[y0, y1])值,经由 softmax()函数计算出两个概率值:P(Y= 兔/X)和 P(Y=兔/X),然后输出如下:

AI 建模师 素养手冊(1)_第24张图片

          按下<绘图>,就绘出图形:

AI 建模师 素养手冊(1)_第25张图片

         在这二元分类范例里,因为计算出 y0 和 y1 两个值,经由 softmax() 转换出两个概率值,所以呈现于二维平面上。

简明的表现形式(二元分类)

         熟悉前面从 sigmoid()单一概率值输出,扩大到一般化的 softmax() 的多机率输出,就能把一些细节隐藏于 Excel 背后,让 Excel 画面显 得更为简洁明了。如下图:

AI 建模师 素养手冊(1)_第26张图片

  按下<学习>,就进行训练(即回归分析),一旦找出了最棒的 W 和 B 值,就完成训练(学习)了,如下:

AI 建模师 素养手冊(1)_第27张图片

         已经训练完成了。得到最棒的 W 和 B 值了。

         按下<测试>,就拿新资料[3.5, 8.75]来测试一下。此时 x0 = 3.5, x1 = 8.75。

        然后,进行计算: x0*w00 + x1*w10 + b0 = y0 x0*w01 + x1*w11 + b1 = y1

         再将 Y(即[y0, y1])值,经由 softmax()函数计算出两个概率值:P(Y= 兔/X)和 P(Y=兔/X),然后输出如下:

AI 建模师 素养手冊(1)_第28张图片

         其中,P(Y=兔/X)值是:0.003。而 P(Y=猫/X)值是:0.997。

         于是这笔新数据,就归为<猫>类。

六、多元分类:善用 Softmax()函数

         前面说过了,sigmoid()函数只输出一个条件概率值:P(Y=兔/X),只 适用于二元分类。而 softmax()函数可以输出多个概率值,就适用于 多元分类。例如,划拳游戏的规则里,每一回合的比赛,会有 3 种结 果(类别),如下图:

   AI 建模师 素养手冊(1)_第29张图片

         其中,1 代表、0 代表、2 代表。Softmax()可 以输出 3 个类别()的条件概率值。

         按下<学习>,就进行回归分析,找出最棒的 W 和 B 值。

         按下<测试>,就读取测试数据,进行判断(预测),然后输出 3 个条件 概率值,如下:

AI 建模师 素养手冊(1)_第30张图片

简明的表现形式(多元分类)

         熟悉前面从 sigmoid()单一概率值输出,扩大到一般化的 softmax() 的多机率输出,就能把一些细节隐藏于 Excel 背后,让 Excel 画面显 得更为简洁明了。如下图:

AI 建模师 素养手冊(1)_第31张图片

 按下<学习>,就进行训练(即回归分析),一旦找出了最棒的 W 和 B 值,就完成训练(学习)了。

 按下按下<测试>,就读取测试数据([2,1]),进行判断(预测),然后输出所 预测的类别:

AI 建模师 素养手冊(1)_第32张图片

 以上让您更熟悉多元分类与 softmax()函数的用途。

◆◆◆
 

#=============== ============

欢迎加入…

<中国 AI 建模师俱乐部>微信群

微信群 新创期间,免入会费

询问:[email protected] Melody 收

*** *** *** *** *** *** *** *** ***

总结

欢迎继续阅读第 2 集

*** *** *** *** *** ***

你可能感兴趣的:(AI文章,python,pandas)