一台存在软件缺陷的放射治疗仪是如何夺走患者生命的?

1985年的一天,一位患者正在一家诊所接受放射治疗。虽然患有宫颈癌,但令她没有想到的是,眼前的那台放射治疗仪将提前终结了她的生命。

当操作员按照医生处方设定好剂量并开始治疗时,放射仪提示“无辐射剂量”。操作员重复之前的操作,仪器依然给出同样提示。操作员又重复操作三次,每一次仪器都提示“无辐射剂量”。

实际上,这位患者一共接受了五次治疗,髋部灼烧严重,臀部需要被完全切除,于几个月后离世。据统计,此款治疗仪一共造成6位患者遭受过量辐射。而这一切只是因为治疗仪的软件缺陷。技术人员只关注了硬件问题,而忽视了软件问题,从而导致了致命的技术故障。

我们已经生活在被技术包围的世界。面对复杂繁多的技术系统,我们应该持有什么样的态度呢?是应该崇敬还是恐惧?美国复杂性科学研究专家塞缪尔·阿贝斯曼在《为什么需要生物学思维》这本书中,为我们提出一种认识复杂系统有力的思维方式——生物学思维。

生物学思维,指导我们用谦卑、包容和迭代的心态看待技术系统,对技术保持科学而理智的认识。不盲目崇拜和迷信,也不过渡恐惧。保持一颗谦卑、包容的心,接受技术系统的不完美,承认技术系统的强大和自己的局限性,以欣赏感看待自己不理解的事物。

我想,不仅仅是技术,对于我们个人、工作、生活各个方面的问题,生物学思维都可以帮助我们利用科学的方式来剖析和处理。

为什么系统越来越复杂,越来越难以理解?

1. 为什么系统越来越复杂?

由于随着时间的推移,系统的组成部分会越来越多(称为“吸积”)。同时,组成部分之间的关联也会变得越来越多(称为“交互”)。

此外,每个系统都存在许多“必须处理的例外情况”和“普遍的稀有事物”。

上述四大因素导致系统越来越复杂。

原因1:吸积

美国计算机科学家Frederick P. Brooks Jr.在《人月神话》一书中引用软件业内的一句俗语:“每次加一点,每次加一点,最后就有了一大堆”,形象的描述了技术系统的“吸积”过程。

实际操作中,可能是为了修复原有系统的某些问题,也可能是为了提供新功能,所以,一次次的补丁或者版本升级应运而生,被一次次的加到原有系统中。

一方面,许多年前陈旧的系统和代码还保留在系统之中(即“遗留代码”),而对此了解的人已早已不复存在,没有完全了解正在使用的系统;另一方面,系统的组成部分变得越来越多,导致原有系统变得越来越复杂。

例如:美国国税局在2007年所使用的报税系统,最早是在20世纪60年代早期开发的,通过不断修复和升级一直使用。

原因2:交互

系统不仅在不断吸积,每个组成部分之间也在越来越频繁的交互。系统每一次所吸积的部分都是合规合理的,但当它们被放到一起时,就有可能因为相互作用而出现意想不到的异常。

在更大的层面上,不同系统之间也需要越来越多的关联和交互,相互传递信息(称为“互操作性interoperability”)。例如:在机器人中,常常需要语音识别、视觉识别和运动控制技术的交互。

此外,不同类型的技术之间还会产生相互依赖性。比如:互联网与电网之间。

这种“交互”效应使得系统变得异常庞大且错综复杂。用计算机科学家迪科斯彻的话来说——“概念层级的深度,绝非人类心智曾需面对的任何事物科比”。

原因3:必须处理的例外情况

另一个会使系统变得日益复杂的因素是,必须处理的例外情况——即为了使系统尽可能的完善而不产生漏洞,必须将所有可能的例外情况都考虑进去,从而导致系统越来复杂。

比如,开发一款工业机器人。要求这款机器人可以按照编程指令执行相应的操作。为了保护人机安全,要求机器人可以检测障碍物,可以避障。而实际操作过程中,障碍物的情况千差万别;为了适应不同工作的要求,许多新问题产生并被考虑到系统中,系统随之变得越来越复杂。

原因4:普遍的稀有事物

例外之外,系统还需要将所有可能出现的情况都考虑进去。比如:词库系统需要考虑所有词汇,包括使用率极低,甚至在整个人类历史上只出现一次的词汇。

2. 为什么系统越来越难以理解?

对于大多数人来说,记住一个7位数,处理三层语言“递归”嵌套就很不容易了。当复杂系统的组成部分和连接数量剧增,即便是专家,受限于人类大脑,也是无法完全理解的。

另一方面,由于人类认知的局限性,我们个人的知识储备,与理解复杂系统所需要具备的知识相比,无法比拟。

我们已经生活在一个“不可理解”的新时代。

为什么需要生物学思维?

1. 什么是生物学思维?

书中同时提到了物理学思维,即将观察到的所有不同事物都统一起来,通过一组优雅的解释来简化世界的多变性和多样性。常利用数学公式抽象掉宏观层面上的细节。

与物理学思维不同的是,生物学思维更关注多样性和复杂性,倾向于陈列大量事实,“观察”和“收集细节”,哪怕这些细节暂时很难被融入到某个单一的理论框架中。

2. 为什么理解复杂技术系统需要生物学思维?

复杂技术系统更类似于生物学系统。

首先,生物系统非常复杂。系统的组成部分类型繁多,涉及很多层级。系统中的每个组成部分各不相同,相互依附。

其次,生物系统的进化过程,导致生物系统也会被修补和改变,好比复杂技术系统的“吸积”过程。

最后,生物系统同样会因为一些很小的干扰而出现灾难性的故障。比如:人类具有很强的环境适应能力,但是人类基因组中的某个微笑突变会产生致命病症。

因此,生物学思维将有助于我们理解复杂技术系统。

谦卑+迭代,洞悉复杂世界的正确方式

我们可以从生物学思维中借鉴到的核心,可以概括为以下两个方面。

1. 谦卑

几乎没有什么系统的复杂程度可以与生物系统相比拟。生物学家面对如此复杂的生物世界,没有盲目的崇拜,也没有心怀恐惧。

生物学家对于生物系统这个复杂的世界,始终心怀谦卑。他们在面对一个极其复杂的生态系统时,不会即刻就想彻底理解它。他们一次只研究这个系统的一小部分。他们考虑系统的进化轨迹,收集和记录发现的各种细节,加以分类和编目,进行研究。他们积极地采取行动,主动将意外事件注入系统,观察系统的反应。

他们保持谦卑,对生物系统的细节产生浓厚兴趣,不断探寻系统背后的奥秘,即使永远无法理解系统也没关系。

对于难以理解的事物,要努力克服我们的无知;一旦理解了某个事物,也不会认为它是理所当然的。

2. 迭代

我们应该明白,复杂性必然导致罕见的故障和无法解释的错误,即使最警觉的技术人员也无法预测全部故障和错误。而许多问题和故障也无法马上定位到原因并解决。

对于一时无法解决的问题,“迭代”将是最好的方式。

谦卑+迭代,是帮助我们洞悉复杂世界的正确方式。

人类作为最复杂的生物系统,生活在如此复杂的世界,创造了许许多多复杂的技术系统,每天都要面对许多复杂的问题。

有了生物学思维,我们不必害怕复杂。愿我们都可以拥有一颗谦卑、包容的心,用迭代的思想面对无法马上解决的问题,勇敢探索复杂问题的本质,让复杂不再可怕!

你可能感兴趣的:(一台存在软件缺陷的放射治疗仪是如何夺走患者生命的?)