机器人学习是人工神经网络的应用的。人工神经网络的应用在语音识别、计算机视觉、机器人学习、语言翻译等领域,均战胜传统的机器学习方法,甚至在人脸验证、图像分类上还超过人类的识别能力。
人工神经网络的前景:神经网络的前景,神经网络基础结构简单,理论上可以拟合各种数据状况,缺点也是因为结构简单,需要大规模的神经网络组合工作,而对这种复杂的网络目前的工具不足以驾驭。导致其演进缓慢。
这是其本身自有的优缺点。如果一直没有克服,那就会有新的技术去替代这种结构。
谷歌人工智能写作项目:小发猫
趋势一:AI于各行业垂直领域应用具有巨大的潜力人工智能市场在零售、交通运输和自动化、制造业及农业等各行业垂直领域具有巨大的潜力A8U神经网络。
而驱动市场的主要因素,是人工智能技术在各种终端用户垂直领域的应用数量不断增加,尤其是改善对终端消费者服务。当然人工智能市场要起来也受到IT基础设施完善、智能手机及智能穿戴式设备的普及。
其中,以自然语言处理(NLP)应用市场占AI市场很大部分。随着自然语言处理的技术不断精进而驱动消费者服务的成长,还有:汽车信息通讯娱乐系统、AI机器人及支持AI的智能手机等领域。
趋势二:AI导入医疗保健行业维持高速成长由于医疗保健行业大量使用大数据及人工智能,进而精准改善疾病诊断、医疗人员与患者之间人力的不平衡、降低医疗成本、促进跨行业合作关系。
此外AI还广泛应用于临床试验、大型医疗计划、医疗咨询与宣传推广和销售开发。
人工智能导入医疗保健行业从2016年到2022年维持很高成长,预计从2016年的6.671亿美元达到2022年的79.888亿美元年均复合增长率为52.68%。
趋势三:AI取代屏幕成为新UI/UX接口过去从PC到手机时代以来,用户接口都是透过屏幕或键盘来互动。
随着智能喇叭(SmartSpeaker)、虚拟/增强现实(VR/AR)与自动驾驶车系统陆续进入人类生活环境,加速在不需要屏幕的情况下,人们也能够很轻松自在与运算系统沟通。
这表示着人工智能透过自然语言处理与机器学习让技术变得更为直观,也变得较易操控,未来将可以取代屏幕在用户接口与用户体验的地位。人工智能除了在企业后端扮演重要角色外,在技术接口也可承担更复杂角色。
例如:使用视觉图形的自动驾驶车,透过人工神经网络以实现实时翻译,也就是说,人工智能让接口变得更为简单且更有智能,也因此设定了未来互动的高标准模式。
趋势四:未来手机芯片一定内建AI运算核心现阶段主流的ARM架构处理器速度不够快,若要进行大量的图像运算仍嫌不足,所以未来的手机芯片一定会内建AI运算核心。
正如,苹果将3D感测技术带入iPhone之后,Android阵营智能手机将在明年跟进导入3D感测相关应用。趋势五:AI芯片关键在于成功整合软硬件AI芯片的核心是半导体及算法。
AI硬件主要是要求更快指令周期与低功耗,包括GPU、DSP、ASIC、FPGA和神经元芯片,且须与深度学习算法相结合,而成功相结合的关键在于先进的封装技术。
总体来说GPU比FPGA快,而在功率效能方面FPGA比GPU好,所以AI硬件选择就看产品供货商的需求考虑而定。
例如,苹果的FaceID脸部辨识就是3D深度感测芯片加上神经引擎运算功能,整合高达8个组件进行分析,分别是红外线镜头、泛光感应组件、距离传感器、环境光传感器、前端相机、点阵投影器、喇叭与麦克风。
苹果强调用户的生物识别数据,包含:指纹或脸部辨识都以加密形式储存在iPhone内部,所以不易被窃取。
人工神经网络特有的非线性适应性信息处理能力,克服了传统人工智能方法对于直觉,如模式、语音识别、非结构化信息处理方面的缺陷,使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。
人工神经网络与其它传统方法相结合,将推动人工智能和信息处理技术不断发展。
近年来,人工神经网络正向模拟人类认知的道路上更加深入发展,与模糊系统、遗传算法、进化机制等结合,形成计算智能,成为人工智能的一个重要方向,将在实际应用中得到发展。
将信息几何应用于人工神经网络的研究,为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快,已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。
神经网络在很多领域已得到了很好的应用,但其需要研究的方面还很多。
其中,具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统,已经成为一大研究热点。
由于其他方法也有它们各自的优点,所以将神经网络与其他方法相结合,取长补短,继而可以获得更好的应用效果。
目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。下面主要就神经网络与小波分析、混沌、粗集理论、分形理论的融合进行分析。
与小波分析的结合1981年,法国地质学家Morlet在寻求地质数据时,通过对Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造性的研究,首次提出了小波分析的概念,建立了以他的名字命名的Morlet小波。
1986年以来由于YMeyer、S.Mallat及IDaubechies等的奠基工作,小波分析迅速发展成为一门新兴学科。
Meyer所著的小波与算子,Daubechies所著的小波十讲是小波研究领域最权威的著作。小波变换是对Fourier分析方法的突破。
它不但在时域和频域同时具有良好的局部化性质,而且对低频信号在频域和对高频信号在时域里都有很好的分辨率,从而可以聚集到对象的任意细节。
小波分析相当于一个数学显微镜,具有放大、缩小和平移功能,通过检查不同放大倍数下的变化来研究信号的动态特性。因此,小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。
小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合,因而具有较强的逼近能力和容错能力。
在结合方法上,可以将小波函数作为基函数构造神经网络形成小波网络,或者小波变换作为前馈神经网络的输入前置处理工具,即以小波变换的多分辨率特性对过程状态信号进行处理,实现信噪分离,并提取出对加工误差影响最大的状态特性,作为神经网络的输入。
小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用,将小波神经网络用于感应伺服电机的智能控制,使该系统具有良好的跟踪控制性能,以及好的鲁棒性,利用小波包神经网络进行心血管疾病的智能诊断,小波层进行时频域的自适应特征提取,前向神经网络用来进行分类,正确分类率达到94%。
小波神经网络虽然应用于很多方面,但仍存在一些不足。从提取精度和小波变换实时性的要求出发,有必要根据实际情况构造一些适应应用需求的特殊小波基,以便在应用中取得更好的效果。
另外,在应用中的实时性要求,也需要结合DSP的发展,开发专门的处理芯片,从而满足这方面的要求。混沌神经网络混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。
由于它具有广泛的应用价值,自它出现以来就受到各方面的普遍关注。
混沌是一种确定的系统中出现的无规则的运动,混沌是存在于非线性系统中的一种较为普遍的现象,混沌运动具有遍历性、随机性等特点,能在一定的范围内按其自身规律不重复地遍历所有状态。
混沌理论所决定的是非线性动力学混沌,目的是揭示貌似随机的现象背后可能隐藏的简单规律,以求发现一大类复杂问题普遍遵循的共同规律。
1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型,将混沌学引入神经网络中,使得人工神经网络具有混沌行为,更加接近实际的人脑神经网络,因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一,成为神经网络的主要研究方向之一。
与常规的离散型Hopfield神经网络相比较,混沌神经网络具有更丰富的非线性动力学特性,主要表现如下:在神经网络中引入混沌动力学行为;混沌神经网络的同步特性;混沌神经网络的吸引子。
当神经网络实际应用中,网络输入发生较大变异时,应用网络的固有容错能力往往感到不足,经常会发生失忆现象。
混沌神经网络动态记忆属于确定性动力学运动,记忆发生在混沌吸引子的轨迹上,通过不断地运动(回忆过程)一一联想到记忆模式,特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式,混沌神经网络总能通过动态联想记忆加以重现和辨识,而不发生混淆,这是混沌神经网络所特有的性能,它将大大改善Hopfield神经网络的记忆能力。
混沌吸引子的吸引域存在,形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。
混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中,并且起到一定的作用,动物学的电生理实验已证实了这一点。
混沌神经网络由于其复杂的动力学特性,在动态联想记忆、系统优化、信息处理、人工智能等领域受到人们极大的关注。
针对混沌神经网络具有联想记忆功能,但其搜索过程不稳定,提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。研究了混沌神经网络在组合优化问题中的应用。
为了更好的应用混沌神经网络的动力学特性,并对其存在的混沌现象进行有效的控制,仍需要对混沌神经网络的结构进行进一步的改进和调整,以及混沌神经网络算法的进一步研究。
基于粗集理论粗糙集(RoughSets)理论是1982年由波兰华沙理工大学教授Z.Pawlak首先提出,它是一个分析数据的数学理论,研究不完整数据、不精确知识的表达、学习、归纳等方法。
粗糙集理论是一种新的处理模糊和不确定性知识的数学工具,其主要思想就是在保持分类能力不变的前提下,通过知识约简,导出问题的决策或分类规则。
目前,粗糙集理论已被成功应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域。
粗集和神经网络的共同点是都能在自然环境下很好的工作,但是,粗集理论方法模拟人类的抽象逻辑思维,而神经网络方法模拟形象直觉思维,因而二者又具有不同特点。
粗集理论方法以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入,输入空间与输出空间的映射关系是通过简单的决策表简化得到的,它考虑知识表达中不同属性的重要性确定哪些知识是冗余的,哪些知识是有用的,神经网络则是利用非线性映射的思想和并行处理的方法,用神经网络本身结构表达输入与输出关联知识的隐函数编码。
在粗集理论方法和神经网络方法处理信息中,两者存在很大的两个区别:其一是神经网络处理信息一般不能将输入信息空间维数简化,当输入信息空间维数较大时,网络不仅结构复杂,而且训练时间也很长;而粗集方法却能通过发现数据间的关系,不仅可以去掉冗余输入信息,而且可以简化输入信息的表达空间维数。
其二是粗集方法在实际问题的处理中对噪声较敏感,因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神经网络方法有较好的抑制噪声干扰的能力。
因此将两者结合起来,用粗集方法先对信息进行预处理,即把粗集网络作为前置系统,再根据粗集方法预处理后的信息结构,构成神经网络信息处理系统。
通过二者的结合,不但可减少信息表达的属性数量,减小神经网络构成系统的复杂性,而且具有较强的容错及抗干扰能力,为处理不确定、不完整信息提供了一条强有力的途径。
目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域,将神经网络和粗集用于声源位置的自动识别,将神经网络和粗集用于专家系统的知识获取中,取得比传统专家系统更好的效果,其中粗集进行不确定和不精确数据的处理,神经网络进行分类工作。
虽然粗集与神经网络的结合已应用于许多领域的研究,为使这一方法发挥更大的作用还需考虑如下问题:模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网络方法更加有效的结合;二者集成的软件和硬件平台的开发,提高其实用性。
与分形理论的结合自从美国哈佛大学数学系教授BenoitB.Mandelbrot于20世纪70年代中期引入分形这一概念,分形几何学(Fractalgeometry)已经发展成为科学的方法论--分形理论,且被誉为开创了20世纪数学重要阶段。
现已被广泛应用于自然科学和社会科学的几乎所有领域,成为现今国际上许多学科的前沿研究课题之一。由于在许多学科中的迅速发展,分形已成为一门描述自然界中许多不规则事物的规律性的学科。
它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。
用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象,可以收到显著的效果,而将神经网络与分形理论相结合,充分利用神经网络非线性映射、计算能力、自适应等优点,可以取得更好的效果。
分形神经网络的应用领域有图像识别、图像编码、图像压缩,以及机械设备系统的故障诊断等。
分形图像压缩/解压缩方法有着高压缩率和低遗失率的优点,但运算能力不强,由于神经网络具有并行运算的特点,将神经网络用于分形图像压缩/解压缩中,提高了原有方法的运算能力。
将神经网络与分形相结合用于果实形状的识别,首先利用分形得到几种水果轮廓数据的不规则性,然后利用3层神经网络对这些数据进行辨识,继而对其不规则性进行评价。
分形神经网络已取得了许多应用,但仍有些问题值得进一步研究:分形维数的物理意义;分形的计算机仿真和实际应用研究。随着研究的不断深入,分形神经网络必将得到不断的完善,并取得更好的应用效果。?。
1、机器视觉和语音识别是主要市场技术层是基于基础理论和数据之上,面向细分应用开发的技术。中游技术类企业具有技术生态圈、资金和人才三重壁垒,是人工智能产业的核心。
相比较绝大多数上游和下游企业聚焦某一细分领域、技术层向产业链上下游扩展较为容易。该层面包括算法理论(机器学习)、平台框架和应用技术(计算机视觉、语音识别、自然语言处理)。
众多国际科技巨头和独角兽均在该层级开展广泛布局。近年来,我国技术层围统垂直领城重点研发,在计算机视觉、语音识别等领城技术成熟,国内头部企业脱颗而出,竞争优势明显。
2、计算机视觉发展历经三大理念,规模突破400亿元1982年马尔(DavidMarr)《视觉》(Marr,1982)一书的问世,标志着计算机视觉成为了一门独立学科。
计算机视觉的研究内容,大体可以分为物体视觉(objectvision)和空间视觉(spatialvision)二大部分。
物体视觉在于对物体进行精细分类和鉴别,而空间视觉在于确定物体的位置和形状,为“动作(action)”服务。
正像著名的认知心理学家JJ.Gibson所言,视觉的主要功能在于“适应外界环境,控制自身运动”。适应外界环境和控制自身运动,是生物生存的需求,这些功能的实现需要靠物体视觉和空间视觉协调完成。
计算机视觉近40年的发展中,尽管人们提出了大量的理论和方法,但总体上说,计算机视觉经历了三个主要历程。即:马尔计算视觉、多视几何与分层三维重建和基于学习的视觉。
国际市场研究机构Research And Markets发布的最新报告显示,2019年全球计算机视觉市场规模为46.433亿美元,预计到2027年将达到950.805亿美元,从2020年到2027年,预计年复合增长率为46.9%。
3、语音识别发展科追溯到1956年语音识别的研究工作可以追溯到20世纪50年代。
在1952年,AT&T贝尔研究所的Davis,Biddulph和Balashek研究成功了世界上第一个语音识别系统Audry系统,可以识别10个英文数字发音。
这个系统识别的是一个人说出的孤立数字,并且很大程度上依赖于每个数字中的元音的共振峰的测量。
1956年,在RCA实验室,Olson和Belar研制了可以识别一个说话人的10个单音节的系统,它同样依赖于元音带的谱的测量。
到21世纪之后,深度学习技术极大的促进了语音识别技术的进步,识别精度大大提高,应用得到广泛发展。目前,语音识别技术已逐渐被应用于工业、通信、商务、家电、医疗、汽车电子以及家庭服务等各个领域。
例如,现今流行的手机语音助手,就是将语音识别技术应用到智能手机中,能够实现人与手机的智能对话功能。其中包括美国苹果公司的Siri语音助手,智能360语音助手,百度语音助手等。
随着语音技术和自然语言理解技术的快速进步,AI语音语义技术已在智能翻译、智能医疗、智能汽车、智能客服、互联网语音审核等多个领域实现场景应用。
疫情之后不仅是工业领域,政务服务领域的语音机器人、传统行业企业的语音机器人也将有较高的市场增长空间。另外,NLP、AI数字员工、RPA的发展,一定程度上也将重塑AI应用场景。
2018年,全球智能语音市场仍呈现快速增长趋势,市场规模为142.1亿美元,根据预测到2024年全球智能语音市场规模将达到215亿美元,其中智慧医疗健康、智慧金融以及各类智能终端智能语音技术需求将成为主要的驱动因素。
4、美国AI高层次学者数量大幅领先AI高层次学者是指入选AI2000榜单的2000位人才,由于存在同一学者入选不同领域的现象,经过去重处理后,AI高层次学者共计1833位。
从国家角度看AI高层次学者分布,美国A1高层次学者的数量最多,有1244人次,占比62.2%,超过总人数的一半以上,且是第二位国家数量的6倍以上。
中国排在美国之后,位列第二,有196人次,占比9.8%。德国位列第三,是欧洲学者数量最多的国家;其余国家的学者数量均在100人次以下。
——以上数据参考前瞻产业研究院《中国人工智能行业市场前瞻与投资战略规划分析报告》
。
神经网络的云集成模式还不是很成熟,应该有发展潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,所以决策支持系统中并不是很热门,但是神经网络无视过程的优点也是无可替代的,云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话,也许就能使神经网络成熟起来1人工神经网络产生的背景自古以来,关于人类智能本源的奥秘,一直吸引着无数哲学家和自然科学家的研究热情。
生物学家、神经学家经过长期不懈的努力,通过对人脑的观察和认识,认为人脑的智能活动离不开脑的物质基础,包括它的实体结构和其中所发生的各种生物、化学、电学作用,并因此建立了神经元网络理论和神经系统结构理论,而神经元理论又是此后神经传导理论和大脑功能学说的基础。
在这些理论基础之上,科学家们认为,可以从仿制人脑神经系统的结构和功能出发,研究人类智能活动和认识现象。
另一方面,19世纪之前,无论是以欧氏几何和微积分为代表的经典数学,还是以牛顿力学为代表的经典物理学,从总体上说,这些经典科学都是线性科学。
然而,客观世界是如此的纷繁复杂,非线性情况随处可见,人脑神经系统更是如此。复杂性和非线性是连接在一起的,因此,对非线性科学的研究也是我们认识复杂系统的关键。
为了更好地认识客观世界,我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型,就这样应运而生了。
所以,人工神经网络的创立不是偶然的,而是20世纪初科学技术充分发展的产物。2人工神经网络的发展人工神经网络的研究始于40年代初。半个世纪以来,经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。
1943年,心理学家W.S.Mcculloch和数理逻辑学家W.Pitts提出了M—P模型,这是第一个用数理语言描述脑的信息处理过程的模型,虽然神经元的功能比较弱,但它为以后的研究工作提供了依据。
1949年,心理学家提出突触联系可变的假设,根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。
1957年,计算机科学家Rosenblatt提出了著名的感知机模型,它的模型包含了现代计算机的一些原理,是第一个完整的人工神经网络,第一次把神经网络研究付诸工程实现。
由于可应用于模式识别,联想记忆等方面,当时有上百家实验室投入此项研究,美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助,并在声纳信号识别等领域取得一定成绩。
1960年,B.Windrow和E.Hoff提出了自适应线性单元,它可用于自适应滤波、预测和模式识别。至此,人工神经网络的研究工作进入了第一个高潮。
1969年,美国著名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书,从理论上证明单层感知机的能力有限,诸如不能解决异或问题,而且他们推测多层网络的感知机能力也不过如此,他们的分析恰似一瓢冷水,很多学者感到前途渺茫而纷纷改行,原先参与研究的实验室纷纷退出,在这之后近10年,神经网络研究进入了一个缓慢发展的萧条期。
这期间,芬兰学者T.Kohonen提出了自组织映射理论,反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律;美国学者S.A.Grossberg的自适应共振理论(ART);日本学者K.Fukushima提出了认知机模型;ShunIchimari则致力于神经网络有关数学理论的研究等,这些研究成果对以后的神经网络的发展产生了重要影响。
美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章,有力地推动了神经网络的研究,引起了研究神经网络的又一次热潮。
1982年,他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中,首次引入了网络能量函数的概念,并给出了网络稳定性的判定依据。
1984年,他又提出了网络模型实现的电子电路,为神经网络的工程实现指明了方向,他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径,并为神经计算机研究奠定了基础。
1984年Hinton等人将模拟退火算法引入到神经网络中,提出了Boltzmann机网络模型,BM网络算法为神经网络优化计算提供了一个有效的方法。
1986年,D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法,成为至今为止影响很大的一种网络学习方法。
1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络,该网络具有分类灵活,算法简练的优点,可用于模式分类、函数逼近、统计分析和数据压缩等领域。
1988年L.Ochua等人提出了细胞神经网络模型,它在视觉初级加工上得到了广泛应用。为适应人工神经网络的发展,1987年成立了国际神经网络学会,并决定定期召开国际神经网络学术会议。
1988年1月NeuralNetwork创刊。1990年3月IEEETransactiononNeuralNetwork问世。
我国于1990年12月在北京召开了首届神经网络学术大会,并决定以后每年召开一次。1991年在南京成立了中国神经网络学会。IEEE与INNS联合召开的IJCNN92已在北京召开。
这些为神经网络的研究和发展起了推波助澜的作用,人工神经网络步入了稳步发展的时期。90年代初,诺贝尔奖获得者Edelman提出了Darwinism模型,建立了神经网络系统理论。
同年,Aihara等在前人推导和实验的基础上,给出了一个混沌神经元模型,该模型已成为一种经典的混沌神经网络模型,该模型可用于联想记忆。
Wunsch在90OSA年会上提出了一种AnnualMeeting,用光电执行ART,学习过程有自适应滤波和推理功能,具有快速和稳定的学习特点。
1991年,Hertz探讨了神经计算理论,对神经网络的计算复杂性分析具有重要意义;Inoue等提出用耦合的混沌振荡子作为某个神经元,构造混沌神经网络模型,为它的广泛应用前景指明了道路。
1992年,Holland用模拟生物进化的方式提出了遗传算法,用来求解复杂优化问题。1993年方建安等采用遗传算法学习,研究神经网络控制器获得了一些结果。
1994年Angeline等在前人进化策略理论的基础上,提出一种进化算法来建立反馈神经网络,成功地应用到模式识别,自动控制等方面;廖晓昕对细胞神经网络建立了新的数学理论和方法,得到了一系列结果。
HayashlY根据动物大脑中出现的振荡现象,提出了振荡神经网络。
1995年Mitra把人工神经网络与模糊逻辑理论、生物细胞学说以及概率论相结合提出了模糊神经网络,使得神经网络的研究取得了突破性进展。
Jenkins等人研究光学神经网络,建立了光学二维并行互连与电子学混合的光学神经网络,它能避免网络陷入局部最小值,并最后可达到或接近最理想的解;SoleRV等提出流体神经网络,用来研究昆虫社会,机器人集体免疫系统,启发人们用混沌理论分析社会大系统。
1996年,ShuaiJW’等模拟人脑的自发展行为,在讨论混沌神经网络的基础上提出了自发展神经网络。
1997、1998年董聪等创立和完善了广义遗传算法,解决了多层前向网络的最简拓朴构造问题和全局最优逼近问题。
随着理论工作的发展,神经网络的应用研究也取得了突破性进展,涉及面非常广泛,就应用的技术领域而言有计算机视觉,语言的识别、理解与合成,优化计算,智能控制及复杂系统分析,模式识别,神经计算机研制,知识推理专家系统与人工智能。
涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显著的成绩,并逐步形成产品。
在美国,神经计算机产业已获得军方的强有力支持,国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”,仅一项8年神经计算机计划就投资4亿美元。
在欧洲共同体的ESPRIT计划中,就有一项特别项目:“神经网络在欧洲工业中的应用”,单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称,日本在神经网络研究上的投资大约是美国的4倍。
我国也不甘落后,自从1990年批准了南开大学的光学神经计算机等3项课题以来,国家自然科学基金与国防预研基金也都为神经网络的研究提供资助。
另外,许多国际著名公司也纷纷卷入对神经网络的研究,如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段,被国防、企业和科研部门选用。
在举世瞩目的海湾战争中,美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下,人工神经网络定会取得新的突破,迎来又一个高潮。自1958年第一个神经网络诞生以来,其理论与应用成果不胜枚举。
人工神经网络是一个快速发展着的一门新兴学科,新的模型、新的理论、新的应用成果正在层出不穷地涌现出来。
3人工神经网络的发展前景针对神经网络存在的问题和社会需求,今后发展的主要方向可分为理论研究和应用研究两个方面。(1)利用神经生理与认识科学研究大脑思维及智能的机理、计算理论,带着问题研究理论。
人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径,但是由于人类起初对神经系统了解非常有限,对于自身脑结构及其活动机理的认识还十分肤浅,并且带有某种“先验”。
例如,Boltzmann机引入随机扰动来避免局部极小,有其卓越之处,然而缺乏必要的脑生理学基础,毫无疑问,人工神经网络的完善与发展要结合神经科学的研究。
而且,神经科学,心理学和认识科学等方面提出的一些重大问题,是向神经网络理论研究提出的新挑战,这些问题的解决有助于完善和发展神经网络理论。
因此利用神经生理和认识科学研究大脑思维及智能的机理,如有新的突破,将会改变智能和机器关系的认识。
利用神经科学基础理论的研究成果,用数理方法探索智能水平更高的人工神经网络模型,深入研究网络的算法和性能,如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等,开发新的网络数理理论。
由于神经网络的非线性,因此非线性问题的研究是神经网络理论发展的一个最大动力。
特别是人们发现,脑中存在着混沌现象以来,用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题,因为从生理本质角度出发是研究神经网络的根本手段。
(2)神经网络软件模拟,硬件实现的研究以及神经网络在各个科学技术领域应用的研究。
由于人工神经网络可以用传统计算机模拟,也可以用集成电路芯片组成神经计算机,甚至还可以用光学的、生物芯片的方式实现,因此研制纯软件模拟,虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。
如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题;如何使神经网络计算机的功能向智能化发展,研制与人脑功能相似的智能计算机,如光学神经计算机,分子神经计算机,将具有十分诱人的前景。
4哲理(1)人工神经网络打开了认识论的新领域认识与脑的问题,长期以来一直受到人们的关注,因为它不仅是有关人的心理、意识的心理学问题,也是有关人的思维活动机制的脑科学与思维科学问题,而且直接关系到对物质与意识的哲学基本问题的回答。
人工神经网络的发展使我们能够更进一步地既唯物又辩证地理解认识与脑的关系,打开认识论的新领域。
人脑是一个复杂的并行系统,它具有“认知、意识、情感”等高级脑功能,用人工进行模拟,有利于加深对思维及智能的认识,已对认知和智力的本质的研究产生了极大的推动作用。
在研究大脑的整体功能和复杂性方面,人工神经网络给人们带来了新的启迪。
由于人脑中存在混沌现象,混沌可用来理解脑中某些不规则的活动,从而混沌动力学模型能用作人对外部世界建模的工具,可用来描述人脑的信息处理过程。
混沌和智能是有关的,神经网络中引入混沌学思想有助于提示人类形象思维等方面的奥秘。
人工神经网络之所以再度兴起,关键在于它反映了事物的非线性,抓住了客观世界的本质,而且它在一定程度上正面回答了智能系统如何从环境中自主学习这一最关键的问题,从认知的角度讲,所谓学习,就是对未知现象或规律的发现和归纳。
由于神经网络具有高度的并行性,高度的非线性全局作用,良好的容错性与联想记忆功能以及十分强的自适应、自学习功能,而使得它成为揭示智能和了解人脑工作方式的合理途径。
但是,由于认知问题的复杂性,目前,我们对于脑神经网的运行和神经细胞的内部处理机制,如信息在人脑是如何传输、存贮、加工的?记忆、联想、判断是如何形成的?大脑是否存在一个操作系统?
还没有太多的认识,因此要制造人工神经网络来模仿人脑各方面的功能,还有待于人们对大脑信息处理机理认识的深化。
(2)人工神经网络发展的推动力来源于实践、理论和问题的相互作用随着人们社会实践范围的不断扩大,社会实践层次的不断深入,人们所接触到的自然现象也越来越丰富多彩、纷繁复杂,这就促使人们用不同的原因加以解释不同种类的自然现象,当不同种类的自然现象可以用同样的原因加以解释,这样就出现了不同学科的相互交叉、综合,人工神经网络就这样产生了。
在开始阶段,由于这些理论化的网络模型比较简单,还存在许多问题,而且这些模型几乎没有得到实践的检验,因而神经网络的发展比较缓慢。
随着理论研究的深入,问题逐渐地解决特别是工程上得到实现以后,如声纳识别成功,才迎来了神经网络的第一个发展高潮。
可Minisky认为感知器不能解决异或问题,多层感知器也不过如此,神经网络的研究进入了低谷,这主要是因为非线性问题没得到解决。
随着理论的不断丰富,实践的不断深入,现在已证明Minisky的悲观论调是错误的。今天,高度发达的科学技术逐渐揭示了非线性问题是客观世界的本质。
问题、理论、实践的相互作用又迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高,还有其它理论和实现方面的问题,这就迫使人们不断地进行理论研究,不断实践,促使神经网络不断向前发展。
总之,先前的原因遇到了解释不同的新现象,促使人们提出更加普遍和精确的原因来解释。
理论是基础,实践是动力,但单纯的理论和实践的作用还不能推动人工神经网络的发展,还必须有问题提出,才能吸引科学家进入研究的特定范围,引导科学家从事相关研究,从而逼近科学发现,而后实践又提出新问题,新问题又引发新的思考,促使科学家不断思考,不断完善理论。
人工神经网络的发展无不体现着问题、理论和实践的辩证统一关系。
(3)人工神经网络发展的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同人工神经网络本身就是一门边缘学科,它的发展有更广阔的科学背景,亦即是众多科研成果的综合产物,控制论创始人Wiener在其巨著《控制论》中就进行了人脑神经元的研究;计算机科学家Turing就提出过B网络的设想;Prigogine提出非平衡系统的自组织理论,获得诺贝尔奖;Haken研究大量元件联合行动而产生宏观效果,非线性系统“混沌”态的提出及其研究等,都是研究如何通过元件间的相互作用建立复杂系统,类似于生物系统的自组织行为。
脑科学与神经科学的进展迅速反映到人工神经网络的研究中,例如生物神经网络理论,视觉中发现的侧抑制原理,感受野概念等,为神经网络的发展起了重要的推动作用。
从已提出的上百种人工神经网络模型中,涉及学科之多,令人目不暇接,其应用领域之广,令人叹为观止。不同学科专家为了在这一领域取得领先水平,存在着不同程度的竞争,所有这些有力地推动了人工神经网络的发展。
人脑是一个功能十分强大、结构异常复杂的信息系统,随着信息论、控制论、生命科学,计算机科学的发展,人们越来越惊异于大脑的奇妙,至少到目前为止,人类大脑信号处理机制对人类自身来说,仍是一个黑盒子,要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力,对人类智能行为不断深入研究,为人工神经网络发展提供丰富的理论源泉。
另外,还要有哲学家的参与,通过哲学思想和自然科学多种学科的深层结合,逐步孕育出探索人类思维本质和规律的新方法,使思维科学从朦胧走向理性。
而且,不同领域专家的竞争与协调同有利于问题清晰化和寻求最好的解决途径。纵观神经网络的发展历史,没有相关学科的贡献,不同学科专家的竞争与协同,神经网络就不会有今天。
当然,人工神经网络在各个学科领域应用的研究反过来又推动其它学科的发展,推动自身的完善和发展。
现代意义上对神经网络(特指人工神经网络)的研究一般认为从1943年美国芝加哥大学的生理学家W.S.McCulloch和W.A.Pitts提出M-P神经元模型开始,到今年正好六十年。
在这六十年中,神经网络的发展走过了一段曲折的道路。
1965年M.Minsky和S.Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度,使得神经网络的研究从兴起期进入了停滞期,这是神经网络发展史上的第一个转折。
到了20世纪80年代初,J.J.Hopfield的工作和D.Rumelhart等人的PDP报告显示出神经网络的巨大潜力,使得该领域的研究从停滞期进入了繁荣期,这是神经网络发展史上的第二个转折。
到了20世纪90年代中后期,随着研究者们对神经网络的局限有了更清楚的认识,以及支持向量机等似乎更有前途的方法的出现,“神经网络”这个词不再象前些年那么“火爆”了。
很多人认为神经网络的研究又开始陷入了低潮,并认为支持向量机将取代神经网络。
有趣的是,著名学者C.-J.Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说,支持向量机虽然是一个非常热门的话题,但目前最主流的分类工具仍然是决策树和神经网络。
由著名的支持向量机研究者说出这番话,显然有一种特殊的意味。事实上,目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。
在1965年之后的很长一段时期里,美国和前苏联没有资助任何一项神经网络的研究课题,而今天世界各国对神经网络的研究仍然有大量的经费支持;1965年之后90%以上的神经网络研究者改变了研究方向,而今天无论是国际还是国内都有一支相对稳定的研究队伍。
实际上,神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定,而今天的相对平静是因为该领域已经走向成熟,很多技术开始走进生产和生活,从而造成了原有研究空间的缩小。
在科学研究中通常有这么一个现象,当某个领域的论文大量涌现的时候,往往正是该领域很不成熟、研究空间很大的时候,而且由于这时候人们对该领域研究的局限缺乏清楚的认识,其热情往往具有很大的盲目性。
从这个意义上说,过去若干年里各领域研究者一拥而上、各种专业刊物满眼“神经网络”的风光,其实是一种畸形繁荣的景象,而对神经网络的研究现在才进入了一个比较理智、正常的发展期。
在这段时期中,通过对以往研究中存在的问题和局限进行反思,并适当借鉴相关领域的研究进展,将可望开拓新的研究空间,为该领域的进一步发展奠定基础。
首先,人工智能的前景是广阔的,未来人工智能产品必然会逐渐应用到社会的各个领域,但是这个过程也是曲折和艰难的。
随着大数据、物联网、云计算、边缘计算等技术的推动,人工智能在近几年得到了广泛的关注,市场呼声也比较高,因为万物互联的背后必然要求万物智能,大数据不是最终的目的,智能化才是最终的目的。
可以说在大数据、物联网等技术的推动下,整个产业互联网解决方案的最后一个环节必然是人工智能,所以在这个背景下,当前大量的互联网公司和科技公司都陆续布局人工智能领域,也由此导致了人工智能人才的短缺。
从未来发展的前景来看,当前学习人工智能相关技术是不错的选择,也是顺应时代发展的选择。