c语言导论第十二周课后总结

关于图灵机
1.背景
在当今数据成指数增长的时代，数据背后的价值规律常常被埋没在海量的信息之下，如何透过表层现象挖掘在潜在价值并加以利用，这已成为当前技术的研究重点。自然语言处理是数据研究的一个热门领域，NLP需要机器从原生的人类语言中捕获信息，分析语言的中心思想，逻辑关系，情感等多种语义信息，良好的自然语言处理能力可能使机器更加智能。人机交互更加便利，更进一步的，它可以让机器向人类一样思考，增强机器思维的逻辑性。
在众多机器学习的方法中，神经网络以其自动提取特征，描述能力强等特点，成为机器学习界的黑马，在诸多研究领域取得了突破性的进展。
神经图灵机（Neural Turing Machine，NTM）本质上是一个精心设计的循环神经网络模型，他利用注意力机制为循环神经网络添加额外的储存矩阵和读写规则，从而增强模型称其记忆和逻辑储存能力。注意力机制是近几年十分火热的一种模型思想。其核心在于将离散的抉择或状态通过概率分布到形式连续化。这种思想的意义在于，离散状态连续化似的非0即1的状态变得可导，从而神经网络可以从随机的初始化逐步优化为最优状态。
神经图灵机适用于有强逻辑性的数据，相比于传统的循环神经网络，神经图灵机记忆单元隔离性更好，设计有读写头可对存储单元进行寻址操作，对记忆的存取策略更接近计算机程序。然而自然语言处理十分依赖与原是语句法结构的搭建。因此在使用神经图灵机整合豫剧信息的同事，还应加入句法结构信息的支持。
机器学习与人工智能的研究发展迅速,机器能够理解的知识也日益复杂,在诸多高级算法的研究中,自然语言处理是一个火热的研究领域,其目的是使机器理解原生的人类语言信息,并做出合理准确的判断。神经网络算法是自然语言处理中一个十分有效的方法,神经图灵机作为神经网络上的一种改进模型,在诸多实际任务中效果显著;深度强化学习的研究赋予了机器不断成长的能力,使机器能够从失败中学习,总结经验,做出调整。考虑上述两大模型的优势,针对传统自然语言处理模型在语义逻辑处理和关键词提取上的不足,以及语句结构调优上的不足,本文分别研究了结合注意力机制的神经图灵机方法,以及应用于自然语言处理上的深度强化学习方法,最终将两者结合共同作用于自然语言处理。首先,提出了基于词级注意力的神经图灵机模型。针对现有自然语言处理模型逻辑理解与记忆能力不佳、语句关键词难以获取的问题,借助神经图灵机对语句序列建模,加强模型对词语的逻辑处理和长时记忆能力;同时在语句的隐层特征上添加注意力层,在词语层面进行权重计算,加强语句关键词作用,提取关键词信息。其次,提出了基于深度强化学习的语句结构生成模型。针对现有自然语言处理中语句结构难以调优且人工干预较多的问题,使用深度强化学习方法优化语句结构的生成策略,筛选语句中的词语。根据具体语境和语言处理任务精简语句结构,使用语句生成模型支撑神经图灵机模型的预测,使两模型形成对偶形式,共同训练,共同提高。最后,将上述两模型结合,设计并实现了基于强化学习图灵机的舆情分析系统。针对现有自然语言处理模型的工程性应用较少、而舆论舆情信息分析需求较大的问题,将本文提出的深度强化学习与神经图灵机相结合的模型进行了封装和代码重构,设计了舆情分析系统界面与业务流程,最终舆情分析系统很好的完成了舆情信息的收集、处理、分析、归档等操作。
神经图灵机思维导图

关于计算机科学

计算机系统属于工程系统，由许多连通的层和子系统组成，这些层和子系统之间的交互模式复杂，并且可能随时间变化．从第一台通用电子计算机问世以来，计算机系统在性能、存储等方面飞速发展．这既得益于计算机系统生产技术的发展，也得益于计算机系统体系结构的优化设计和创新口]．系统体系结构是系统的全局视图和主要结构，包括系统组成和交互特征，贯穿包括前期功能区分设计等在内的系统设计实现的所有阶段，综合考虑系统的功能需求、属性指标和约束条件等许多方面口]．与具体细节设计、实现不同，体系结构或者说体系结构设计是一个更高级别的抽象，侧重各个组成部分的外在可见属性[3]．对系统体系结构的深入研究可以加深对对象系统的理解，有助于系统更好地设计和实现n]，缺少理论基础、不成熟的体系结构会影响部分乃至整个系统的运转[5“]．传统的计算机体系结构指计算机的概念性结构与功能特性，包括指令集体系结构(Instruction Set Architecture，ISA)、组成
(Organization)和硬件(Hardware)，负责在不同的层次分配软硬件功能和确定软硬件界面。
计算机是一种进行算术和逻辑运算的机器，而且对于由若干台计算机联成的系统而言还有通信问题,并且处理的对象都是信息,因而也可以说，计算机科学是研究信息处理的科学。计算机科学分为理论计算机科学和实验计算机科学两个部分。在数学文献中所说的计算机科学，一般是指理论计算机科学。实验计算机科学还包括有关开辟计算机新的应用领域的研究。
计算机科学的大部分研究是基于“冯·诺依曼计算机”和“图灵机”的，它们是绝大多数实际机器的计算模型。作为此模型的开山鼻祖，邱奇-图灵论题（Church-Turing Thesis）表明，尽管在计算的时间，空间效率上可能有所差异，现有的各种计算设备在计算的能力上是等同的。尽管这个理论通常被认为是计算机科学的基础，可是科学家也研究其它种类的机器，如在实际层面上的并行计算机和在理论层面上概率计算机、oracle 计算机和量子计算机。在这个意义上来讲，计算机只是一种计算的工具：著名的计算机科学家 Dijkstra 有一句名言“计算机科学之关注于计算机并不甚于天文学之关注于望远镜。
作为一个学科，计算机科学涵盖了从算法的理论研究和计算的极限，到如何通过硬件和软件实现计算系统。CSAB（以前被叫做Computing Sciences Accreditation Board），由Association for Computing Machinery（ACM）和IEEE Computer Society（IEEE-CS）的代表组成，确立了计算机科学学科的4个主要领域：计算理论，算法与数据结构，编程方法与编程语言，以及计算机元素与架构。CSAB还确立了其它一些重要领域，如软件工程，人工智能，计算机网络与通信，数据库系统，并行计算，分布式计算，人机交互，机器翻译，计算机图形学，操作系统，以及数值和符号计算。
算法指定义良好的计算过程，它取一个或一组值作为输入，经过一系列定义好的计算过程，得到一个或一组输出。算法是计算机科学研究的一个重要领域，也是许多其他计算机科学技术的基础。算法主要包括数据结构、计算几何、图论等。除此之外，算法还包括许多杂项，如模式匹配、部分数论等。