计算机前沿技术讲座心得体会

计算机前沿技术讲座心得体会 ——新型数据管理与大数据分析技术

摘要：这学期学院开设的前沿讲座的课程，很有幸听到了智能科学与技术系的xx老师对于自己在计算机前沿方面研究的讲座，讲座的内容是关于新型数据管理与大数据分析技术，让我对这些知识有了深入浅出的理解，受益匪浅。
近几年来，互联网行业发展风起云涌，而这其中，“大数据”更是炙手可热，很有可能成为新一轮的技术革命。“大数据”能给企业带来前所未有的商业价值与机会，它可以帮助企业将现有的数据与实时产生的数据有效整合，以少量的投入获得更大的回报。据前瞻产业研究院《2014-2018年中国大数据产业发展前景与投资战略规划分析报告》显示，全球大数据技术及服务市场年复合增长率将达31.7%，预计2016年收入将飙至238亿美元，其增速约为ICT市场整体增速的7倍之多。
关键词：数据管理 大数据分析 云计算 流计算

一．概述
我们正处于一个信息化的时代。在信息化时代，我认为数据就是金钱、就是成功的根基。借助于电脑和卫星等科技的帮助，我们能够收集大量的数据。起初，我们利用电脑和各式各样的存储技术来存储各种形态的数据。然而，随着时间的推移，大量的异构的数据存储构成的数据集就变的异常的庞大。
　　随着因特网在全球范围的普及，数据量变的如此的巨大，以至于使用现有的数据管理方法或者传统的数据处理应用很难应付。上述所提到的大规模、大体量的数据集我们就称之为大数据。大数据就是一类复杂且庞大的数据集合，传统的数据管理工具或者应用已经无法胜任其数据的处理工作。数据之所以会大规模的增长，其中一个原因就在于通过对一些具有单一关联的大型数据集的分析，产生的额外的信息资源。这些通过分析产生的信息资源利用的案例可以在“景点的商业发展趋势的预测”、“研究成果质量的预测”、“疾病的预防”、“打击犯罪”和“预测实时交通拥塞程度”等场景下看到。传统的数据处理的方法，对于那些建立在特定数据集上的离线的数据，以及批量到达的数据显得相对有效。但是随着时代的发展和处理任务的更迭，有时候，我们的任务所处理的对象是流式数据，或者在线的实时产生的数据。越来越多的实时应用程序需要动态的处理基于流式数据的一些查询请求。若在这样的请求中，在运用传统的方法，那么无论是对于空间占用还是效率来说，可能花销都是比较大的。现在先对流式数据的一些概念加以阐释。下述内容主要也将针对流式数据展开。
　　为了能够在数据仓库中提取出一些新的潜在信息，我们已经掌握了一些系列数据挖掘的技术。但是如今，当我们试图从大量的流式数据中以一种合适、高效的方法来提取我们所需要的信息时，出现了一系列的挑战。在处理流式数据挖掘的时候，我们不能无视静态数据和流式数据之间的区别。我们知道，静态数据是预先存储在固定的设备上，供查询和分析，一边找到潜在的价值。但是，由于流式数据连续性特性，很显然无法完全存储不断进入应用的流式数据，而且，应用通常也要求我们要在极短的时间内对请求做出相应，这与处理静态数据来比，时间显然要短得多。因此流式数据的挖掘处理主要面对内存管理、数据结构和资源分配方面的挑战。

二．技术现况和面临的挑战
随着大数据相关的基础设施、服务器、软件系统和理论体系的持续发展，目前大数据分析方面的解决方案已经逐渐成熟，并且越来越普及，而不像前几年那样还是少数科技极客眼中的新领域。随着技术的成熟，自助和自动化的信息服务也将越来越受到重视。大数据分析工具和相关的解决方案虽然会变得越来越简单易用，但我们仍然需要具备基本的通信技术和信息处理领域的专业知识，随时准备迎接下一个发展阶段的到来。未来，和机器学习、人工智能、VR/AR、物联网相关的大数据解决方案将越来越完备。
据前瞻产业研究院《2014-2018年中国大数据产业发展前景与投资战略规划分析报告》显示，全球大数据技术及服务市场年复合增长率将达31.7%，预计2016年收入将飙至238亿美元，其增速约为ICT市场整体增速的7倍之多。截止到目前，数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）表示，未来八年内全球产生的数据量将超过40ZB，并且全球的数据使用量到2020年会增长44倍，其中主要的增长来源将会是大数据形式。这表明，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
2019年上半年，大数据产业增长势头强劲，互联网大数据服务、大数据服务(纳入软件产业统计部分)增速突出，均高于全行业平均增长水平。大型互联网公司、政府机构和国企成为业务发展的主要推动者，大数据与电信、金融、医疗、制造业等领域融合应用催生越来越多的新业态、新模式。根据生命周期理论判断，大数据仍处于成长期向成熟期的周期发展阶段，增速较大。
在企业层面，大数据企业持续深化垂直领域的业务布局。国内大数据企业纷纷加快面向垂直领域的大数据业务拓展。其中，从事数据分析与数据服务的企业占比最多，达到23%。此外，大数据金融、大数据营销、大数据医疗等领域也是企业主要的布局方向。国内大数据企业生态地图不断完善。根据最新数据显示，中国大数据相关企业共计5637家，包括已从事大数据业务的企业2621家，以及拥有相关专利、著作正在转型中的企业3016家。上述大数据企业大多分布在沿海地区，以北京、广东、上海最多。在应用层面，政府数据开放工作加快推进。政府数据开放平台数量和平台开放数据的数量和质量均有大幅提升，政府数据开放平台已经逐渐成为各个地方数字政府建设的标配。政府数据开放平台数量达到82个，比2018年同期增加36个。开放数据集总量迅速增长，2019年达到62801个。
2018年，以八大国家大数据综合试验区为引领的大数据发展态势已基本形成。京津冀地区着力打造大数据走廊格局，已初步形成大数据协同发展体系;以上海为核心的长三角地区，持续推进大数据与当地智慧城市建设，以及云计算、人工智能等其他新一代信息技术发展深度结合;珠三角地区在大数据应用创新、产品研发及产业管理方面率先垂范、具有成效;贵州、重庆、河南、沈阳等四个试验区近年来大数据产业发展势头迅猛，有望成为我国大数据发展的新增长极;而位于内蒙古自治区的基础设施类综合试验区，则充分发挥其在气候、资源、地形上的优势，不断加大资源整合力度，与东部、中西部地区的产业合作不断增强，在绿色集约的原则下逐步开始了跨越式发展。
当然，在大数据不断发展的同时，这项技术所面临的挑战也有所显现：一是原创性的技术和产品缺乏，系统性、平台级技术和解决方案的创新仍有差距。二是工业数字化基础不牢，工业大数据开发利用不足，大数据和实体经济融合程度有待进一步提升。三是大数据产业发展的保障体系尚未建立，大数据相关法律法规不健全，数据开放共享进程较慢。四是数据安全管理体系不够完善，数据分级分类管理、安全监测、预警处置能力有待加强。五是大数据人才缺口仍然很大，尤其缺乏既熟悉行业业务需求，又掌握大数据技术与管理的综合性人才。

三．技术发展前景及趋势
对于大数据领域来说，2016是令人激动的一年，因为“大数据”终于不再是一个流行词。这说明研究者们正在基于大数据开发真实可用的解决方案和应用程序，而不再是简单的噱头。到了2020年，随着技术的进步，以大数据为基础而开发的应用将越来越丰富。由于计算机的计算能力和真实可用的庞大数据量不再是问题，因此以人工智能和深度学习为代表的智能应用也将变得更加聪明，更加普及。总体上说，由于大数据、智能应用和越来越丰富的智能终端产品的出现，不过，随着大数据的广泛应用，数据安全和隐私问题也将越来越严峻。
我认为未来5年，大数据市场依旧保持稳定增长，一方面是政策的支持，另一方面得益于人工智能、5G、区块链、边缘计算的发展，未来多方技术融合必将成为趋势，随之带来的是数据增长呈井喷态势。中国经过几年的探索和尝试，基础设施建设已经初步形成，数据的重要性和价值也逐渐获得共识，数据治理、数据即服务、数据安全将受到广泛关注;同时，各行各业也在积极探索新的应用场景，未来我们会看到更多大数据与业务场景相结合的应用落地。因此，未来五年大数据软件和服务的支出占比将进一步扩大，硬件市场将保持平稳增长。未来5年大数据市场将由重基础设施向重应用落地转移，随着数据量的增长，数据治理和模型算法将持续受到关注。政府、金融和电信将保持持续增长的态势，而医疗和新零售将成为下一个大数据技术投入的新领域。随着数字中国建设持续推进,面对巨大的市场前景,大数据行业开始谋求“共生”发展。
纵观国内外，大数据已经形成产业规模，并上升到国家战略层面，大数据技术和应用呈现纵深发展趋势。面向大数据的云计算技术、大数据计算框架等不断推出，新型大数据挖掘方法和算法大量出现，大数据新模式、新业态层出不穷，传统产业开始利用大数据实现转型升级。

四．心得体会
10月5号，xx老师在讲座的最开始，对计算机前沿的知识做了简要的说明，然后xx老师从对流计算，图计算，数据可视化等几个方面进行了讲授，然后扩展到大数据技术，数据管理等深层次的知识。由于时间短暂，打算介绍大量的专业的知识是不太现实的。Xx老师授课的过程中都考虑到了时间限制以及我们有限的知识水平，从大处着眼，为我们大概介绍他们研究方向和内容，同时还会简单向我们介绍这些研究将来的实际意义，以及和我们计算机专业的联系。总的来说，也许理论上逻辑上的很专业的知识，我们并没有学到多少，但老师利用紧张的时间，就基本上将一个新的领域在我们的脑海中勾勒了出来，使我们这些死啃书本的学生也有机会现实了一把，真正了解到与生活有直接联系的科学研究。
xx老师不仅在学术领域给我们打开了新的窗户，使我们眼前一亮，也为我们介绍他们在工作学习中切身的体会及经验，提前向我们预警就业道路及工作生涯可能遇到的问题。计算机前沿类讲座旨在帮助大家了解相关领域的学科前沿知识，更好地学习、思考。Xx老师以自己的学识和阅历向同学们展现了当今IT业发展的现状以及存在的问题，引导同学们积极思考，使其收获颇多。