大数据为软件业提供新机遇

IEEE协会高级会员，中国计算机协会大数据专家委员，清华大学数据科学研究院顾问，中国软件行业协会过程改进分会常务理事和监事会长，2009年中国最佳软件研发中心领军人物，2013年中国软件工程成就人物，发展·创新十年(2004-2014)中国软件和服务外包卓越成就人物，并带领SAS连续8年10次获得中国最佳雇主称号。 　　近年来，软件与硬件、应用与服务紧密融合，网络化、服务化、融合化趋势日益明显。同时，大数据、云计算在各种场合被频繁提及，并且已成为新的生产力。大数据、云计算与软件行业的融合，已成为软件企业转型的重要步骤之一。近日，本报记者在北京对SAS（赛仕）软件研究开发（北京）有限公司总经理刘政进行专访，探索软件业如何改变自我、如何对IT和应用架构进行重新审视。 　　大数据云计算为中国软件企业提供了新的发展机遇 　　记者：大数据、云计算汹涌而来，软件企业应该如何应对？ 　　刘政：上世纪90年代开始，计算机慢慢普及，中国软件业快速发展，用友、金蝶等一批国内软件企业迅速崛起，SAS等国外软件企业在中国得到长足发展，可谓是软件企业的“黄金年代”。经历快速发展期，软件企业再上一个新台阶缺少更大的动力。大数据、云计算的出现可谓正当其时，数据分析在生产生活中扮演着越来越重要的角色，软件企业应当牢牢抓住机遇，跳出IT的局限来看待大数据，利用大数据为应用赋予价值，反过来又可以通过应用为大数据增值。大数据、云计算汹涌而来，驱动软件企业变革，要求软件企业为适应大数据、云计算时代，必须重新写代码、开发新的软件。 　　记者：数据分析是如何发展起来的？ 　　刘政：SAS是数据分析软件的开拓者，也见证了全球数据分析软件发展的历程。二次世界大战时期，美英两国率先使用运筹学的方法解决当时迫切需要把各种稀少的资源以最有效的方式分配给各个战场和军事单位的问题，便有了数据分析的雏形。到了1966年，计算机刚刚出现，美国农业部需要统计软件分析大量农业数据，美国南方8所大学获得研究基金，开发通用目的的统计分析软件包。这个软件包的名字成为了后来SAS公司的名字和产品基础。到了上世纪70年代，数据分析在美国已有了一定规模。 　　目前对非结构化数据的处理能力仅处于初级阶段 　　记者：在数据分析方面，现在与过去的最大区别在哪？ 　　刘政：数据分析的数量、种类、速度、方法都发生了巨大变化。过去的分析数据都是几十兆，达到G已经非常大。进入大数据时代，数据量呈爆炸式增长，现在已经是TB级了。大数据不仅是数据量大，类型也变多了。以前多是结构数据，而现在除了结构数据，还有大量的非结构化数据，包括文本数据、音频数据、视频数据、图像数据等。目前对非结构化数据的处理能力仅仅处于初级阶段，还不能像分析结构数据一般自如。传统数据分析方法和技术已经不能满足需要，数据处理技术从过去的单线程变成了多线程，高性能分析架构形成了今后数据分析的骨干架，目前比较普遍采用的是内存分析、数据库内分析和网格分析三项技术。 　　记者：内存分析、数据库内分析和网格分析具体是什么技术呢？ 　　刘政：内存分析技术是把数据直接放在内存做分析工作。数据库内分析是数据量大的时候，数据传输过程非常慢，现在我们把各数据分析的模型放在数据库里，只要给数据库发指令，就可以调用数据模型直接对库里的数据进行分析，这样就节省了数据传输的时间。网格计算分析就是分布式计算，把要处理的数据放在不同的机器上运行，然后把计算结果合并。把这三种技术结合起来，可以解决数据量大的问题，十余行的数据几乎可以达到实时处理。 　　浏览器化软件今年定成主流，软件企业须调整以适应新变化 　　记者：软件企业的商业模式将会是什么？ 　　刘政：现在许多国外软件企业已停止开发安装在单个机器上的软件，多是开发浏览器化软件，只要能上网，就能使用软件公司在“云”上的产品，使用的硬件资源、软件资源在“云”上租到。“云”模式也将会越来越普及。 　　SAS的浏览器化软件产品已经达到总产品数的三分之一。浏览器化软件目前还没有成为主流，但在2015年一定会成为主流，并将直接改变软件企业的架构。企业必须调整人员、部门和产品，以适应新变化。 　　记者：国内软件行业的发展趋势是什么？ 　　刘政：软件业处于一个变革时代，云计算、大数据使得软件和数据将来都会到“云”上。过去软件公司开发的很多软件都将过时，现在需要开发的是一种能够运行在“云”上的软件。这对国内软件开发者来说是一个非常好的赶超机会。但中国现在最缺的不是软件技术，而是软件业生存的环境。各大企业不找软件公司购买软件和服务，而是自己开发软件。这不仅加大了成本、周期长、不够专业，而且破坏国内软件业发展的生态环境。只有建立一个良好的软件生态环境，各专各行，中国的软件公司才能不断更新版本，生产出能够和世界上其他公司竞争的软件。此外，加大开发数据分析产品和开源软件将是一个大趋势。