NLPIR语义挖掘平台推动行业大数据应用服务

　　大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。

　　在“大数据”(Big data)时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。

　　而“大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。从某种意义上说，数据将成为企业的核心资产。

　　“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。

　　大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增加，传统计算面临严重挑战，大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算技术是最理想的解决方案。调查显示：目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力，

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　数据挖掘技术及其应用是目前国际上的一个研究热点，并在许多行业中得到了很好的应用，尤其是在市场营销中获得了成功，初步体现了其优越性和发展潜力。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。