文本分析主要包含哪些技术，文本分析技术的发展方向是什么？

全球多达80%的大数据是非结构化的，如博客、微博、微信、设备日志、与客服代表的会话等都属于非结构化数据，人类的自然语言非常复杂，一句话可能包含多种因素：语气、语调、隐喻、反语等，简单的数据分析模型无法应对这些复杂多样的变化。

文本分析技术的发展方向：

1.智能化理解：确定一段文字是关于什么信息的，然后进行匪类和量化，再进一步分析。这有助于发掘客户的特点，并将其转换成结构化的数字输出到预测模型。

2.处理复杂文本：非结构化和半结构化的文本源，如XML文件、Excel电子表格或博客文章。他们内容庞杂、议题广泛，有必要整合两种或更多数据源在一起，进行统一分析，以获得深刻的见解。

3.简化管理：分析文本复杂繁琐，但输出的结果往往需要通俗易懂。对监管者来说，文本分析可以总动审计跟踪、定期检验、提交规格报告。

文本分析技术：

1.术语文档矩阵（ATermDocumentMatrix）：是一个需要进一步分析的结果集。例如，购买了产品的客户A的购买频率如何，与未购买产品客户B有何区别。我们需要对术语进行排序，以便基于它们的信号强度建模。这些术语的存在和频率可以用数字显示在建模数据集，并直接并入最佳预测模型。这种“语义评分卡”是传统评分卡辅以非结构化信息（按属性将数据进行分类，并分配权重）。可进行复杂的数据运算，以确定哪些属于信号最强、哪些特定术语应进行组合以从原文中识别出较大的概念。

2.命名实体识别（NamedEntityExtraction,NEE）：基于自然语言处理，借鉴了计算机科学、人工智能和语言学等学科，可以确定哪些部分可能代表如人、地点、组织、职称、产品、货币金额、百分比、日期和事件等实体。NEE算法为每个标识的实体生成一个分数，该分数表明识别正确的概率。我们可以视情况设定一个阈值，来达到我们的目的。

3.文档主题生成模型（LatentDirichletAllocation,LDA）：主要用于监测客户行为变化，它可以发现数据的相似性以便进行分类和分组。LDA使用统计算法从非结构化数据抽取主题、概念和其他含义，它不理解语法或者人类语言，而只是寻找模式。任何数量、类型非结构化的、半结构化和结构化源数据都可以应用LDA监测模式来进行分析。

这种技术通常用于营销分析，针对提供存款、取款和购买行为的客户提取原型。如：银行可借助分析发现一些消费者虽然时常出差，但是忠诚度很高，这些客户往往会与客服代表沟通由于出差而错过还款的事由，并避免滞纳金。这样的分析可以帮助银行了解如何重视客户、降低客户流失率、提高客户忠诚度。再如：LDA分析还可以快速、方便地应用和更新消费者相关信息，可以判断消费者的最新行为是否与他们的历史行为一致，如果消费者有不同寻常的事情发生，或者行为与他们现有的文件不一致，系统可以发出警示。
　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
1.大数据分析，主要有哪些核心技术？
http://www.duozhishidai.com/article-1938-1.html
2.构建一个企业的大数据分析平台 ，主要分为哪几步？
http://www.duozhishidai.com/article-8017-1.html
3.数据科学，数据分析和机器学习之间，有什么本质区别？
http://www.duozhishidai.com/article-7892-1.html

---

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站