2020全球NLP行业报告：NLP技术预算增长高达30%

2020-12-04 11:41

导语：尽管今年IT支出不景气，但有趣的是，NLP预算全面增加，报告的NLP技术预算比去年增加了10-30%。

译者：AI研习社（Icarus、）

双语原文链接：The State of Enterprise NLP in 2020

---

2020年对于公共卫生、职业生活、经济以及日常生活的几乎所有其他方面来说，都是独一无二的一年。虽然一些机会正在消失，另一些则正在转变其商业模式，罕见没有受到冲击的企业。尽管如此，还是有一些行业正在蓬勃发展，不仅仅是虚拟会议或医疗保健。

自然语言处理（NLP）就是其中一个领域。事实上，根据MarketsandMarkets™的研究，NLP市场规模预计将从2019年的102亿美元增长到2024年的264亿美元。使用用例在医疗保健环境中帮助患者和从业者，简化客户服务查询，甚至虚拟帮助购物者，有几个增长因素推动了NLP技术的增长。无论你是新手还是有经验的数据科学家，NLP都能帮助用户更快、更聪明、更准确地工作。

要想了解NLP在未来几年的发展状况，我们首先需要了解NLP现在的状况——从挑战、成功、最普遍的使用案例等方面。为此，John Snow实验室与Gradient Flow合作，最近发布了新的研究报告，探讨了NLP在不同行业、不同地域、不同应用水平的使用情况。知识就是力量，这项调查的目标是通过了解组织如何使用NLP技术，帮助IT领导者实现NLP的全部潜力。

这项全球调查询问了来自50多个国家的近600名受访者，全面了解了2020年NLP的采用和实施状况。下面的关键调查结果将有助于为行业树立一个基准，并预测我们在未来一年内NLP的发展方向。

NLP支出正在上升：尽管今年IT支出不景气，但有趣的是，NLP预算全面增加，报告的NLP技术预算比去年增加了10-30%。考虑到该调查是在全球COVID-19大流行的高峰期进行的，而当时全球的IT支出都在下降，这一点尤其重要（Gartner）。53%的受访者是技术领导者，他们表示他们的NLP预算与2019年相比至少增加了10%，其中31%的受访者表示他们的预算比前一年至少增加了30%。同样的趋势也适用于大公司（员工人数超过5000人的公司），其中61%的受访者表示2020年的预算会增加。

云计算的使用带来了挑战。77%的受访者表示，他们至少使用列出的四种NLP云服务中的一种——谷歌、AWS、Azure或IBM。尽管基于云的服务很受欢迎，但受访者认为成本是他们在使用NLP云服务时面临的主要挑战。此外，人们还担心可扩展性，因为许多NLP应用依赖于特定领域的语言使用，而云提供商在服务这些市场需求方面进展缓慢。尽管如此，53%的受访者表示至少使用了两大NLP库中的一个，即Spark NLP和spaCy，这是一个更准确和更具成本效益的选择，做出这个选择这并不奇怪。

准确性很重要，也很有挑战性。超过40%的受访者指出，准确性是他们评估NLP库的最重要标准。考虑到NLP在关键应用中的使用，如电子健康记录或在医疗环境中检测不良药物事件，这一点尤为重要。另一方面，准确性也是所有受访者最常提到的挑战。然而，当观察技术领导者时，这种情况略有改变。集成问题、语言支持和可扩展性与准确性并列成为紧迫的挑战。幸运的是，语言支持等领域正在大幅改善。谷歌和Facebook等公司正在发布150多种语言的预训练嵌入。而NLP库也在跟进。

分类和NER是主要用例。NLP最受欢迎的四个应用是文档分类、命名实体识别（NER）、情感分析和知识图谱。来自医疗保健领域的受访者认为，去识别是另一个常见的NLP用例。自动化的NLP曾经是一个极其人工和劳动密集型的过程，现在已经使这一负担大大减轻。NER和分类是医疗机构看到巨大价值的另外两个NLP用例。例如，这些应用可以帮助医疗专业人员快速、准确地识别患者的药物不良事件（ADE），改善医疗服务，减轻医疗系统的负担和成本。

数据来源。来自文件(如pdf、txt、docx等)和数据库的数据在NLP项目中使用的数据来源中名列前茅(61%)。从法律合同和新闻文章，到医疗记录和SEC文件，这些输入文件通常以PDF格式存储。虽然深度学习模型在过去几年中有所改进，但在从PDF中提取文本时，有许多困难和数据质量问题。有趣的是，仍在探索NLP的公司与那些在采用曲线上走得更远的公司在数据源上存在一些差异。处于探索阶段的受访者报告使用音频数据的比例(29% )高于那些更进一步的受访者(22%)。

根据NLP在过去一年中的增长轨迹，其势头很明显将持续到2021年。随着时间的推移和即将到来的技术增强，采用和使用案例如何发展将是有趣的。NLP有能力改变我们的工作方式，给予和接受医疗护理，购物，以及与客户服务的接口。虽然其中一些案例可能比其他案例更具影响力，但它们都将塑造我们更好的工作和生活方式。