引入自然语言处理的数据流可视化系统

“ 今天阅读 VIS 2019 会议中的《FlowSense: A Natural Language Interface for Visual Data Exploration within a Dataflow System》，作者是纽约大学的Bowen Yu和Claudio T. Silva。”

1 科学问题

数据流可视化系统（DFVS）在灵活分析方面具有优势，允许用户构建一个数据流图（包含查询和可视化模块），用于描述系统功能。因此，DFVS支持灵活地探索可视化数据。但是，对普通用户而言，学习使用数据流图是一件比较困难的事情。为了降低学习和使用的难度，提升易用性，开展此文的研究工作。

2 研究思路

设计一个称为FlowSense的自然语言界面，将自然语言界面的“易用性”和DFVS的“灵活分析”融合起来，发挥最大效能。FlowSense利用现有的自然语言处理技术，帮助用户构建数据流图。最后，通过安全研究和用户研究进行评估。

为什么要使用自然语言界面？与传统的鼠标/键盘交互方式相比，自然语言交互不需要很多功能相关的先验知识和使用细节，能够降低学习难度，简化与数据流图构建过程的交互。面向可视化的自然语言界面是近期的研究热点。但是，针对多视图关联的可视化系统，当前并没有很好的解决方法。

现有工作包括DFVS、数据可视化的自然语言界面、自然语言界面比较（能力、易用性、可行性）和语义解析。

3 内容概览

论文包括三大核心部分。

3.1 语义解析器

FlowSense采用了一个语义解析器，具有特殊的话语标记和特殊的话语占位符，能够生成不同的数据集和数据流图。支持自然语言查询，操纵由数据流图生成的多视图。

具体研究了VisFlow函数、数据流上下文环境和特殊话语、语法、查询模式、自动完成等内容。

3.2 执行查询

FlowSense明确地向用户呈现公认数据集和图表特殊语音，以感知数据流上下文。使用FlowSense，用户可以通过简单的英语更方便地扩展和调整数据流图。

具体研究了特殊的话语标记和特殊的话语占位符、功能分类、查询模式、图更新、错误恢复等。

3.3 评估

将FlowSense应用于VisFlow子流可视化系统，以增强其可用性。并且，通过一项案例研究（与领域专家一起，针对实际数据分析问题进行）和一项正式的用户研究来评估FlowSense。

论文最后讨论了FlowSense的可扩展性和通用性，用户行为和参与度，以及技术与范围。

FlowSense语法的细节及其实现参见附录，以及GitHub。

4 创新点

提出一个新颖的自然语言界面FlowSense，用于DFVS中的可视化数据探索。采用自然语言，降低数据流学习负担，改进DFVS的易用性的同时，充分利用DFVS的灵活分析特性。

举例说明使用最先进的语义解析技术来创建针对DFVS量身定制的语法的通用方法。特别是，FlowSense使用特殊的话语标记和特殊的话语占位符来了解数据流上下文，并使其语法独立于数据集、数据流图元素和分析任务。当用户键入查询时，交互显示识别出的特殊话语。这样的设计将底层的解析状态回显给用户。它不仅帮助用户了解幕后的查询语义，而且对于识别错误和解决歧义很有用。

证明FlowSense能够支持VisFlow中大多数数据流图编辑操作的自然语言查询。通过与领域专家一起进行案例研究，展示了FlowSense的应用，该案例研究了基于纽约市出租车行程数据的交通速度降低。进一步进行了正式的用户研究，以评估提议的自然语言界面。测量任务完成时间，收集用户反馈，并分析自然语言查询日志以识别FlowSense的优缺点。

5 阅读体会

从问题/需求出发，善用“他山之石”，可以发挥各自的优势。

更多数据可视化技术相关文章，欢迎关注微信公众号【数据印像】。