音乐可视化--论文学习（2)--音乐数据可视化调查
A Survey on Visualizations for Musical DataR. Khulusi, 1 J. Kusnick, 1 C. Meinecke, 1 C. Gillmann, 1 J. Focht 2 and S. Jänicke 31 Image and Signal Processing Group, Institute for Computer Science, Leipzig University, Leipzig, Germany{khulusi, kusnick, cmeinecke, gillmann}@informatik.uni-leipzig.de2 Museum of Musical Instruments, Institute for Musicology, Leipzig University, Leipzig, Germany3 Department of Mathematics and Computer Science, University of Southern Denmark, Odense, Denmark本文是本人关于此论文的翻译和学习笔记。目录
音乐数据可视化调查
1. 导言
2. 范围
2.1. 考虑的研究论文
3.方法论
3.1领域相关术语
4.分类
4.1 音乐作品的可视化
4.1.1 音乐乐谱
4.1.2 音乐声响
4.2 可视化音乐收藏
4.3 音乐家的形象化
4.4 仪器可视化
5.处理音乐数据
5.1 浩大
5.2 不精确
5.3 Incompleteness
5.4 不均匀性
6.未来的挑战
7.结论
音乐数据可视化调查
摘要： 数字方法越来越多地应用于存储、构造和分析大量的音乐数据。在这方面，可视化发挥着至关重要的作用，因为它有助于音乐学家和非专家用户进行数据分析和获得新的知识。 这项调查的重点是音乐学和可视化之间的独特联系。 我们根据可视化数据类型对129个相关作品进行分类，并分析了哪些可视化技术被应用于某些研究查询和完成特定任务。 除了科学参考之外，我们还考虑到商业音乐软件和公共网站，它们提供了音乐学数据可视化的新概念。 在处理音乐学数据时，我们遇到了不确定性的不同方面，作为主要问题，并展示了如何处理和视觉传达发生的不一致。 根据我们在该领域的概述，我们确定了未来要解决的音乐学和可视化界面研究的开放挑战。
关键词：信息可视化，可视化
1. 导言
大概每个人都有个人音乐经验，这种音乐具有使人们团结的独特功能。 从音乐的角度来说，这种社会文化是音乐研究的主要动力之一[Lam12]。 梅里亚姆·韦伯斯特（Merriam-Webster）将音乐学定义为“音乐研究是与创作或演奏不同的知识或研究领域的一个分支” [MW18]。 这包含了与音乐有关的所有形式，例如，声音模式，乐谱，有关艺术家的传记信息，音乐流派及其依赖性。 类似于人文学科的其他子领域，近年来，数字方法在音乐学中对存储，构造和分析大量数字可用的音乐学数据变得越来越重要[Urb17]。 为了实现这些任务，可视化是这种情况下的关键要素，因为它可以更轻松地访问数据，并能够突出显示音乐的结构要素之间的关系[Lam12]。 由于要观察的数据是流形的，因此提供了用于分析数据的可视化设计，其形式多种多样。 我们的调查重点放在音乐学和可视化研究之间的独特界面上。 相关领域的最新报告已经进行。 大多数是特定领域的，例如Chan等人的调查。 [CQ07]回顾音乐的结构特征的可视化。 它专注于乐谱，而没有讨论与音乐学有关的其他实体。 凯西等。 [CVG * 08]专注于基于内容的信息的检索，并概述了现有项目和在此背景下的未来挑战。 虽然他们主要讨论分析，分类和检索方法，但可视化仅扮演次要角色。 但是，我们的调查也将涵盖与列出相关的应用程序。 我们领域中的相关调查涉及数字人文科学中的视觉文本分析方法[JFCS17]，重点是文本数据而不是音乐逻辑数据。 还发现了文化遗产收藏品[WFS * 18]，它明确排除了音乐收藏品和人物。 在这里，显然需要进行考虑音乐学可视化的调查。
在我们的调查中，我们根据基础数据（即乐器或音乐家等音乐实体）以及这些实体之间的关系以及音乐学家执行的典型任务（探索，呈现，比较等），揭示了应用的可视化技术。 具有给定的可视化效果。 一方面，它专注于数字人文学科的另一个子领域，是对相关调查论文的补充。 根据McNabb等人的可视化调查的三维层次分类[ML17]，我们将在现实世界和应用中提供一个新类别，从而扩展当前范围。 另一方面，我们的最新报告（STAR）旨在向可视化社区介绍针对音乐学中典型任务的公认的可视化场景。 此外，与我们社区的相关出版物相反，我们的STAR将包括在音乐学和与数字人文相关领域中发布的可视化技术。 此外，我们还将提供在线可用的视觉分析工具，主要是针对对音乐感兴趣的用户和处理音乐的商业软件开发的。
因此，我们的STAR为基于音乐数据的可视化的未来发展提供了有用的资源。 首先，我们将概述现有技术以及支持的典型用户任务。 其次，我们讨论由于人文数据的性质而产生的挑战。 这些挑战是：（1）由于音乐史悠久而出现的数据规模巨大；（2）由于数据分散而造成的不均一性；以及音乐学部分研究的不平衡状态；（3）由于未记录但必要而不够精确 有关历史实体的信息；（4）不完整是文化遗产数据的典型问题。
第三，我们列出了未来的挑战，总结了未解决的问题以及尚未得到充分解决的主题。
2. 范围
传达音乐信息的可视化手段可以在各个领域找到。 在调查相关作品时，我们的首要任务是反映这种多样性。 因此，我们决定采用创新的方法，但对于可视化社区，应考虑使用非典型的可视化设计方法。 结果是收集了分布在不同区域的129件作品，如表1所示。
因此，我们的调查位于视觉化与音乐学的交汇处。 尽管像美国小提琴学会那样很少在音乐学领域应用可视化（4），但包含的作品的最常见来源却属于音乐学数据的可视化，并在不同的视觉化（22）领域中发表。 此外，人机交互领域（18）提供了一个合适的平台，用于在界面中呈现视觉效果，以分析数字音频和计算机音乐。 这包括在全球会议上的出版物，例如计算系统中的人为因素会议（CHI），以及专门针对音乐学应用的会议，例如国际音乐表达新接口国际会议（NIME）。 在“数字人文科学”这个跨学科的社区中，融合了人类学和计算机科学背景的人们，音乐学仍然被认为是一种利基市场。 尽管如此，已经收集了八份相关作品，并将其纳入本次调查。 可视化在音乐信息检索（MIR）应用程序（18）中起着重要作用，以支持对检索到的数据集进行分析。 产生大量相关作品的主要期刊之一是《国际音乐信息检索学会学报》（ISMIR），该论文主要侧重于音乐的相似性。多媒体专家和从业人员将可视化应用于音乐的乐谱，演奏和情感的各种分析任务。值得注意的领域是ACM国际多媒体会议和IEEE多媒体交易。 计算机音乐研究以“数字音频”（Digital Audio）（13）为标记，以国际计算机音乐会议（ICMC）为代表领域，并使用交互式视觉探索工具进行声音分析来提供相关作品。 新杂项相关作品组（9）包括其他来源，我们考虑的四篇相关硕士和博士学位论文。 除了科学出版物，我们还考虑了在网站（15）或作为商业软件（8）提供的交互式可视化方法。
第一类列出了一系列可视化效果，邀请网站访问者浏览音乐数据并与之交互。 第二类特别包括游戏软件，该软件提供非典型的，无键盘的交互方式和视觉设计方法，以支持对音乐知识的有趣学习-两者都很有价值，因为它们为可视化研究提供了未来前景，并且可以使用搜索界面和“音乐”或“可视化”等典型关键字找到。
表1：被考虑的相关作品的出版领域。
| 出版领域 | 数量 |
| 可视化 | 22 |
| 人机交互 | 18 |
| 音乐信息检索 | 18 |
| 网站 | 15 |
| 多媒体 | 14 |
| 数字音频 | 13 |
| 数字人文科学 | 8 |
| 商业软件 | 8 |
| 音乐学 | 4 |
| 其他 | 9 |
| 总计 | 129 |
2.1. 考虑的研究论文
为了将大量相关作品限制在视觉化和音乐学的交集上，需要满足两个要求的参考资料才能被我们的调查考虑。
首先，可视化需要支持特定领域的任务或帮助调查有关音乐学相关数据的研究问题。 这包括单个音乐作品，整个音乐收藏，音乐家和乐器的可视化。 我们同样根据元数据和音乐内容来考虑可视化。 相反，我们从调查中排除了使用视觉效果生成音乐的作品[LL05，PIE * 11，MKSM16，Cho18，CW18]。 在跨学科环境中，“可视化”一词经常用于指代传统图表。 尽管可以从这些表示形式中提取出有意义的信息，但我们从调查中排除了此类作品，例如Cano等人的作品[CKGB02]提供了一个散点图来分析音乐作品或Plewa [PK15]的音频之间的相似性，将歌曲数量定位在常规网格上。
我们的第二个标准基于Card [CMS99]和伊利诺伊大学数字图书馆计划（UIUC DLI）词汇表[oI98]给出的信息可视化定义。 只考虑提供计算机支持的、非传统的抽象数据视觉表示的论文。 随着音乐学家也获得有价值的洞察力使用非交互式可视化，互动性不是必要的。 因此，我们还包括复杂的音乐学数据的静态视觉表示，如Heller的热图[Hel17]图，说明木材厚度的实例。 最后，各种作品，包括音乐的视觉表现，可以在其他会议的记录，如音乐符号和表示技术国际会议（TENOR）。 然而，这些工作往往主要集中在符号部分，因此我们在这次调查中没有考虑到它们。
3.方法论
大多数被调查的可视化工具都旨在将音乐数据的特征与某些用户群进行通信。 一方面，为具有音乐背景[MFH04，Hel17，KSKE17，KJKF19]的领域专家开发了工具，另一方面，为广大公众设计了易于理解的可视化工具[Har07a，Dan14，Spo18 ]-包括一类为听觉受损者穿戴广告的文件[YLL * 07，FF09]。 在所有情况下，应用程序域都指定要支持的任务，并因此指定可视化设计的复杂性。 因此，我们基于Munzner的可视化设计嵌套模型[Mun09]来构建相关作品，但重点是构建域之间环境和可视编码之间的桥梁的数据级别而非任务级别。 根据为可视化设计的数据类型，作品的分类包括四个主要数据类别：音乐作品，音乐收藏，音乐家和乐器。
我们决定将音乐作品的第一个类别分为乐谱和乐音这两个子类别，以更好地构造针对该数据类型的多种建议方法。 乐谱是重现音乐作品的构想蓝图，而声音是实际的解释，例如，录制的歌曲或每个形成的歌剧咏叹调。 这些人类的解释以与蓝图上的差异为特征，例如不是单调的和不变的节奏，或者是即时地即兴创作和替换着名的特征。 作为一种特殊情况，存在包含所谓的“参数”的便签纸示例，在蓝图上添加了便签，以非标准化形式描述了对符号的计划更改。 这种偏差导致特殊的可视化挑战和方法。 虽然第一个目录提供了关于音乐的详细视图，但已经设计了包括音乐作品在内的多种音乐收藏的远景。 根据实际的用户任务，可以比较音乐作品的特定功能，或者将其转换为易于浏览的形式。 最后两个类别与音乐学密切相关，音乐学不仅关注音乐过程的结果（音符和表演），而且关注音乐家（作曲家，表演者，乐器制造者等）—研究了相关的可视化技术 在音乐家中（第4.3节）或已使用的乐器（请参见第4.4节）。 由于与这些类别相关的功能的差异，用于观察数据并与数据进行交互的可视化手段也有所不同。为了更好地指导收集工作，我们根据可视化的一般用途将每个数据类别的相关工作进行了分组。 在第4节中讨论了根据数据类型进行分类。
除了根据数据特征等知识来构造相关作品之外，我们还浏览了该系列的论文并分析了支持哪些抽象[BM13]和特定于领域的可视化任务。 考虑到某些类别中的大量工作，我们将它们分为相关的子任务。 我们在数据分类中包含了有关每种数据类型的典型任务的信息。 该调查补充了有关可视化如何以及是否可以满足传达不确定关系的概述（请参见第5节）。 这包括由于音乐数据集的庞大，数据特征的不精确性，数据的完整性以及整个或超出所收集数据的不均匀性而引起的问题。 最后，我们在第6节中报道的可视化和音乐学的交叉部分提出了开放的挑战。
图1：概述每类数据的所有使用的可视化技术。
3.1领域相关术语
由于我们的调查将重点放在音乐学上，而音乐学是一个具有自己的术语的人文搜索领域，我们将在以下部分中简要解释一些会重复出现的术语。
音高（pitch）通过频率量化，描述了声波振荡的物理现象。 它通过在完整的声音范围内与其他频率的关系获得音乐维度。 因此，该特征以乐谱符号定义了高度位置。 对其进行检查很有趣，尤其是对于当今音乐与过去音乐的比较，因为整个世纪以来乐器的音高已经发生了变化。
音符（musical note）是对音高和音长进行编码的符号。 为了定义音符在乐谱中的位置，我们指的是科学的音高符号，这是一种使用音符名称和八度数来明确描述音高的方法。
乐谱（musical score）是乐曲的注释版本。 它由多个音符组成，视其系统和媒体而异，例如书面乐谱或数字MIDI。 它对音乐功能进行编码以进行存储，交换或重放。 图2（顶部）是一个典型的经典乐谱符号示例，其中的音符由其他信息（例如拍子或重复演奏）补充。
音乐作品的关键是其构成的根（key）（音调）。 此音符及其对应的和弦形成乐曲的音调。
动态（dynamic），描述了音乐片段中响度的变化。
音色（Timbre）是由基本音调和部分音调重叠而产生的不同频率混合产生的声音的感知音质。 它描述了各个乐器或声音的音色，即使它们已被同样调音。
音乐的特征（features）可以分为低级特征，音调，速度或响度等物理属性，高级特征（例如音色）和动态和重复主题等结构特征。
图2：Ludwig van Beethoven的“FürElise”的第一个音符为经典乐谱（上图）和Wattenberg的Arc Diagram整个作品的结构重复的可视化效果（下图）[Wat02]。
4.分类
音乐学作为可视化的应用领域，它要求以用户为中心的设计方法[AMKP04]来降低障碍，实现直观的解释并促进音乐学家和非专业用户对可视化数据的参与。
在我们的扩展研究中，我们遇到了各种各样的数据类型，这些数据类型的可视化旨在支持音乐或音乐领域的各种用户任务。 这些数据类型将所调查的可视化技术最好地组合在一起。 表2概述了以音乐作品，音乐收藏，音乐家和乐器为主要类别的分类。 根据特定领域的任务，可以进一步细分每个类别的参考。 图1概述了用于可视化地传达主要数据类别的特征的可视化技术。 不同的可视化方法以抽象名称组合在一起。 例如，图表包括散点图，条形图，饼图或箱形图等相当基本的可视化内容。 钢琴卷帘视图的组由钢琴卷帘和普通乐谱表的数字表示定义。 两者都保存着传统和模拟计分表提供的所有信息，并且根据我们的定义是时间表的特殊形式。同样，三维渲染组是不同原理的集合。 除了预期的渲染（如体积和曲面渲染）之外，还包括化身的渲染。 杂乱的组主要由字形可视化组成，这些字形可视化过于抽象而无法归类为其他组，或者会导致三个元素或更少的组。 虽然图表是用于所有四种数据类型的唯一可视化文件，但通常很少使用它们。
特别值得注意的是用于音乐收藏的大量地图可视化。 由于要处理易于处理的多种不同歌曲的收藏，这不足为奇。 通常，这些地图会与自组织附件（SOM）或群集一起使用，以进行定位，从而使歌曲的接近度代表相似性。 音乐作品保留了我们调查的主要空间，并通过非常不同和特殊的可视化方式进行了可视化，包括16种其他形式的可视化，这些可视化很少出现，因此无法明确分组。 另一个异常是钢琴滚动视图仅用于音乐作品。 由于这是对乐谱表的数字化适应，因此音乐作品的醒目程度较小，而其他类型的缺失则是由于这种可视化方法非常适合临时上下文中的音符。 仪器主要通过三维渲染可视化。 通常，此类型的可用数据以计算机断层扫描（CT）数据的形式给出，并为这些渲染图预先定义。
仪器的元数据可视化（图表和热图）除外。 音乐家代表了不同的视觉化策略。许多工作涉及网络可视化，需要典型的图形，而诸如生存时间或工作时间跨度之类的时间数据则与时间轴兼容。 借助此图表，我们提供了用于可视化不同数据类型的典型方法的快速概述，指出了下一节中预期的内容以及未来音乐学中可视化研究可能感兴趣的组合。
在下文中，我们将详细介绍每个数据类别以及处理此类数据时的典型用户任务。 我们报告了设计音乐学可视化的必要性，我们同样概述了可视化社区处理此类数据和应用程序的相关性。
表2：可视化引用的分类，首先是它们的数据类型，其次是主要用途。
| 数据类型 | 类别 | 使用 |
|---|---|---|
| 音乐作品 | 音乐乐谱
音乐声音 |
概述 结构分析 仪器性能分析
表现分析 |
| 音乐收藏 | 情感分析 相似性分析 探索性分析 |
|
| 音乐家 | 听力统计分析 音乐对齐 探索性分析 社会网络分析 相似性分析 |
|
| 乐器 | 结构分析 功能分析 |
4.1 音乐作品的可视化
大多数可视化效果是为代表不同音乐产品的音乐作品而设计的。 那些以书面形式出现，作为乐谱，这些乐曲是音乐家复制音乐的手册，或者以制作的音乐声的形式出现，戴着表演者的指纹并显示出音乐作品蓝图的（较小）差异。
由于这些产品的数据不同，我们将音乐作品的可视化参考分为两类。 此外，本节重点介绍可视化单个音乐作品各个方面的作品，从而提供单个音乐作品的详细视图。 在第4.2节中讨论了针对整个音乐作品集的可视化，这些视觉作品侧重于其他方面并支持其他用户任务。
数字音乐作品的数据格式是多种多样的。 当musicXML [G * 01]是共享乐谱的标准时，音乐声音以MP3或WAV之类的各种音频文件格式[DR06]存储。 音乐声音和乐谱都可以存储为MIDI文件。 MIDI是一种标准格式，用于交换事件和音乐数据的信息，例如音高，速度（音量），颤音，立体声和速度[MID19]左右左右平移，并将它们编码为电子控制信号 仪器。 MIDI文件可以通过电子乐器演奏（在其中所有信息都被编码并保存）[Swi97]自动生成，也可以在（商业）作曲软件[OTG19]的帮助下以数字方式生成。 因此，MIDI文件与其他用于存储音乐信息的文件不同，因为它们不包含简单地以数字方式保存并随后再次播放的声音记录。 取而代之的是，它们将信息保存为指令，这些指令被重定向到电子仪器，然后用于“重新演示” [Swi97]，从而重新创建原始声音。 因此，MIDI可以存储两种音乐作品，具体取决于文件的生成方式（录制的输入并转换回Midi表示格式或合成输入）。 在某些情况下，作者没有明确报告所使用的数据格式，但我们可以假定MIDI文件格式是最常用的一种。
4.1.1 音乐乐谱
一直以来，乐谱一直是音乐作品的传输，记录和教学的主要方式[Ben19]。
图二（上）展示了贝多芬的“FürElise”古典乐曲表现形式的一部分。 该表包括同时演奏的两个部分的音符。 每个部分在时间范围内提供不同的信息[HB82，Ben19]，例如琴键（小提琴在顶部，低音在底部），拍子（三十八次），力度（从pp-pianissimo-“非常柔和”开始），速度 （Poco moto的意思是“小动作”）以及注释和中断列表。 借助音乐作品表中包含的信息以及如何阅读音乐以及如何演奏乐器的知识，音乐家可以重新诠释音乐作品。
尽管音乐作品本身的这种传统乐谱本身已经是一种可视化类型[SW97]，但本节中讨论的各种替代乐谱表现形式仍然存在。
与VIS相关。 乐谱以一种独特的数据格式给出，可以用作可视化的基础。 音乐学找到了自己的原理，可以以视觉形式有效地呈现乐谱。 它被包括音乐学家和非专业用户在内的广大社区使用。 可视化研究可以通过应用通用的视觉设计和交互原理来进一步增强这些表示。 大多数可视化用于教授分数，并且仅存在少数案例研究，这些案例研究了如何将可视化用于教学[YV15，RRJH18，FIB * 19]。 因此，可视化研究人员可以从呈现的可视化中学习有关如何以使观察者易于理解数据的方式进行设计的策略。
与音乐学有关。 可视化乐谱的先有优势是能够将复杂的传统乐谱表示法转换为易于理解的视觉形式，从而使技能较低的用户可以快速访问数据。 另外，音乐学家从乐谱的可视化中受益，因为对音乐作品的重新解释总是包括相应音乐家的独特指纹。可视化学者的进一步参与可以帮助对比相同乐谱的不同解释，甚至可以通过注释（手写笔记和添加到笔记表中的说明）对留在乐谱符号上的此类指纹进行改编。
我们根据三个主要用户任务将被调查作品分组。 首先，对可视化进行定制以给出乐谱的概述。 其次，可以通过暴露结构乐谱特征来增强这种表示。 第三，将乐谱可视化以分析仪器性能。
任务：乐谱概述。 概述整个乐谱对于试图分析音乐作品的专家和旨在理解音乐乐谱的技术水平较低的用户都是有用的。 米勒等 [MHK * 18]提供了用于设计和可视化音乐符号概述的管道，以帮助利用信息可视化原理执行音乐学任务。 为了与经典乐谱符号区别开来，典型乐谱在其临时上下文中可视化，并通过颜色，形状和位置甚至复杂字形的组合加以增强。 有些作品还通过其他视觉效果增强了传统乐谱符号，例如，彩色相似度矩阵显示了多个音轨之间的重复通过和相似之处[WBK09]，上下文信息和按需在鱼眼视图中显示的注解[WHF03]或 进一步的可视化，例如箱形图和热图[CNP16]。 通常，传统乐谱符号会转换为所谓的“钢琴卷谱符号” [CKS10，MT11，CNP16]。 每个音符的音高，时间位置和长度分别映射到y轴位置，x轴位置和长度[CNP16]。 另外，可以使用颜色来编码信息。 图3（左）显示了使用钢琴卷的简单实现的典型作曲软件[OTG19]，而图3（右）显示了Ciuha等人的工作。 [CKS10]通过颜色和饱和度使和声和不和谐的音乐学方面形象化。 除了可视化单个音符外，其他方法还着重于显示音高在不同时间步长上的分布[MC07，Hal13]。 尽管Mardirossian和Chew [MC07]仅描述了当前演奏的琴键和音调，而没有形成进一步的上下文，但Hall等人。 [Hal13]提供了整个音乐作品的插图。 图4显示了Johann Sebastian tian Bach的C大调前奏曲的可视化效果。 y坐标的零位置是C大调，较高的间距位于从红色到黄色的颜色图中的顶部，较低的间距位于从蓝色到黄色的颜色的底部。 演奏时间越长的音符宽度越大，同时的音调会重叠。 乐谱概述可以进一步帮助用户学习或教授音乐作品[SW97，Gud11]。 使用乐谱而不是演奏数据可以促进对音乐的理解，而不是直接改善演奏。 因此，提出了不同的乐谱视图（对于通常无法通过分数符号实现的休闲用户）。 这包括指示乐谱的低级特征的三维彩色球体[SW97]。 Biophillia [Gud11]使用自然界中的物理过程作为视觉隐喻来教授音乐，这些理论概念包括节奏或动力学及其艺术作品。
任务：结构分析。 除了可视化纯乐谱之外，研究人员还提供了对音乐片段结构的更深入了解，并突出了潜在的特征模式，重复音调，动态，音调和和声。 因此，和声分析产生乐曲的和声结构，并且可以提取关键区域之间的关系。 虽然一些作品显示了歌曲的静态表示形式[Sap01，Wat01，Wat02，MFH04，CQM09，MPZZ15]，但其他作品则提供了贯穿整首歌曲[BKH07，GC16]的动画。 Malan drino等。 [MPZZ15]通过将相似的音调映射到相似的颜色来突出音乐组合的结构特征。 Chan等 [CQM09]传达古典音乐作品的结构。首先，它们举例说明了乐器之间的交互作用，例如，如果它们在时间轴上是主要演奏或合奏中演奏。 其次，被播放的主题及其变体被图示为字形，并且它们之间的联系表现出重复性。Sapp [Sap01]并不专注于音乐作品本身，而是专注于应用于该作品的键控算法的评估。由于不同的窗口大小和算法输出显示了一个片段中键的发展，因此用户可以检查片段的（键）结构。 高斯和卡森[GC16]使用动画的四段极地图，形象化了理查德·瓦格纳（Richard Wag ner）的“Götterdämmerung”（第二幕场景I）的主题，协调，短语和编排。 片段的大小代表“使用扩展和收缩运动的音乐的能量和方向”。 其他方法确定歌曲的“形状” [Wat01，Wat02，BKH07]。 Wattenberg [Wat01]用这个词来质疑音乐的样子，试图将相关的音乐映射到视觉特征，同时着眼于结构元素的重复[SS69]。瓦滕伯格提供的弧形图[Wat02]将音符分组为序列，重复序列使用广泛的弧形链接。
图2（底部）显示了贝多芬“FürElise”的可视化效果，重复的部分很容易辨认。 弧线图可以附加地用于提供不同作品的概述并进行比较，如图5所示。 [BKH07]介绍Isochords塑造音乐作品。
该结构布置在二维三角形等角坐标网格上。 网格中的距离指示音调的谐音和不谐音，可快速查看结构特征。 音乐作品中结构的视觉可以支持合成新音乐或编辑现有音乐。 Miyazaki等人使用输入文件的不同MIDI通道，如图6的上部所示。 [MFH04]通过使用圆锥树的三维圆形表示，表示音乐作品的子序列以及在圆形钢琴卷中编码声音特征，来增强乐谱结构的可视化。
任务：仪器性能分析。 乐谱的主要功能之一是使乐器演奏者能够（重新）诠释音乐作品。 多种可视化支持音乐家的演奏。 这包括通过结合MIDI文件，录制的音频来加深对实际演奏中关于和弦进行或组成细节的音乐作品的理解[SWK95，Ubi11，TTT12，WRR * 13，XAWI13，YE13，LYH14，XTI14] 或乐器演奏的视频。 Chorlody [LYH14]给出了一个理论上的例子，它使用色标的表示法来教授有关三合会或和弦之间的关系。 更多实用的相关工具提供了真实MIDI键盘的扩展，可显示和弦进行和即将出现的音符[SWK95，Ubi11，TTT12，WRR * 13，XAWI13，YE13，XTI14]。它们被实现为数字，看起来像是在要按下的键[XTI14]上走动，流淌的第二演奏者伴着用户[XAWI13]，旋转的钢琴横摇乐谱向演奏者移动[WRR * 13，YE13] 或使用颜色传达节奏的可视化效果来指示音符必须演奏多长时间[TTT12]。 与暗示应该玩什么相比，Smoliar等人。 [SWK95]和Rocksmith [Ubi11]游戏通过指示实际按下的键与组合音符的差异来提供验证方法。 前者提供增强的便签纸，而后者则使用钢琴卷记符号。
游戏行业还推出了游戏，玩家可以自己演奏音乐作品。 这些游戏中的大多数都可以让玩家通过简化的钢琴侧影可视化效果[Son04，Har07a，Har07b，Ubi11，Rea13]或将乐谱功能映射到游戏对象（如飞船[Fit08，Col09]），沉浸在歌曲中。 Miller [Mil13]通过可视化功能结合各种用户的音乐欣赏欲望并通过游戏元素增强了游戏体验，从而洞察了不同视频游戏的教学方法。 这些游戏使用的数据是预先包含的音乐文件[Son04，Har07a，Har07b，Rea13]或来自用户的本地音乐文件[Fit08，Col09]。 GuitarHero [Har07a]，Rock Band [Har07b]（图7，右）和Band Fuse [Rea13]提供的可视化效果与Rocksmith [Ubi11]相似。 在这些游戏中，向用户展示了旋转的钢琴乐谱符号，向屏幕移动。 单个音符正向播放器移动，它们必须在到达视口时播放。
SingStar [Son04]遵循类似的范例，但使用水平钢琴卷来显示必须演唱的音符。 与上述作品相比，其他游戏不需要用户玩或唱笔记作为游戏玩法，而是在笔记上进行不同的交互。 Audiosurf [Fit08]（图7，左）和Beat Hazard [Col09]都可以播放私人音频文件，从中分析乐谱特征并用于生成“竞赛曲目”。
图3：Liquid Notes [OTG19]（左）之类的商业软件可用于帮助用户创作音乐。 钢琴滚动视图（A）使您可以大致了解构图。 乐器或音高沿y轴编码，音符的位置和长度沿x轴绘制。 其他控制器可调节单个声音或整首歌曲。 Ciuha等。 [CKS10]（右）可视化便签纸和钢琴卷。 颜色使用Pachelbel的“ D大调的佳能”和Debussy的“ Clair de Lune”的摘录（从上到下）表示不同的琴键或音调之间的和声关系。
图4：约翰·塞巴斯蒂安·巴赫的“C大调前奏曲”（顶部)和斯科特·乔普林的“娱乐者”(底部）的笔记表的可视化[哈尔13]。
图5：不同音乐作品的圆弧图比较[Wat01]。 每首歌都会产生一个独特的“形状”，象征着他们反复的段落或主题。
图6：Comp-I的时间轴（顶部）和结构视图（底部）的摘录，其中每个音符在时间轴上均表示为圆柱体，并以圆形布局绘制了歌曲的不同子序列[MFH04 ]。
图7：利用可视化来增强娱乐性的音乐游戏。 Audiosurf [Fit08]（左），将音符可视化为不同颜色的障碍物； Rock Band（右），[Har07b]，其中乐谱表示为彩色图块。
4.1.2 音乐声响
与乐谱相反，本节重点介绍可视化声音数据。 从音乐演奏中提取的音频特征（如音调，响度，速度和定时）是相关视觉效果的基础。 有些作品结合了音频功能和乐谱数据[HWF02，Isa03]。 对于本节中考虑的作品，得分数据起着次要作用。 通常，数据是从音频文件接收的，是通过麦克风或MIDI接口记录的声音信息，是实时执行的还是预先记录的。 我们进一步将音乐视频视为音频艺术的一种视觉增强形式。
与VIS相关。 声音和可视化都有助于与人类交流信息。 可视化使用人眼来传递表达，情感或含义，而耳朵是体验听觉印象的器官。 两个感觉器官都检测到信号，并且所传送的信息带有含义或情感[Coo59]。 对于听力受损的人，相关方法试图补偿听觉的损失（音频信号的损失），并且仍然允许通过视觉手段传递情感和音乐信息[YLL * 07，FF09]。 在本文中，可视化学者可以学习如何设计数据的无障碍表示，这是可视化中迄今未曾触及的研究方向。与音乐学有关。 声音的可视化对于多种目的而言是相对有利的。 可视化的表演在学习过程中提供了有价值的反馈[MW03，YLL * 07]，而音乐家的解释策略中的特征模式则很容易被探究[PDW04，SH05]。 另外，当提供与声音[Dix01，LL04，YGK * 07]的交互机制时，可视化可以增强聆听体验。 通过改编序列比对算法和可视化来支持比较相同分数的不同解释（声音），可以进一步受益。
我们基于三个主要任务对声音数据进行可视化分组。
我们首先对支持分析实际性能的可视化进行概述。 尽管传统的乐谱表记谱法已有数百年历史，但为本节中讨论的视觉化打下基础的声音功能却更具实验性且标准化程度较低。 这是由于每个感知的声音具有相当主观的性质。 许多可视化支持分析歌曲的情绪，我们将在第二段中进行总结。 最后一段致力于音乐的不同再现之间的差异和相似性，这归因于音乐感知的主观性质，也归因于演奏音乐中的典型人为偏差。
任务：性能分析。 演奏时，演奏数据可以通过麦克风或盒带进行流传输，转换并显示在显示器上，以实现快速反馈循环。相应的乐谱可以作为MIDI文件加载。 支持性能分析的应用程序可用于不同目的。首先，（现场）表演的（实时）可视化可以帮助分类和描述音乐家的表演风格，通常是[TED85，DGW02，LG03，SH05，Got06，SML * 16，Huy17，WZBKB17，LK18]或通过 结构特征[PGW03，SH05]。 其次，从教学的角度向用户反馈信息，以帮助他们改善性能[HWF02，Isa03，MW03，YLL * 07]。 第三，可以编辑或操纵演奏声音[Dix01，YGK * 07]。
子任务：单一性能分析。 对单个演奏的深入分析需要许多相关工作。 可以使用Web服务[TED85，Huy17]实时分析单行性能。 它们提供了录制演奏的方式，并且相应的声音以钢琴侧翻音符表示。 其他工作着重于乐器在集成中的不同动态作用[SML * 16，WZBKB17]。 Schedl等。 [SML * 16]显示了乐团乐谱中的当前位置和所涉及的乐器，以及演奏的其他结构元素。
Wu等。 [WZBKB17]可视化了相似的方面，但对于爵士乐团表演中的不同乐器，如图8所示。它显示了一个示例会话，其中用彩色线符号表示每个现场演奏的乐器。 此外，通过投票机制，观众成员可以在演奏的发展或提高中进行互动，从而调整音乐家的演奏方式和演奏方式。 Lupi和King [LK18]通过可视化歌曲的不同手和部分来专注于King演奏特性的细微差别。
子任务：结构分析。 许多抽象的性能视图可以进行结构分析和比较任务。 前者是通过在视觉效果中包括时间维度来实现的，例如，散点图将时间进度映射到饱和度[DGW02，LG03]，从而说明了整个演出过程中的动态节奏。 对于已经包含时间维度的可视化内容（例如钢琴卷注），突出显示特定的结构特征以允许快速导航和概述这些特征的分布[Got06]。
可视化还可以帮助比较音乐家的演奏特性。 专注于爵士乐手[SH05]或古典音乐钢琴家[PGW03]，即兴演奏过程中即兴演奏的趋势可以通过轮廓图[SH05]或平滑的数据直方图[PGW03]可视化。
子任务：反馈。 在现场表演或录制表演时提供反馈有助于表演者提高技能。 在声音数据旁边，有两部作品[HWF02，Isa03]利用乐谱信息（用于次要）来突出显示与实际播放的音调之间的差异。 这对于评估性能[HWF02]的正确性尤其重要。 使用Chernoff Faces [Che73]，可以显示音高，流量，和声，音量和键的差异。
另外，工具也可以通过可视化性能的不同结构特征和相似性来帮助加深对用户自身性能的理解[Isa03]。 McLeod等。 [MW03]和Yang等。 [YLL * 07]使用相当简单的可视化功能在现场表演中传达低频音乐特征，例如频率。 前者针对的是初学者，而后者则试图使一群听力障碍的人能够学习演奏乐器。
子任务：操作。 最后，可视化可以支持操纵性能数据。 这样的信号编辑任务要么应用于现场演奏数据[YGK * 07]，要么应用于音频文件[Dix01，YGK * 07]。 为此，提供了声音信号的交互式图形表示，允许用户交互式地添加或删除特定的声音模式。 两种作品都使用鼓和节奏模式进行操纵，并在视觉和听觉上代表结果。 例如，Yoshii等。 [YGK * 07]可视化一个自组织图（SOM），该图显示了整个歌曲中不同鼓模式的分布（请参见图9）。 对于鼓操作，该工具提供了三种方法。 第一种方法允许通过选择不同种类的音色来进行音色操纵。 第二种方法带有一个滑块，可分别更改每个鼓的音量。 最后，图形编辑器（图9）允许用户通过单击和拖动交互来重新排列鼓音符。
任务：声音的情感分析。 感知音乐的基本要素是共鸣的情绪和交流的情绪[Coo59]。 这是一项重要的任务，因为音乐是人类感知的音乐，可以触发不同的情绪或情感，而且研究人员不仅对音乐为什么感兴趣，而且对如何实现音乐感兴趣。 例如，可以通过适当反映声音心情的图像来传输情感[HLZ04，CWJC08]。
声音片段和图像都用相关的情感形容词标记，并且在播放期间，图像反映了当前的音乐心情[CWJC08]。 张等。 [ZHJ * 10]创建了一种通过图像分析从音乐视频内容中提取音乐心情的系统。 他们在二维“情感空间”中将音乐视频与提取的情绪进行对齐。 在图像和视频旁边，可以传达声音特征，将“音乐的形状”转变为传递音乐情感的视觉形状[Got96，LL04，SY09，HXF * 10]。 而绍尔等。 [SY09]使用化身，表演凯尔特舞（无手臂动作），Goto等。 [Got96]展示了更多抽象的类人舞者。 将速度，节拍位置或动态映射到动作，用户可以选择舞蹈表演部分来创建整个编排。 这种性能的屏幕截图如图10所示。 [HXF * 10]不显示歌曲的形状，而是用户的音乐品味的形状。
因此，大约有60个音频特征被用于生成（静态）化身，通过映射到背景，头部（眼睛，嘴巴，头发，帽子），衣服或乐器来描述刻板印象。 Levin等。 [LL04]主要关注以下问题：“如果我们能看到语音，看起来会如何？”他们从现场表演（语音，声音和歌曲）中获取输入并生成实时可视化效果，检查音高，频谱内容等特征 最终可视化显示在增强现实环境中，一次可被多个用户使用，被称为“共识半透明”。
为了帮助听力受损的人发展出一种对音乐的感觉，Fourney等人。 [FF09]提供了一种Music Animation Machine，它包括一个钢琴滚动视图（请参见图11（左））和一个情绪视图（请参见图11（右））。 后者将注释显示为圆圈，并按圆圈大小对注释长度进行编码。 播放声音时，圆圈的中心移至下一个音符，并在一段时间后消失，以传达对音乐的感觉，例如速度或音调的衰减。
任务：声音相似性分析。 重复是通常在声音结构中发现的音乐作品中的关键元素。 测量相似度的方法的开发在MIR [AP * 02]领域中起着核心作用。 Foote [Foo99]使用二维矩阵可视化来显示同一首音乐中的声学相似性，从而可以研究结构和节奏特征。 这导致可以识别重复或修改的主题。 声音结构的视觉指纹可以用来得出关于其他音乐作品的相似程度的知识。
图8：堆叠的时间线代表了不同乐器演奏者的演奏。 左侧显示了针对预定义模式的不同受众投票。 这些模式定义了乐器演奏家是否以及如何演奏和弹奏音符[WZBKB17]。
图9：Drumix工具的摘录，它通过基于SOM [YGK * 07]的地理隐喻显示了鼓模式的分布。 鼓（军鼓vs.低音鼓）的时间进度列出，可以重新排列。
图10：Goto的虚拟舞者，其动作和位置实时变为音乐节拍[Got96]。
图11：音乐动画机[FF09，MT11]。 钢琴卷可视化效果（左），其中彩色条表示音符，Part Motion（右声）（使用彩色圆圈表示相同的信息）。 圆圈的大小编码音符的长度
4.2 可视化音乐收藏
到目前为止，我们专注于分析单个或很少的音乐作品。 相比之下，收藏集可以是整个音乐专辑，播放列表或音乐档案。 由于需要更多的技术能力，大量可用的音乐数据和需要处理的声音的声音信息，处理大型音乐收藏时的常见问题是音乐的分类，识别，标注和检索[CVG * 08， FLTZ11]。 大型音乐收藏的可视化基于音乐数据的多种特征，对于希望在音乐档案中获得不同于普通文件列表的新观点的用户而言，它们很有趣。
与VIS相关。 本节包括各种可视化方法，这些方法专为非专业用户设计，以支持诸如导航，浏览和编辑音乐档案之类的任务。 可视化本身基于音乐作品的各种特征，从低级声音特征到描述性元数据和众包信息。 因此，可视化学者可以学习如何处理如此大量的信息，以及如何以直观的方式直观地显示结果。
与音乐学有关。 尽管本节中列出的可视化通常旨在帮助非专业用户浏览其音乐档案，但与音乐学的相关性有限。 但是，大多数系统也适用于具有音乐学意义的音乐收藏。 此外，人们对音乐对齐可视化越来越感兴趣，可以帮助音乐学家分析重复出现的声音模式[Mül15]。
大多数调查方法都支持音乐收藏的随意探索任务。 这包括使用户获得收藏的概述，并可以与收藏进行交互以执行典型的任务，例如生成播放列表或播放感兴趣的音乐。 可视化支持的其他任务是分析听他的演讲并探索音乐的排列。
任务：探索性分析。 尽管通常将汇编作品集的音乐作品按层次排列在文件系统中，但可视化可以通过查看包含数千首歌曲的音乐作品集所包含的内容来提供更全面的概述。 此外，交互式视觉界面支持各种任务，从用户驱动的播放列表创建[vGVvdW04，VGV05，GG05，CRV * 06，CB09，PEP * 11]到自动音乐推荐[BCD04，HHKB06，Don07，SWT08，ZL17] 。 集合中的音乐作品也可以根据其特征进行循环排列。 可以对感兴趣的歌曲执行此操作，在该歌曲中，根据音频特征及其与目标歌曲的相似性将其他歌曲映射到圆形布局[HHKB06]，或者在音乐播放器中将可见歌曲的节奏或流派分布在音乐播放器中[SPKW06] ]，或者根据歌手歌曲的音频特征将其映射到圆形彩虹的颜色[PG06]。
三维空间也用于排列代表音乐作品的字形[TC00，NM02，LT07]。
例如，Notes和Minimayeva [NM02]使用三维坐标系，其中不同的媒体类型映射到不同的形状，颜色代表表演者。 但是，音乐作品通常是布置在二维空间中，以气泡或小缩略图（例如，封面或音乐家图片）为代表-在这种视图中，两首歌曲之间的距离越近，它们越相似 。 歌曲的这种二维排列通常基于SOM [PRM02，PDW04，Lüb05，MLR06，Sch08]或多维缩放（MDS）[Don07，SWT08，PEP * 11]。 尽管某些系统提供了根据各种元数据进行概述和浏览集合的功能，但是大多数方法在生成可视化时都将重点放在特定功能上，例如流派，情绪，声音功能和流行度是最常见的功能。
子任务：专注于类型。 流派是音乐中最重要的元数据之一，我们可以用来选择我们喜欢的十种音乐。 两项作品着重于交流类型，子类型以及它们之间的依存关系，并带有交互式概述[CC18，McD18]。 这两个平台都允许通过回放选定类型的音频样本来鼓励随意的视觉探索。 尽管Everynoise [McD18]提供了一个标签云来显示流派，单击一个流派会生成相关音乐家和乐团的标签云，而Musicmap [CC18]为此提供了可缩放的树形图（请参见图12）。 Torrens等。 [THA04]还可以按树形图，矩形图或圆盘上的流派来组织个人音乐库。 每首歌曲都带有一个微小的dimond字形，并且通过播放列表编辑来突出显示更改。 SOM [RPM03，MUNS05，KSPW06]也可以按流派对音乐项目进行空间排列。 一个有代表性的例子-“音乐之岛” [PRM02，PDW04]-使用地理隐喻，并将流派组织为如图13所示的孤岛。 [KSPW06]通过听觉的方式扩展了视觉隐喻。 在流派地图中移动时，将播放紧靠鼠标光标定位的音频文件。
子任务：专注于情绪。 与该类型相反，其他应用程序则将具有类似情绪的歌曲放置在一起[HHKB06，HG13]。 Andjelkovic等。 [APO16]提出了将情绪相似性纳入基于内容的相似性分类的需求。 为此，他们提供了一个交互式用户界面，以输入喜欢的表演者的姓名，这些表演者的名字用于在潜在的情绪空间中投射音乐家，这些空间由情绪类别的次高，活力和不安所跨越。 位置靠近的音乐家会为用户提供建议。 Van等。 [vGVvdW04，VGV05]还提供了一种情绪图，该情绪图是使用力导向的放置方法进行布局的。 代表情绪类别的“磁铁”放置在二维空间中，吸引了相关的音乐家。 Musi奶油[GG05]为根据情调象征音乐作品的碟片上色。 用户可以通过拖放操作交互式地组合播放列表。 这样做时，具有相似情绪的歌曲可以更轻松地拼接在一起。
子任务：专注于声音功能。 歌曲的相似性还可以通过低级声音特征来确定，例如频谱，振幅，节拍器或拍子点[TC01，TEC01，BFTC02，LE07，PEP * 11]。 Kolhoff等。 [KPL06]计算其形状和颜色表示此类特征的花朵状形状。 相反，Muelder等。 [MPM10]通过分析音频来得出相似性，并且音乐收藏以强调这些相似性的图形布局显示。 同样，Leitich等。 [LT07]使用音频信号的频率特性来投影表示地球仪上音乐库的歌曲的图标。 “声音浏览器”提供了一个多角度的视图，可以在散点图，树形图和图表[BF03]中以彩色形状显示声音。 它将文件大小映射到视觉符号的大小，将文件类型映射到符号形状，将采样率映射到颜色。
子任务：关注流行度。 众包信息还可用于提供将音乐项目排列在二维区域中的算法。 Donaldson [Don07]为此目的分析了现有的播放列表。 列出两首歌曲的次数越多，它们越相似。 应用MDS算法后，音乐收藏可以2D探索。 Sprague等。 [SWT08]提出了一种民主的方法来选择社交活动中要播放的下一首歌曲。 所提供的歌曲集被映射到二维平面中，并且用户的投票在视觉上突出显示。
图14是音乐收藏集（在右侧）和投票区域在左侧的示例。 这些首选项形成一个凸包，其中包括接下来可以播放的所有候选歌曲。 用户的投票会影响所选歌曲和所有附近歌曲的“权重”，从而增加了选择相似歌曲整个区域的可能性。
任务：分析监听统计信息。 对于对过去听过的音乐感到好奇的个人，探索歌曲的流行性很有趣。 由于与时态历史相关的时间相关性，时间轴是可视化的选择方式。
Byron和Wattenberg [BW08]通过流图可视化last.fm [Lim02]收听历史。 每个流代表一个音乐家，并且流的颜色指示该音乐家的个人知名度以及初始发作时间。 Baur和Butz [BB09]提供了更详细的视图，他们用缩略图图标表示每首歌曲，并以覆盖时间轴的图表的形式连接随后听到的歌曲。 Baur等人适用于跨越多年的聆听历史。 [BSSB10]生成与白天和年份并列的热图，从而使人们能够发现人们听音乐的方式和时间的方式，如图15所示。 [ZL17]在圆形时间线上排列用户的音乐历史。 选择个别歌曲时，会显示与相关歌曲的连接，以推荐音乐。
任务：音乐对齐。 尽管大多数先前讨论的作品都基于流派，情绪或乐谱特征等特征在歌曲之间定义相似性，但不同的歌曲也可以共享相同或相似的声音模式[GAG * 15，OCF * 15，DPLM * 16]。 音乐对齐涉及根据乐谱和/或声音数据检测此类模式[DR06]。
Gasser等。 [GAG * 15]为两个音乐作品提供音乐对齐方式可视化。 音频信号并置，相关的声音模式通过线连接。 图16显示了Ono等人的实现。 [OCF * 15]，使用全局和局部相似度图可视化所有重复的内部和内部歌曲模式。 视觉设计与Wattenberg的弧形图[Wat02]相当，使用弯曲的链节连接重复。 De Prisco等人使用了更为严格的相似性定义。 [DPLM * 16]，他专注于精确的歌曲间重复，旨在发现窃的歌曲。
图12：通过自上而下的方法[CC18]创建的超级流派Musicmap的摘录。
图13：音乐之岛[PRM02]，其中相似的风格或风格类似于岛屿。
图14：PartyVote的界面，允许社交活动的出席者对下一首选定的歌曲进行民主投票[SWT08]。
图15：Baur等人的热图可视化。 [BSSB10]在用户的列表历史记录中显示模式。 用红线突出显示收听相同的歌曲和歌曲序列。
图16：Ono等人的[OCF * 15]音乐收藏探索工具的相似度图表。 歌曲以矩形显示，并且连接了不同歌曲中的相似音乐片段。
4.3 音乐家的形象化
除了音乐作品之外，音乐学还关注与音乐交往的人。 这些不仅是作曲家，乐器演奏家和歌手，而且是乐器制作者，音乐老师或音乐发行者等等。 图12之前的各种传记信息：通过自上而下方法创建的超级流派Musicmap的摘录[CC18]。
为相关的可视化打下基础。 这包括向其他音乐家或与音乐有关的物体（如乐器和乐器）描述信息的人，例如姓名，寿命或宗派，职业知识（例如工作期限），从事的职业或相关机构以及相关信息。 从图形图书馆[Foc19]（由[JFS16，KJ16，JF17，Jän18，KJKF19]使用）提供当前研究状态的数据库中提取通常以文本形式提供的生物图形信息。 [AWR * 07，AGC * 17，Doi17]或自动从众包数据[CK04，GZL05，Vav17，Spo19]中导出。
与VIS相关。 传记数据采用不同的形式，为此已经存在复杂的可视化策略。 使用时间线[BLB * 17]可视化时间数据，在地图[DMK05，ÇBAD17]上显示地理数据，用图形[HB05，HSS15]进行关系布局，并且存在多种可视化文本数据的方法[KK14] ]。 但是，由于该主题的历史性，为音乐家提供的传记数据包含各种不确定的信息-数据可能是不完整，不精确和不均匀的-对于这些信息，只有基于通用场景的几种复杂的可视化策略[MRO * 12，GHL15]存在。
音乐学为现实世界的数据提供了不确定性的各种类型，可用于开发综合模型以可视化不同数据类型中普遍存在的不确定性。 一些案例研究报告了如何处理不确定性以及如何以视觉方式传达不确定性特征[MWP12，Jän18，KJKF19]。 我们将在第5节中重点介绍这个主题。
与音乐学有关。 仅很少使用或设计数字工具来支持社会学中的前学研究。 传统的摄影学研究通常以语言学的方式关注一位著名的作曲家及其主要作品[JFS16]。 一些作品说明了传达大型传记数据库内容的视觉化[Foc19]，可以为音乐学家提供有关大型人群[KJ16]的直观视图，因此，重点放在整个社区而不是个人身上。 Jänicke等人报告了可视化对音乐学中新的研究问题的价值。 [JFS16，JF17]。 此外，可视化有助于使首次不被视为可见的音乐家之间的关系[KJKF19]。
可视化可以根据本章讨论的三个主要用户任务进行分组。 首先，它们可以对传记数据进行多方面的探索性视觉分析，以便提供可以检测趋势，引人注目的特征和模式的概览。 其次，可视化有助于分析音乐家的社交网络。 第三，已经开发了工具，以使音乐家之间的相似性能够进行可视化分析。
任务：对音乐家的探索性分析。 为了验证和生成假设，许多可视化方法都遵循Shneiderman的Information Seeking Mantra [Shn96]提供了有关个人传记数据库的概述，并且缩放和过滤方法将用于分析感兴趣的模式，探索音乐家群体。 具有相似的特征并检测异常值。 通常，数据库中提供的各种传记信息用于生成数据概览[AWR * 07，KJ16，Doi17，Jän18]。 Khulusi等。 [KJ16]使用七个小部件实现Shneiderman的口头禅，以探索性地分析数据：两个用于音乐家的音乐和非音乐专业的朝阳图，两个用于教派和师的标签云，用于对比男性和女性音乐家的饼图， 活动时间和一张检查音乐家工作地点的地图。 其他作品较少考虑传记数据。 Doi [Doi17]专注于音乐乐队及其表演的地点。 这些地图绘制在交互式地图上，该地图支持分析地点的受欢迎程度。 持续时间[AWR * 07]在时间表上说明了音乐家的职业，即他们的创作。 过滤手段能够确定数据库音乐家之间的依存关系。 Daniels [Dan14]并未使用传记信息，而是根据在水平轴上从其歌词中提取的词汇量，概述了说唱音乐家的数据集。
任务：社交网络分析。 图形可视化使传记数据库的人之间的关系可见，并且直观地揭示了社区的社会结构。 诸如BMLO [eJF15]，Linked Jazz数据库[Pat18]或Red Hot Jazz档案库[Ale02]之类的传记数据库提供了他们所包括的音乐家之间的关系信息。 关系通常是分类的-典型的关系是家庭，学术或工作相关的。 有两个项目专注于可视化爵士乐手的社交网络[GD03，MWP12]。 社区结构爵士乐项目[GD03]提供了一个以力为导向的网络图，用于传达种族隔离问题，而关联爵士乐项目[MWP12]将20个在爵士乐和重心上关系最为密切的爵士乐手 如图17所示，该图将应用于整个网络的布局。通过根据重要性额外缩放节点大小，可以迅速检测到有影响力的爵士乐音乐家。 在时间轴上布置社交网络图可以检测出随着时间的推移，哪些音乐家的音乐学知识已被转移。 Jänicke等。 [JF17]和Yim和Bartram [YSB09]都使用水平时间轴，并应用一维力导向放置策略来垂直放置节点。 除了单独列出的音乐家之间的关系之外，如果考虑到雇用音乐家的机构，还可以进一步推导社交网络[AGC * 17，KJKF19]。
像后两种方法一样，Ables等人。 [AGC * 17]将时间轴和图表结合起来，以形象地反映17世纪后期威尼斯威尼斯人的职业生涯。 Khulusi等。 [KJKF19]根据他们的生活日期在时间轴上放置波斯人，并且相关的波斯人相互联系。 由于根据音乐家所属的机构或从事音乐的行业对音乐家进行分组，因此可以推测音乐家之间的潜在关系。 提供了不同的缩放级别（专注于已过滤数据集中的一个，几十个或所有音乐家）来支持此任务。
任务：音乐家相似性分析。 与探索音乐家的一般特征或社交网络相反，已经设计了许多可视化来支持对音乐家之间相似性的分析。 大多数视觉界面都是为特定用户量身定制的，通常是为了鼓励直观地浏览音乐推荐[Gib11，Vav17，Spo18]。 使用众包信息（例如，亚马逊销售统计数据[Vav17]或Spotify上市历史记录[Spo18]）确定穆斯林的相似性。
所有方法都遵循相同的概念。 用户搜索以图表形式与固定数量（最多20个）的大多数相似音乐家并排放置的音乐家。 为此，Artist Ex plorer [Spo18]使用树，而LivePlasma [Vav17]和Music-Map [Gib11]使用力导向图，其中边的长度或距离分别反映了音乐家之间的相似强度。 通过将注意力重新放在可以通过鼠标单击选择的任何显示的音乐家上，就可以无缝浏览相似性数据，并且音乐样本的回放可以支持此任务[Vav17]。 Cano和Koppenberger [CK04]和Gleich [GZL05]（参见图18）的工作与以前的工作略有不同，因为这些图同样反映了相似性，并提供了整个数据库的概述。 两部作品着眼于以音乐家之间的影响力的形式展示相似性。
Schedl等。 [SKW05]按流派提取原型音乐家，并根据在线文本中同时出现的次数模糊地定义音乐家之间的影响。 使用圆形图布局显示结果，该布局将相似的音乐家紧密放置。 “摇滚历史” [LA18]项目使用了100种音乐歌曲的手动精选数据集，这些数据被评估为他的摇滚[The11]最重要的里程碑。 提供多种协调的视图以探索相应的音乐家； 图19显示了专注于甲壳虫乐队时的可视化效果。 力导向图说明了谁影响了谁？ 音乐家之间的关系，他们的歌曲都列在一个时间线来分析趋势和时间依赖性，和条形图将能量传递（从低到高）和情感（从悲伤到快乐）的水平。 虽然上述方法仅针对休闲用户而设计，但相似性是基于音乐家的作品，但Jänicke等 [JFS16]为音乐学家设计了一个视觉分析系统，以基于生物图形特征（由musiXplora [Foc19]提供）支持音乐家的个人资料分析，这些特征包括工作地点，音乐职业或音乐家的教派。
在选择了感兴趣的音乐家之后，基于八个相似度度量来确定与数据库中所有其他音乐家的相似度。 所选音乐家和最相似音乐家的传记详细信息可以通过流图来比较分析，以说明文字特征，社交网络图和显示相关工作地点的地图。
图17：Miller等人的网络图“ Linked Jazz” [MWP12]使用音乐家图像进行快速识别。 链接之间是编码爵士乐手之间关系的节点之间的链接，这使得有可能获得有关社交网络，艺术家之间的互动和影响的更多信息。 图像的大小通过关系的数量来编码对社区的影响。
图18：Yahoo! Gleich等人的元数据图。 [GZL05]。
根据正面用户评价（喜欢）显示艺术家（节点）的相似性。 边缘经过Alpha混合以突出显示局部密度，并将每位艺术家与他们最近的20个邻居联系起来。 颜色根据艺术家和用户评分数据表示不同的群集。
图19：岩石历史，显示了各个摇滚乐队之间的联系，其时间发展和其音乐分类[LA18]。 被选中的是披头士
4.4 仪器可视化
除了音乐作品和相关的音乐家之外，演奏的乐器也是音乐学家感兴趣的焦点。 乐器音乐是先前提到的可视化的一部分，例如Haro等。 [HXF * 10]通常将化身与风格和情绪相关联，或将诸如吉他英雄[Har07a]之类的游戏可视化的乐器。 在本节中，我们重点介绍为物理仪器及其数字表示所做的可视化处理，例如
我们在音乐学上具有悠久的历史，我们观察到，乐器中的物理数据很少用作可视化研究的基础。
近年来，许多作品发表在不同的领域，根据要扫描的“对象”而面临不同的挑战，例如，工业领域[DCCK * 14]，例如金属接头[ZVMK17]，医学领域 有机物体，例如小动物[LZM * 17]，人类婴儿的头部[HPDCSC * 16]或肌肉组织[PM16]，以及无机物，例如纳米粒子[JAV12]。 音乐仪器的特殊特征是它们是由非常不同的材料制成的，这引起了迄今为止可视化研究尚未触及的研究问题。 一些相关的著作，大多发表在音乐学上，提供了处理乐器数据的基本方法[KBF * 16，Hel17，KSKE17，Kir19]，因此，开创了视觉化界感兴趣的工作。 此外，我们在第6节中列出了与仪器数据相关的众多未来挑战。
使用仪器的视觉表示可以提供多种机会。 与原件的数字代表进行的工作是无损的，许多用户可以使用数字化的仪器，该仪器可以记录下来并用元数据进行注释。 此外，可视化可以帮助解释仪器的功能性。 我们来自音乐学部门的合作伙伴提到，缺少说明乐器概念，其功能（如声音产生），文化背景或出处研究（用于检查乐器起源）的可视化。 如第6节所述，希望使可视化学者参与音乐学，并提出新的研究挑战。
我们将相关作品分为两组任务。 首先，视觉化有助于分析仪器的结构特征和特殊材料特性。 其次，可视化已被设计为传达乐器如何起作用以及声音如何产生。
任务：仪器结构分析。 乐器的三维视觉表示经常用于传达结构特征。 特别是，如果仪器非常古老或独特，则可以通过数字复制对仪器的构造或制造进行爆炸性分析，而不会损害原始仪器。 不同的测量和成像技术被应用于数字化乐器。 尽管很少使用激光或X射线扫描仪[Hel17]和基于仪器照片的计算模型[KSKE17]，准备了乐器的CT扫描[BS09，dBLD * 17，Hop18，Kus18，Sch18]。 作为一种非破坏性方法，CT会生成三维数据集，以揭示乐器中乐器的内部结构，因为各种材料特性会导致测得的密度值不同[KBF * 16，Pla19]。 Eberhorn等人讨论了如何处理非常大的数据集的策略。 [EKK * 17]。 一个代表示例，即来自Violin取证项目[Hop18]的小提琴的体积渲染，如图20所示。在此示例中，传递函数定义为以白色突出显示乐器的胶合部分， 突出显示可能会影响仪器价值和声音的以前维修过的零件。 用于记录和保存目的的典型任务是分析乐器的厚度，为此，选择带有颜色编码厚度值的热图作为选择方法[BS09，dBLD * 17，Hel17]。 图21显示了通过激光扫描跟踪的小提琴的木材厚度热图。 这种表示形式在音乐学中用于比较和分类同一类型的不同乐器，甚至可以帮助确定乐器制造商[Hel17]。
热图还可以用于显示由于存储和老化过程而对仪器的长期影响[KSKE17]。 使用有限元模拟，观察者可以检查多年来估计的变形。 图22显示了由于红色和蓝色的湿度变化而引起的预期的长期结构变形。 这样的视图有助于音乐人相应地处理和存储乐器。 尽管以前的可视化方法为音乐学家提供了三维数码乐器，以支持音乐学的研究任务，但Kusnick [Kus18]和Schott [Sch18]创建了一个系统，使博物馆参观者可以在八月内嬉戏地观察乐器。 托管和虚拟现实环境。 图23显示了一种平板设备如何使博物馆参观者能够从历史工具的非破坏性新视角中获得历史信息–不仅从展示箱子时展示的外部，而且从内部展示。
此类沉浸式分析工具的优点是多方面的，它们可以支持教学，保护和文档编制任务，并且从角度上讲，它们还可以支持组织学家和仪器制造商了解仪器的声音生成。
任务：仪器功能分析。 交流乐器的操作方式是音乐学中的一项强制性任务。 Askenfeld和Jans儿子[AJ91]已经在这方面进行了指导性工作，他们说明了声音产生过程中人为触摸对琴弦和锤子的物理影响。 尽管在非交互式图表中显示这样的结果足以满足文档记录的需要，但是复杂的可视化和交互技术可以简化对仪器功能的理解，并简化具有吸引力的表示形式的信息访问。 两项作品提供了在增强和虚拟现实环境中查看和与数字仪器交互的功能[MPLKT05，SEK * 16]。
通过手势捕获，可以演奏虚拟表示的三维乐器，并且用户可以与颜色编码的矩形进行交互，每个矩形都编码不同的可播放声音频谱。 此外，有两种方法可以交流乐器的动态[BGW08，BMSH13]。 Bouënard等。 [BGW08]详细研究了鼓的真实膜，以通过运动捕捉生成动态和运动学运动数据。 它们显示了鼓槌的轨迹，从而可以分析演奏者的特殊击球技术。 Berthaut等。 [BMSH13]通过传感器记录乐器演奏时的动作，并生成三维形状的虚拟效果。 图24传达了合成器的功能。 根据按下的按钮或调节的旋钮，控制器下方显示屏上的动画将显示所代表的机械零件的运动以及它们如何相互作用以产生声音。
图20：计算机断层扫描扫描的彩色彩色三维可视化图像。 颜色转移功能突出显示粘合区域（底部）[Hop18]。
图21：在类似热图的二维可视化[Hel17]中，来自不对称小提琴（顶部）的顶板的木材厚度分布。
图22：Konopka等 通过对真实仪器进行实验并通过计算机模拟[KSKE17]，研究了木制仪器的长期变形。 该图显示了在三个状态下锁弦的复制品的模拟结果，其中类似热图的色标指示变形程度。
图23：库斯尼克（Kusnick）的Masterthesis [Kus18]的摘录，显示了在增强现实环境中的手摇风琴的体积渲染。
平板电脑的摄像头会将桌子上打印的标记检测为虚拟对象放置的参考点。
图24：Berthaut等人的“ Rouages”形象化地展示了效果以及它们在乐器和虚拟扩展程序中的不同按钮和控制器之间的相互作用（BMSH13）。 控制器设置以不同的三维形状符号化。
5.处理音乐数据
5.1 浩大
5.2 不精确
5.3 不完整
5.4 不均匀性
6.未来的挑战
7.结论