航运大数据——机遇和挑战
航运大数据——机遇和挑战
Ørnulf JanRødseth, MARINTEK,Trondheim/Norway, [email protected]
Lokukaluge PrasadPerera, MARINTEK,Trondheim/Norway, [email protected]
Brage Mo, MARINTEK,Trondheim/Norway, [email protected]
摘要：大数据在航运界变的越来越时髦。在这个领域，可以用大数据来提高物流、排放、能耗和维护。使用大数据的约束主要来自船上传感器的成本和质量，数据采集系统，卫星通讯，数据关系以及有效收集和使用大数据。新的协议标准可能会简化包括电子导航领域在内的收集和管理数据的过程。本文综述了其中存在的问题和可能的解决方案。
1. 引言
航运正在进行第四次技术革命，有时叫做航运4.0或者网络航运。第一次革命是1800年左右从帆板到蒸汽。然后是1910年左右从蒸汽到柴油机。第三次是1970年左右自动化和计算机系统的引入。当前的技术革命是关于航运操作的各个方面的数据的，它可以和陆地上的工业4.0相比较，Hermann et al. (2015)。航运4.0就是像信息物理系统（CPS），物联网（IoT），服务网在内的新技术的应用。这些技术给提供数据和船岸服务的带有嵌入式计算机的船上装备提供了更多的智能。
这里的“大数据”其实并不是很明显。大数据往往被定义为大量，高速或者多样性的数据，这些数据无法用传统的数据处理手段有效的用于分析，决策和控制，De Mauro（2015）。从计算机的处理能力角度看，很难说今天的航运是“大数据”的。因为船舶上获取的大量数据虽然很难用简单的工具处理，但是对于今天的计算机来说并不是问题。然而，从航运信息的复杂度和数量上来看确实需要新的方法和工具来使得用户能够准确的理解信息，从这个角度来看，这也是一种大数据问题。
第四次航运革命给高级实时控制和离线分析提供了大量新的可能的同时，也带来了很多其它数据以外的问题。这篇文章阐述了我们在大数据相关工作中遇到的一些问题，并且给出了如何解决它们的建议。
2. 数据可用性的提高
在几个方面可以产生关于船舶和船舶系统的数据，当然这里主要就是导航和自动化系统。这几个方面都和航运4.0密切相关，但是这几个方面都以各自不同的方式产生使用难易程度不同的数据。这一部分综述了现在的一些主要的数据来源。
2.1 船桥数据网络，强制或特殊用途的仪器
船桥装备往往是通过IEC61162协议族（IEC，2007-1015）数字接口连接起来的。这使得从导航传感器和装备获取测量数据相对简单一些。IMO和船旗国稳定而缓慢增长的运输需求增加了船桥网络上的数据。
另外一些特种船舶需要和它们操作相关的特殊仪器。这包括波雷达，漏油检测器以及高精度惯性导航传感器等。这些仪器可能无法通过标准接口进行访问。
航行数据记录仪（VDR）有时候用来收集上述数据，但是使用的时候要注意VDR收集数据的数量和频率的约束。
2.2 传统自动化
大部分船舶上的自动化系统收集大量的数据，但是这些数据的质量参差不齐。即使一艘老式的散货船，它都有上百个数据输入输出点。在一艘现代的更加复杂的船舶上，数据点会是成千上万的。
这类数据有两个主要的问题：第一个是数据访问问题，因为数据往往是在一个和具体厂商相关的封闭系统中。第二是数据的质量问题，因为数据是用在闭环控制或者警报约束监控中，所以传感器的数据可能并不是很准确。对于老式的自动化系统，传感器可能已经失效或者失联。传感器很少提供数据的质量属性，所以用户需要自己确认测量数据是否合理或者判断数据是卡主了或者波动的太剧烈。
有时，现代综合船桥系统将导航和自动化系统集成在一个平台内。这样可以更加方便的实现信息物理系统。这些系统也能够收集大量的数据，当然也会引入上述问题。
2.3 新信息物理系统
现代船舶使用更加高级的装备，这些装备内装有传感器和控制系统。这包括发动机和发电机，带有扭矩控制的绞盘，高级动力定位系统，新的导航传感器系统等等。系统通过计算机和传感器进行状态监测，闭环控制或者监控报警状态。这类由计算机控制的集成物理系统是工业4.0（信息物理系统）最主要的特征
使用这些系统中的数据存在的问题和自动化系统中一样：无法访问以及在系统外访问这些数据不一定合适。对于CPS，数据的质量可能不是问题，因为这些数据都用在主动控制或者装备监控，而且传感器的误差可以很快的检测出来。
2.4 船舶性能监控
最近几年，尤其是当油价很高的时候，我们看到了船舶上用于性能监控和优化的装备大量增长。轴扭矩测量仪，燃油流量计，增强的环境传感器以及时间测量等等。这些仪器提供了可以提高船舶性能的准确数据。这些数据的可访问性和质量依赖于谁安装的这些仪器。有些时候，仪器和服务可能由第三方提供，那么这时候要访问这些数据就不容易了。
2.5 船舶报告
船舶要发送很多操作和管理报告给岸上。这包括各种各样的强制港口和港口状态报告，海上正午报告以及技术维护报告等。其中很多数据不仅作为数据分析的来源很有用，对于船员的操作决策也很有用。这些报告往往是手工输入的，所以很容易出现输入误差。有些报告可能对船舶经济性有影响，所以人们可能会调整它来避免惩罚或者增加开销。
同样的在使用数据之前要对数据的质量进行控制和验证。另一方面，这些报告也表示了船员对于船舶运行状态和操纵的观点，也许这些可以用来验证和控制自动获取的数据或者用来作为其它技术测量的补充。
2.6 船舶外部监控—AIS和VTS
另一个增长的船舶数据源是外部监控。大部分港口国家在它们的海岸线部署了自动识别系统（AIS）基站网络。基站会监控在甚高频（VHF）无线电覆盖范围内的船舶交通状况。近地轨道卫星AIS接收机被用来扩展海岸基站的监控范围。AIS接收机可以提供非常有价值的船舶运动信息。在航行的时候，船舶会非常频繁的发送AIS数据，一般至少10秒一次。传输的数据包括位置，速度，航线，航向以及速度。低频消息将会传输船舶静态数据，气流和其它航行相关的信息。
除了海岸国家的官方数据，还有一些无论是通过海岸基站还是卫星的私人AIS数据提供者。所以访问AIS数据往往不是问题，但是数据的质量和价格可能会各种各样。大部分情况下，我们得到的数据都是过滤之后的数据，所以我们还要考虑到过滤后数据的含义。“过滤”往往是在大密度报告区域对数据大量的舍去，在没有报告的时候对数据进行插值。
除了AIS，海岸国家也提供船舶交通服务（VTS），它通过某些区域的雷达和CCTV系统监控船舶交通。有时，我们也会使用综合孔径雷达或者其他形式的卫星传感器来提高对周围环境的认知。以上数据对于普通人来说都是无法获取的。
2.7 气象数据
预测和历史气象数据可以通过付费或者免费两种渠道获取。当然，它们的差别是提供的气象信息的详细程度。免费的信息相对低分辨率，但是也能给出很好的关于环境对船舶影响的高层次信息。当船舶靠近海岸或者其他像岛屿或狭窄洋流附近等天气现象容易受到小规模地理特性影响的区域，这些免费的信息就没什么用了。
2.8 港口呼叫数据
港口和船舶代理人需要收集船舶在靠近和停靠港口时的有价值信息。这些有用的数据可以给出港口延时以及装卸货时间的非常准确的信息。这些数据往往对于船舶或者船东来说以报表或者港口日志的形式存在。这些数据往往非常精准，因为它们往往是用来计算港口费用，效率以及其它重要的商业数据。
3. 在船舶上有效收集船舶数据的障碍
上一部分综述了通常使用的船上或船下数据源以及在访问和使用数据时遇到的问题。表1总结了数据的问题和它们的数据源。后面的子章节给出了数据获取的具体细节问题。
表1: 一般的数据获取问题
| 来源 问题 |
1.网桥 |
2.自动化 |
3.CPS |
3.性能 |
4.报告 |
5.监控 |
7.气象 |
8.港口数据 |
| 和上下文相关的数据质量 |
X |
X |
X |
|
|
|
|
|
| 安全和保障的考虑 |
X |
X |
X |
|
|
|
|
|
| 复杂现象很难测量 |
X |
|
|
X |
|
|
X |
|
| 非自动化的数据输入导致错误 |
|
|
|
|
X |
X |
|
X |
| 商业上的考虑可能导致报告上故意的错误 |
|
|
|
|
X |
|
|
X |
| 劣质的仪器，数据上没有质量属性 |
|
X |
|
|
|
|
|
|
| 专利问题以及昂贵的数据接口 |
|
X |
X |
X |
|
|
|
|
| 推断出的数据的所有权 |
|
|
X |
X |
|
|
|
|
| 标准缺乏 |
|
X |
X |
X |
|
|
|
|
| AIS基站和卫星接收中的人为因素 |
|
|
|
|
|
X |
|
|
| 网络攻击 |
X |
|
|
|
X |
X |
|
|
3.1 和上下文相关的数据质量
对于所有从一个系统中获取数据但应用到另一个系统的情况下都或多或少会遇到获取特定传感器数据上下文的问题。一个例子是相似类型的不同传感器，它们之间的关系是怎样的以及它们分布的位置：比如船舶往往有许多位置传感器，每个传感器都有它的参考位置而且每个传感器的质量属性在船桥系统之外很难获取。直接使用导航系统中的位置数据会导致准确性问题和一致性问题。
一个相似问题出现在闭环控制中的传感器或者作为警报的限定传感器。包括线性，补偿，准确性以及稳定性等在基本传感器特性往往会根据手边的任务进行调整，所以一个特定传感器的装配往往是成本，鲁棒性以及满足需求之间的平衡。对于控制和报警的应用，传感器可以通过控制和监控软件进行调整，绝对的测量质量可能并不是非常重要。除非对于外部系统来说这些调整是知道的，否则使用这些数据可能就会导致问题。不幸的是上下文问题解决起来并不容易，需要对每个测量增加复杂的属性列表，因为它们可能会在和原始上下文不同的情况下使用。从实际应用的角度看，以一个标准的形式来实现可能显得有点过于复杂了，Rødseth (2016)。
3.2 安全和保障
和网桥或者其它提供安全相关功能的数据网络进行连接可能是冒险的。任何接入网络或系统的物理连接都有可能是用于错误传播或恶意攻击的病毒设备。因此，这样的连接往往被船旗国或者特权阶级禁止。对于船桥网络，用于连接外部网络的安全以太网和防火墙技术已经有了进展 IEC (2015), Rødseth and Lee (2015)。
对于自动化网络，也有可能通过使用防火墙和网关实现安全连接。不幸的是，这方面的标准还没有开发出来，所以这方面的解决方案可能会变得很昂贵（看3.9）。
3.3 测量复杂外部现象
外部现象，比如环境对船舶性能的影响是很难准确的测量的，当用关于这些的数据做计算的时候就要小心了。水的速度，风速，波浪和其它相似的数据在船舶周围变化非常的快。往往很难或者不可能从一个测量点（而往往大部分船舶是这么做的）来得到这些数据对船舶整体的影响。
另外，传感器是挂载在船体里面还是外面也会对误差产生影响。这些传感器容易损坏，被外部的东西遮挡或者一般的折旧都会使得传感器变得不可靠。
3.4 非自动化的数据记录导致的错误
我们的经验告诉我们报表中的人工记录，计算机系统或者AIS收发器都是很主要的错误来源。比如AIS，它会显示航行的目的地，船舶吃水和航行模式，但它有时候也会显示非法或者错误的船舶特性。
AIS有时候也会传输导航相关的数据，比如需要从外部传感器获取到AIS的转速和真航向。很多AIS发送器不和这样的传感器相连接并且发送无效的数据或者从内部根据位置推断数据。
很难去避免上述问题。一个显而易见的方案是使用自动获取的数据，但是如果需要和其它系统进行物理连接往往成本会很高。大量的有效性验证从短期来看往往是最相关的方案。然而自动化船舶报告在e航海策略实现计划，IMO(2014)，中是优先的解决方案。所以在未来几年可能需要这方面的进一步开发。
3.5 商业的考虑可能会在报告中引入故意的错误
有些从船到岸的报告有商业的成分，比如对于船东和租赁者。这可能包括装燃料，燃油消耗和速度的数据。这些数据包括在合同规定的性能报告，意外的坏天气报告和船舶安全相关的报告中。传统的，当报告者报告错误的数据有直接的经济利益的时候这会使得有些报告变得不可信。
现在，篡改这些数据变得少了，因为可以直接通过AIS卫星，气象数据或者其它可用的信息进行一致性比对。然而这个问题在某种程度上仍然存在，所以商业敏感信息在分析中用到的话还是需要谨慎。
3.6 低质量仪器—没有质量属性
旧船舶上的传感器数据和操作上很少使用的数据可能会有不可靠的质量。这可能是因为传感器已经失效，失联或者其它问题。这是来自自动化系统和报警系统的数据的共同问题。
很多自动化系统并不对数据进行任何的质量校验或者提供任何的测量数据的质量属性。当这些数据接到系统外面的时候，很难评估这些数据是否可靠。
现在，这个问题的解决需要在使用这些数据的系统中仔细的进行数据质量检查。现在正在开发的新接口标准（见3.9）可能会在自动化数据中引入改进的质量属性。
3.7 所有权和昂贵的数据接口
很多人认为船东是在船上产生的任何测量的数据和产生的数据的所有人。然而，只要这些数据通过标准接口不是能很方便的获取到的话，船东或者经营者就需要支付高昂的代价才能获取到。这往往需要改装特殊的软硬件，因此需要昂贵的人工费用。对于像船桥网络这样已经建立好接口标准的系统来说，这可能就不是一个问题。不幸的是，在很多船舶系统尤其是自动化系统的接口上缺乏标准。这可能会随着最近标准的开发有所改变（看3.9）。
3.8 特殊或者导出数据的所有权
有些系统在交付的时候可能会带有使用系统内部数据的特殊说明。比如，如果船东不访问或者没有相关数据的所有权，那么就将维护和监控作为一种服务提供给船东。第三方服务有时候也需要用于各种不同的船舶或船队的监管和功能优化。这可能也意味着数据所有权的使用限制。
虽然船舶生成的测量数据船东可以访问到，但是也有可能有导出或者中间数据访问不到。这可能就会导致船和岸引入各种分析和计算。
如果用第三方服务来监控船舶或船队，那么我们就需要考虑收集和导出数据的所有权问题了。这不像船舶上产生的数据那么简单，但可以通过和服务提供者进行谈判解决问题。
3.9 接口标准的缺乏
虽然现在有很多用于自动化和嵌入式系统中接口，但是很多类型的数据获取缺乏公共接口标准仍然是一个重要的问题。船桥和导航系统已经建立了一些符合公共接口（看2.1）的标准以及有些类型的船舶报告也是用标准的格式Rødseth (2016)。标准的缺乏意味着所有的数据获取接口会根据应用的不同而改变，这就意味着配置接口会根据不同的实现有所不同。即使在完全一样的船舶上（看3.7）。这样的话成本就会很高，费时而且容易出错。目前正在开发自动化系统的接口标准。ISO（2015a, 2015b）已经提出了两个新的标准分别用于船舶数字接口和数据标记。但是标准的正式建立和市场接收还有待时日。
3.10 AIS基站和卫星接收中的人为因素
从岸上的AIS系统获取数据受到基站覆盖范围的限制。接收也会受到无线电阴影的阻碍。当可以接收的时候，船舶的数据传输可用并且依赖于船舶速度和调遣。
图1. 24小时内AISSat1和AISSat2轨道下的北欧
卫星接收受到卫星的轨道和无线电装备的影响。挪威现在在越级轨道上有两颗卫星（看图1）。北纬75度，大约每45分钟就有一个大概8分钟的观测时间窗口。但是在挪威南部，频率迅速下降到每两个小时只能观测到一个时间窗口。在赤道，每天有两次观测，一个卫星一次。卫星也受限于无线电技术和大气干扰，这进一步降低了观测的效果。
Rødseth et al(2015)。由于船舶之间的串音，在船舶交通密度比较高的区域附近这个问题就显得更加突出了。图2展示了在2014年1月到2014年11月期间，北纬80度附近卫星观测一个船舶操作得到的图。y轴表示观测之间的时间（以小时为单位）。高峰（长的观测周期）往往出现在港口呼叫期间，而从2014年7月开始，观测周期的减少是由于开始使用第二个卫星来测试了。AISSat2，Rødseth etal.2015。2014年6月前只有AISSat1。
图2. AIS观测之间的时间
不规律的接收模式意味着数据必须需要仔细的插值和过滤来避免由依赖于常规时间序列的计算方式引入的人为误差。在考虑数据获取频率，概率和数据质量之前我们还需要考虑AIS数据的来源。
3.11 网络安全挑战
在一般的船舶数据获取的时候网路安全并不是要考虑的主要因素。但是我们应当意识到有些数据可能通过网络攻击截获或者篡改。比如即使是GPS位置信号也可以被篡改。所有依赖无线传输从其它船舶或者岸上获取的数据都值得怀疑。这就包括从岸上或者卫星来的AIS信号。
所有从船舶发送到岸上的报告（反之亦然）可以被截获或者篡改。所有关于船舶数据的应用都需要考虑到这个问题，并且判断是否要作为分析的误差来源Rødseth andLee (2015)。
4. 海事大数据管理和应用
就像前面几个章节讲到的那样，船舶上有很多的数据源，而且往往数据的量很大并带有对应的可能误差。船上和岸上的数据管理必须在图3描述的3个轴上进行。
图3. 大数据管理的三个维度
容量和存储管理需要在船上或者岸上将大量的数据进行结构化的存储。容量管理还要考虑到成本和船岸间数据移动的能力。通过检查数据提取意义的科学叫做数据分析。数据的质量控制可以作为一个独立的活动进行，并且是对于分析结果的准确性非常的重要。
4.1 容量和存储管理
传感器和数据获取系统收集大量的船舶性能和操作数据。有些系统，尤其是船桥和性能监控可以装备多个收集相似类型参数的传感器。AIS观测也是一样的，不同的基站可以从同一条船上接收同步的数据。很多像AIS这样的传感器，也会收集高于船舶性能分析需求的高分辨率数据。
一般，测量数据在很多情况下存在功能和时间上的冗余，这些情况应当在容量和存储管理过程中识别出来。大部分数据集往往可以通过去除冗余降到一个更加小的数据集。这大大的方便了数据处理和通信过程，Perera and Mo (2016)。另一方面，关于数据集结构和要分析的目标的更多的了解可以帮助我们避免去除重要的数据。
有很多统计方法用来降低数据量，它们在移除一些数据细节的同时保留数据的主要成分和变化。比如主成分分析，PCA。在这种数据处理方法也许可以在降低数据量同时，过滤掉噪声。
事实上，所有较少数据容量的方法都会移除信息，尤其是那些和研究兴趣或者统计趋势不相关的信息。比如，移除来自不同传感器的数据也会降低每个传感器的相对可信度。
图4：和船舶性能数据相关的系统
当你想要有效的处理大数据的时候，就要考虑如何结构化存储数据的数据管理问题。考虑到一致性，易维护性和数据集信息的不丢失之间的矛盾，我们当前考虑了如图4的两层存储系统。在移除初始的脏数据和小心的数据收缩之后，最底层将使用大数据技术存储尽可能多的数据。第二层将使用特定的提取，结构化的工具来分析特定的问题。
4.2 船岸通信
船舶的数字连接能力在不断的提升，尤其是高级和有良好管理的船舶。陆基移动通信系统以一种低成本高性能的形式变得越来越可用。然而，在很多情况下，公海卫星通讯是船岸间传输数据的一个限制因素。
图5：世界船舶密度（B.S.Halpern, from T. Hengl; D. Groll/Wikimedia Commons）
远程通信卫星的运营者会将它们的信号部署在客户集中的地方。深海的很多区域并不是高吞吐量服务的主要区域（见图5）。这意味着对于大多数船舶来说，起码在某些区域，在最大可用带宽和传输成本上将有所限制。这也意味着数据管理系统需要考虑怎样尽可能的利用可用的通信能力。
这个过程可以被集成到分析过程中，比如，开发层次性能指示标志，高层次标志意味着当需要的时候可以再进一步挖掘其中的细节信息。这个原则被用在技术规范和安全指数方面Rødseth etal(2007)以及航运KPI系统Rialland et al(2014)。这个原则可以减少处理和传输成本以及时间，因为只需要处理给定水平和时间的相应数据元素。
Pereraand Mo (2016)已经研究过使用主成分分析法来进行数据压缩。它降低了30%的容量，但只损失了6%的信息。这个技术将应用到之前用传统数据压缩方法的系统中去。对于所有的数据简化方法，我们都需要保证完整的船上测量数据，用于后续的离线分析。大数据方法的一个很大一部分价值就是我们可以使用新颖和有深度的方法对随着时间收集的大数据进行分析，从而发现当数据收集时根本无法想象的现象。要成功的做到这一点，我们需要谨慎的选择如何过滤数据。
4.3 数据质量
在第三部分讨论了几个关于数据质量的问题，在实际中我们可以发现大概有四类数据质量问题以单独或者组合的方式出现：
1. 不可靠数据：输入数据存在完全或者部分错误，数据值和观测现象没有清晰或者一致的关系。
2. 上下文相关的人为因素：输入值需要额外的可能无法获取的信息来进行正确的解释，比如传感器在船上的具体位置。
3. 时间相关的人为因素：由于太快，太慢或者太不相关的采样频率引入的和数据输入频率相关的问题。这就和奈奎斯特采样定理有关了。
4. 不成比例的数据：输入数据不和观测的现象成比例，这可能和线性、补偿、磁滞、饱和相关。
每一个上述的问题都可以通过使用特定或者多样的方法来过滤错误和纠正人为引入的问题。然而，往往数据退化的实际原因是不知道的，我们必须使用一般的统计方法来检测测量的人为因素。正如文章Perera and Mo (2016)讨论的那样，系统化的数据压缩可以用于数据质量提升。降低测量值中的冗余也是一个检测和移除非期望值数据的方法。这可以是基于物理系统的数学模型，经验或统计方法，或者其它形式的机器智能。所有上述情况，这些方法的质量和细节程度将会决定哪些信息移除或者丢失。对于一般的数据获取，信息的丢失可能是不能接受的。即使是完全错误的数据都会包含信息，比如传感器可靠性。然而，在期望区域外面的数据必须标记起来，这样的话我们就可以在分析的时候简单的避免使用它。数据分析本身，当它们研究的系统状态存在冗余，那么也可以用来进行传感器错误检测。
质量管理也能独立于分析和容量管理。传感器系统知识，异常值检测，趋势和统计方法可以用来识别和移除可疑数据。
4.4 数据分析
信息有时候被定义为能够回答关于世界的一个问题的数据。正如图6有两种方式可以将数据转化为信息。一个是使用关于世界的知识来建模问题，然后用数据解答。另一个是使用不同形式的发现方法，比如基于统计，相关或者“机器智能”（MI）的方法来发现新的关于世界的关系。大部分面向ICT的大数据研究都是后者，然而大部分当前正在航运行业使用的是基于模型的信息提取。
图6. 基于数据变换的模型或发现过程
基于模型的提取的优点是可以进行包括科学假设测试在内的系统性的数据分析。缺点是在使用模型之前必须存在这个模型或者假设。基于发现的方法有能力找到新的模型和关系，但是可能模型在实际情况下并没有效果，它只是随机出现或者只是数据相关而已。
在我们的案例中，关于数据分析的初始研究基于各种经验船舶性能和导航模型。然而这些传统的数学模型往往由于系统模型不确定性，传感器噪声和故障条件以及复杂参数迭代不能处理大规模数据集。在有些情况下，这些模型不能用于预测由大数据集描述的实际船舶导航情况。机器智能（MI）和统计分析往往用在这种情况用于克服这样的数据处理挑战。因此MI和统计分析在大数据处理的时候将更加有用。
MI技术在各种研究和工业应用中用来进行数据分类和回归分析。这同样可以用在航运行业的大数据应用中。统计技术经常被用来确定大数据集中参数间的关系，比如主成分分析。这些方法可以组合起来，这样分类数据集间的参数关系可以通过统计方法研究出来，然后用回归工具从这些关系中提取出结论。
5 大数据应用的操作时间尺度
新的大数据应用可以用在很多不同的时间尺度情况下，从在线决策支持工具到长期的船队统计分析。我们还可以在这个框架下进行循环，比如使用长期分析的结果来更新实时决策支持的控制参数。我们不会在本文中讲过多的细节，只会指出一些可能的方向。
5.1 在线船舶决策支持
实时应用的例子包括调整优化，恶劣天气决策支持，发动机优化系统等等。它们往往分析实时或者短期的历史数据来提供关于当前情况的决策支持，其中涉及到燃油消耗，船舶移动或者其它船舶参数。
5.2 船舶性能优化
有些应用将会通过分析长期数据来确定一般的优化情况。除了最佳操纵指南，还包括技术状态监测和维护计划。有一个例子是关于技术状态监测的，它使用按月控制的测量信息来评估船舶设备的技术状态Rødseth etal(2007)。
5.3 船队优化
随着周期的延长我们可以通过更多的数据来比较相似船舶的性能。这可以用来确定一些航线的统计操作约束或者更一般的船队最佳操作建议。通过分析各种不同的技术和操作过程可以用于维护策略生成，航线优化，船体涂料性能分析等。航运KPI项目就是这种服务的一个例子Rialland etal(2014)。
5.4 预测分析
从大数据角度看到的有意思的机会之一是通过使用历史数据来确定新船舶的特性或者确定新的操作原则。在已知历史验证过的操作条件下的虚拟原型和新船设计仿真就是一个有趣的应用Fathi et al (2013)。
6 总结
将大数据处理技术用于传播和航运可以挖掘大量的当前正在使用的的数据源，对于在船舶和航运行业建立一个更加有效的技术方案和操作制度有很大的意义。另一方面，有很多错误的来源可以干扰分析过程并导致错误的结论。因此，各种各样在线和离线的工具和技术需要开发出来克服这些问题。这对于需要实时操作但作为综合船桥系统一部分的子系统尤其重要。使用收集周期长的数据的系统可能通过使用大的历史数据集在长周期上平滑来过滤掉脏数据和假数据更加容易。然而，即使对于在线和实时数据处理，也有越来越多的用于识别传感器错误数据的新方法出现。数据集的质量可以获得提高，实时船舶性能可以在一个更加高层次、多细节、低误差的情况下观测。
离线数据处理可能需要额外的数据管理工具来保存、搜索和召回想要的数据集。这些工具可以用来更加深入的分析船舶和船队性能。因此，数据管理和分析的研究开发将在航运大数据领域扮演一个非常重要的角色。
船岸连接对于一些船舶来说仍然是一个问题，但是随着通讯技术的发展和带宽价格的降低，这个问题变得越来越简单。即使船岸连接存在约束，在船舶和船队分析大数据应用方面还是很有前景。
船舶大数据应用的一个主要成本问题是缺乏不同数据源之间的接口技术标准。这意味着定制的昂贵的接口方案需要根据每一条船舶进行开发。另外，配置数据库、创建系统模型和将相关现象的不同测量结果进行联系的成本也很高。这方面的工作正在进行当中，但是需要更多的来自船东、码头、系统制造商和科学家的支持。另一个关于在海事领域成功运用大数据技术的关键是理解不同数据源的作用和限制以及可用的用于解决这些问题的技术。
参考文献
DE MAURO, A.; GRECO, M.;GRIMALDI, M.(2015), What is big data? A consensualdefinition and a review of key research topic, AIP Conf. Proc. 1644,pp.97-104.
FATHI, D.E. GRIMSTAD, A.; JOHNSEN, T.A.;NOWAK, M.P.; STALHANE, M. (2013), Integrateddecision support approach for ship design, IEEE Oceans, Bergen
HERMANN, M.; PENTEK, T.; OTTO, B. (2015), Design principles for Industrie 4.0scenarios: a literature review, Report, TU Dortmund
IEC (2007-2015), Maritime navigation and radiocommunication equipment and systems -Digital interfaces, (Part 1 and 2: Serial line, Part 450 Ethernet; Part 460Safety and security), IEC 61162
IEC (2015), Maritime navigation and radiocommunication equipment and systems -Digital interfaces - Part 460: Multiple talkers and multiple listeners -Ethernet interconnection - Safety and security, IEC 61162-460
IMO (2014), Sub-committee on Navigation,Communications and Search and Rescue, Report to the Maritime Safety Committee.NCSR 1/28, Annex 7: Draft e-NavigationStrategy Implementation Plan
ISO (2015a), ISO/NP 19847 Shipboard data servers to share field dataon the sea, ISO/TC 8/SC 6N 359
ISO (2015b), ISO/NP 19848 Standard data for shipboard machinery andequipment of ship, ISO/TC8/SC 6N 360
PERERA L.P.; MO, B. (2016). Data compression of ship performance andnavigation information under deep learning, 35th Int. Conf.Ocean, Offshore and Arctic Engineering (OMAE 2016), Busan
RIALLAND, a.; NESHEIM, D.A.; NORBECK, J.A.;RØDSETH, Ø.J.(2014), Performance-based ship managementcontracts using the Shipping KPI standard, WMU J. Maritime Affairs 13(2),pp.192-206
RØDSETH, Ø.J.; STEINBACH, C.; MO, B (2007), The use of technical condition indices inship maintenance planning and the monitoring of the ship's safety condition,Int. Symp. Maritime, Safety, Security and EnvironmentalProtection, pp.20-21.
RØDSETH, Ø.J.; KVAMSTAD-LERVOLD,B.; HO, T.D. (2015), In-situ performanceanalysis of satellite communication in the high north, IEEE Oceans, Genova
RØDSETH, Ø.J.; LEE, K.(2015). Secure communication fore-navigation and remote control of unmanned ships, 14th Conf.Computer and IT Applications in the Maritime Industries (COMPIT), Ulrichshusen
RØDSETH, Ø.J. (2016), Integrating IEC and ISO information models into the S-100 CommonMaritme Data Structure, E-navigation Underway International, Copenhagen