IPFS/Filecoin如何实现大规模离线数据传输？

一、Filecoin为什么诞生？

Filecoin旨在存储世界上最有价值的信息。它创建了一个基于区块链技术的分布式存储交易市场。块链技术提供了安全的存储保证，加密资产机制创建了一个动态的市场。

目前，在全球范围内，我们每天产生大约2.5亿字节的数据，其中一些数据涵盖了人类在科学、数学、艺术、历史和人文领域创造的最重要的信息。

然而，当你处理大量数据时，你会发现我们很难在互联网上传输这些文件(昂贵且耗时)来存储。对于PB级的数据集和更大的数据集，最明智的解决方案通常是在硬盘上传输数据。

因此，Filecoin希望使用协议和项目制作的工具和结构来支持离线数据传输。

二、为什么要离线数据传输？

要决定是在线还是离线传输数据，我们需要考虑两个关键因素：成本和时间。

例如，一个博物馆或图书馆(大量的信息)希望在分布式网络(DWEB)上上传、存储和保护它的藏品。

（1）成本

在线传输：在今天的云服务中传输pb级数据需要通过多个区域传输数据，这会导致互连费和区域带宽收费，以及如果您选择租用一条专用线路或考虑重试需求，还需要额外的费用。粗略地说，仅带宽一项就需要大约140000美元来传输2.5pb数据；如果它跨区域传输，成本就会更高。

离线传输：考虑到硬盘本身的成本，8TB服务器级驱动器的价格约为200美元。要传输2.5PB数据，你将需要315个硬盘驱动器，总计约63000美元。尽管你可能需要额外支付一些运费、进口费和货币兑换成本，但总体成本要比在线传输低得多！

（2）时间

在线传输：以100 Mbps的速度传输500 TB数据需要一年多的时间。

离线传输：用硬盘下载和发送相同的数据只需时间，大约一周就可以完成！

归根结底，很明显，在某些情况下，实际传输数据的成本效益更高，速度更快。

三、Filecoin如何支持离线传输？

当存储的数据较少时，在矿工和客户协商交易后，客户通常可以在网上直接将数据传送给矿工。

当存储大量数据时，Filecoin的脱机数据传输功能使客户能够脱机完成数据传输步骤(例如，将硬盘驱动器从客户端传输到存储矿商)并按所需顺序进行交易。

Filecoin通过标记告诉客户端不要通过网络传输数据；客户端传递一个CID(描述数据的唯一标识符)，矿工必须匹配才能通过CID进行交易。这为客户端节点提供了设置事务的灵活性，例如将硬盘驱动器上的特定位置传递给矿工，以便它们用于生成分段的CID数据。

文件发现（Filecoin Discover）

该项目旨在激励早期矿工订购和存储有价值的开源数据的硬盘驱动器，以换取额外的Filecoin。

这是一种帮助Filecoin成为人类数据集最重要的家园，使其他人能够访问它，以及扩大我们的知识库和开发新的想法的方法。

存储设备方案

4月份，Filecoin提出了一项建议，要求提供更快的离线数据传输的存储设备(类似于AWSSnoball)。

RFP的目标是构建冗余和安全的低成本硬盘解决方案。矿工可以在指定的时间内租用设备来维护数据传输。客户端可以在这些设备上加载数据，而矿工在收到数据时将数据卸载到自己的服务器上。

离线传输的意义

假设一艘在海上收集太平洋水下生物pb级信息的潜艇。当船只返回陆地时，邮寄这些硬盘可能比依赖在线数据传输更有意义。

在网络分散的过程中，大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来，电子束级数据传输(如AWSSnoMobile)是数据传输发展的下一步。

最终，离线数据传输等解决方案将使Filecoin成为传统云存储平台更强大的替代品–如果存储成本下降，小型企业也将能够在招聘或研发方面节省更多资金。