不同组织机构所收集的与 BGP 相关的数据

Motivation

因为最近开始研究 BGP 相关的内容，然后在看了一些颇具代表性的文章后，也知道了很多与 BGP 相关的数据的来源。所以想写一篇文章把拥有这些数据的组织情况记录一下，为以后的研究提供便利。

Introduction

总体来说，拥有与 BGP 相关的数据的组织可按照拥有的数据的类型将它们分为 5 类，分别是：

1. 收集 BGP Routing Table 的机构组织
2. 收集 Traceroute Data 的机构组织
3. IXP Datasets
4. Validation Data For Topology Inference
5. ASN 分配组织

收集 BGP Routing Table 的组织

RIPE RIS

RIPE RIS 链接
为了帮助网络操作者认识理解网络中的路由，RIPE 提供了 RIS（Routing Information Service）。RIS 利用在世界各地部署（通常部署在世界各地的 IXP）的远程路由收集器（Remote Route Collectors，RRCs），收集并存储网络中的路由数据。志愿与 Collector 进行连接的 AS （Vantage Point）利用 BGP 协议向 Collector 发送 BGP Update 信息，RIS 也会依据相关消息存储以及撤回对应的路由信息。

RIS Raw Data

RIS 会免费提供每个收集器收集到的路由表信息，并以 MRT 格式进行存储。文件可以利用 C 中的 libbgpdump 或者 python 的 PyBGPdump 进行阅读。每一个 RRC 会存储两类数据：

• 所有的 BGP 报文，利用 Zebra 命令 “dump bgp all” 建立。这些文件以 “updates”开头，每 5 分钟创建一次。
• 完整的 BGP 路由表，利用 Zebra 命令“dump bgp routes-mrt” 建立。这些文件以“bview”开头，每 8 小时创建一次。

Collector 列表为（总共有 23 个）：

• rrc00.ripe.net
• rrc01.ripe.net
• …
• rrc16.ripe.net
• rrc18.ripe.net
• rrc19.ripe.net
• …
• rrc24.ripe.net

RIS RIPEstat

RIS 还提供了 RIPEstat 服务，一个提供互联网账号资源的“一站式商店”。当你输入一个 IP 地址，前缀或者 AS 号，RIPEstat 会利用下面的部件给你展示相关的信息。

• Routing Status：一个前缀（IP 地址会被转化成前缀）是否会被成功路由，一个 ASN 是不是在使用。
• Routing History：一个前缀被宣告的时间范围，哪个 AS 宣告这个前缀的。
• Announced Prefixes：提供一个 AS 过去两周宣告的前缀。
• ASN Neighbours：提供 ASN 邻居的相关信息
• ASN Neighbours History：提供 ASN 邻居的历史记录
• Related Prefixes：一个前缀所关联的网络
• BGP Looking Glass：可以按照 collector 来查询前缀以及 AS 相关信息。
• BGPlay：以交互图的形式展现一些资源（前缀，IP，ASN）的路由历史记录。

除了 RIPEstat，研究者还可以利用 RIS Live 这个实时 BGP streaming API 在服务器端上通过 prefix 或者 ASN 对 BGP 消息进行过滤。（主要用于脚本文件）。

RouteViews

RouteViews 链接
RouteViews 全称是 University of Oregon Route Views Project，它也和 RIPE RIS 一样，在世界各地有多个 collector，VP 与 collector 建立 BGP 关系，并向 collector 发送更新路由，collector 收集相关的路由数据（RIB 表以及 Update 表）。

Isolario

Isolario 链接
与 RIPE RIS 以及 RouteViews 类似，Isolario 也是一个收集 BGP Routing Table 的机构。

收集 Traceroute 的机构组织

RIPE ATLAS

RIPE ATLAS 链接
RIPE ATLAS 是一个由分布在世界各地的探测仪所组成的网络，利用 ATLAS 可以实时地测量网络联通性以及可达性。当前 ATLAS 的探测仪有 10000+ 个，并且这个数字还在增长。
ATLAS 利用 probe 以及 anchor 这两种设备对网络进行测量并将结果发送到 RIPE NCC。probe 设备是一个小型的，USB 供电的硬件设备（如下图所示），并且 probe 占用的带宽非常小，不能够传递所在网络所进行的网络通信信息。

probe 能够完成以下种类的测量实验：

• ping
• traceroute
• SSL/TLS
• DNS
• NTP
• HTTP

anchor 是 probe 的增强版，有着更大的测量能力以及更大的测量范围。

RIPE ATLAS 社区由四类用户组成：

• users（免费用户，只能访问 RIPE ATLAS 其他用户测量的历史数据，并实时对 13 个根域名服务器的连接性以及可达性进行测量 ）
• hosts（把 probe 或者 anchor 放置在他们自己的网络中，通过赚取 credits 来利用其他 probe 或者 anchor 进行定制化测量）
• sponsor（对 RIPE ATLAS 项目给予经济支持的组织或者个人）
• ambassador（帮助 RIPE ATLAS 分发 probe 的用户）
• RIPE NCC menbers（会员，可以使用 ATLAS 的特性，即使他们并没有放置 probe）

traceroute.org

traceroute.org 链接
Looking Glass：一个 AS 所提供的 looking glass 服务指的是通过 traceroute，ping，BGP 命令提供给用户等同于这个 AS 的 customer 的网络可见性。
traceroute.org 就是这样一个收集不同 AS 的 Looking Glass 的网站，你可以找到你想要探测的网络（AS），并使用该网络的 Looking Glass 服务。不过只能从单个 AS 或者 ISP 视角上观察网络的连通性。

CAIDA Archipelago（Ark）

CAIDA Archipelago 链接
Ark 是 CAIDA 部署的全球分布式测量平台，通过在全球部署不同的 probe 来对网络进行测量。不过与 ATLAS 不同的是，Ark 并不对外公开提供测量服务，针对整个互联网做大范围的测量，并将数据公开在 CAIDA Dataset 中，大部分免费获得的数据都限制在一年以前。

• Ongoing Dataset
  a)The IPv4 Routed /24 Topology Dataset：对于每一个 24 位的 IP Prefix，生成一个随机的地址进行探测，并保存得到的路由数据，探测的频率为每一个 24 位的 IP Prefix 每隔 24 小时探测一次。
  b)IPv4 Prefix-Probing Traceroute Dataset：从 RIPE RIS 以及 RouteViews 得到以 7 天作为滑动窗口的 BGP Update Prefixes，并对每个 Prefix 进行探测所得到的 Traceroute Data。
• 经过处理而得到的数据集
  a)Macroscopic Internet Topology Data Kit (ITDK)：利用 MIDAR，Iffinder，kapar 将 router interface 级别的 traceroute 数据转换为 router 级别的数据。（识别一个路由器所拥有的多个 interface 所采用的主要原理是路由器共享一个 counter 来对 IP 报文的 identification 字段进行标识）
  b)IPv4 Routed /24 DNS Names Dataset：对之前得到的 traceroute IP 地址得到 Domain Name。
  c)IPv4 Routed /24 AS Links Dataset：利用 RouteViws 将 IP 地址映射到 AS 中，并得到不同 AS 之间的 link。
  d)AS Relationship with Geographic Annotations

IXP Datasets

Euro IX & PeeringDB

Euro IX 链接
PeeringDB 链接
Euro IX 以及 PeeringDB 中记录了不同 IXP所拥有的 ASN 号。（同时也记录了参与 Peering 关系的 AS 的 Peering Policy）

CAIDA IXP Datasets

CAIDA IXP Datasets 链接
整合了来自：

1. PeeringDB
2. Hurricance Electronic
3. Packet Clearing House(PCH)
   这三个组织的 IXP Dataset。

Validation Data For Topology Inference

参考论文 “Valley-free violation in Internet routing - Analysis based on BGP Community data”

论文链接
在 BGP 协议的 Update 报文中，针对每一条传播的路由有一个可选的传递（Optional Transitive）属性——community。对于该属性，IETF 并没有给出明确的用法，常见的用法是该属性的前 16 比特放置添加这个属性的 AS 的 ASN 或者邻居（从该邻居得到这条 Update 消息）的 ASN；对于后 16 比特，AS 可以按照自己的政策放置相应的值。许多的 AS 会将自己放置的值的含义记录在相应网站上或者 RIR 数据库中。 “Valley-free violation in Internet routing - Analysis based on BGP Community data”这篇论文对不同 AS 的 Community Value 值进行了汇总整理，汇集了来自 224 个 AS 的 1286 BGP Community Value，研究人员可利用这些 Community Value 对获得的 BGP Path 进行处理，构建对应的 Validation Data，用于拓扑推断相关的研究。

From RIR’s RPSL Database

网络运营者会使用 RPSL（Routing Policy Specification Language）把自己的 Routing Policy 存储在 RIR 的数据库中，AS Rank 算法使用 ANY Rule 从中提取 P2C 关系。

ASN 分配组织

IANA & 5 RIRs

IANA 链接
IANA（Internet Assigned Numbers Authority），是一个管理根域名服务器、IP 地址以及 AS 号以及互联网协议资源的组织。
具体到管理 ASN 资源上，IANA 会把 ASN 分配给不同的 RIR（Regional Internet Registries），然后每个 RIR 会根据相关的政策将 ASN 分配给不同的 ISP。一共有 5 个 RIR，他们的名称以及对应管理的区域为：

WHOIS

值得一提的是，在 5 个 RIR 以及 两个 NIR（National Internet Registries， KRNIC for South Korea and JPNIC for Japan）中的 WHOIS Database 中维护了不同的 ASN 对应的组织。WHOIS数据库包含许多主要面向网络运营商的信息。不幸的是，这些数据库是手动更新的，几乎没有要求及时维护和更改注册信息。尽管如此，它们还是组织级别的与 AS 相关的最有用和最丰富的信息来源。

链接汇总

1. RIPE RIS 链接
2. RouteViews 链接
3. Isolario 链接
4. RIPE ATLAS 链接
5. traceroute.org 链接
6. CAIDA Archipelago 链接
7. Euro IX 链接
8. PeeringDB 链接
9. CAIDA IXP Datasets 链接
10. Hurricance Electronic
11. Packet Clearing House(PCH)
12. 论文链接
13. IANA 链接