plato特性1:分布式全局编码

• 源码实现：graph/structure/vid_encoder.hpp

全局顶点编码器

• 当空洞顶点(没有边的无效顶点)很多时，可以对顶点进行重新编码，比如有1,100这两个顶点，进行重新连续编码后为0,1。因为采样csr/csc结构在内存中存储图，所以说顶点数值范围变小后，构图就更加节省内存。
• 具体来说：在加载边文件后，对边的src,dst顶点进行全局编码，以减少顶点范围，然后再使用编完码的边进行构造图。

分布式全局编码流程

• 采样mpi通信实现分布式计算，每个计算节点在初始阶段，先对要加载的边文件进行均分，使每个计算节点都只加载部分的边文件，以增加整体加载速度，然后在对图进行分区(Edge-cut+ alpha)。而分布式全局编码是在每个计算节点加载完边数据后，在进行图分区之前做的事情。

分布式全局编码步骤：

• 0加载节点负责的文件，得到边数据，存放在edges buffer中

• 1每个计算节点将自己读取到的边顶点，根据shuffle规则发送到指定节点上，同时使用map_ids接收其它节点发送过来的顶点。

• 2节点将接收到存在map_ids中的顶点存到数组local_ids[]中，数组大小为map_ids中元素个数

• 3节点通过MPI_Allgather得到每个节点接收到的顶点数,，存在local_size[3]数组中

• 4通过MPI_Allreduce得到全局有效顶点个数

• 5通过MPI_Allreducer将全局有效顶点存到大数组global_ids中，数组大小为全局有效顶点数，此时每个顶点的所在数组下标就是顶点新的编码id.

• 6将global_ids中顶点存储id_map中，key=有效顶点， value=顶点在global_ids中数组下标, global_ids则每个计算节点上一直保存用于decode。

• 7遍历edges buffer使用id_map将边的顶点vid替换为编码后的顶点id.

• 8.当前图计算完成后，在输出结果时对id进行decode，通过global_ids[id]来得到id编码前的顶点vid.

shuffle规则

• 第一种（简单起见，案例使用方案）: vid % nodes
• 第二种: murmur_hash2(vid, seed) % nodes

图解

分布式全局顶点编码器

其它

MPI_Allgatherv函数讲解

MPI_Allgatherv: 所有节点都接收所有顶点发送过来的信息，因为每个节点发送的信息个数可能不一样，所以在用接收数组recvbuf接收j节点发来的消息sendbuf时，要通过displ数组指明sendbuf存在recvbuf中的偏移位置。

• 下面代码实现就是每个计算节点将自己接收到的顶点local_ids发送给所有节点，同时用global_ids_接收所有节点发过来的数据，但是每个节点发送的local_ids数据量可能会不一样，所以使用displs来表明第j个计算节点数据存放在global_ids_中的偏移位置。为此需要在此之前计算好displs中的数值：存放计算节点中顶点数的累加和。

MPI_Allgatherv(
    &local_ids[0], local_ids.size(), get_mpi_data_type(), &global_ids_[0],
    &recvcounts[0], &displs[0], get_mpi_data_type(), MPI_COMM_WORLD);
  if (0 == cluster_info.partition_id_) {
    LOG(INFO) << "all gather cost: " << watch.show("t1") / 1000.0;
  }

cuckoohash_map使用

• 在分布式全局编码中在1步中，每个节点遍历edgebuffer中的边，并根据shuffle规则将边上的顶点发送到对应节点上。此处每次发送完一个顶点要标记该顶点已经发过了，避免在后面的边中再次遇到这个顶点时重复发送。所以需要使用hash_map这种O(1)时间复杂度的结构来存放哪些顶点已经发送过了。在加上会使用多线程来操作，所以hash_map要支持并发读写。程序中使用了开源的cuckoohash_map：高性能压缩hashmap支持并发读写。（不知道和folly的ConcurrentHashMap比起来效果咋样，但是至少使用它比使用folly简单，folly依赖太多了包含内容太综合了）
• 使用案例局部代码：

#include "libcuckoo/cuckoohash_map.hh
using cuckoomap_t = cuckoohash_map, std::equal_to,  std::allocator > >;

if (opts_.src_need_encode_) {
   // src是否已经发送过了
   bool upserted = used.upsert(edge->src_, [](vid_t&){}, 0);
   if (upserted) {
       // 规矩shuffle规则得到src要发送的节点
        auto send_to = murmur_hash2(&(edge->src_), sizeof(VID_T)) % cluster_info.partitions_;
       context.send(send_to, edge->src_);
   }
}

参考

• MPI-收集到全局(Gather-to-all)