libosmscout 快速读取地图数据原理

1. 加速读取原始地图数据的必要性

2. 如何快速读取？

1.  为什么要加速去读取地图数据？

libosmscout是关于open street map的一个c++开源开发库，里面包含了一些读、写、显示和转换地图数据的模块。

osm原始的地图数据格式是xml或类似的osm格式，首先xml和osm数据格式会让文件会非常大，如一个慕尼黑城市的数据就有一个1GB大小。响应的读取数据也比较困难，效率低下。

如果是整个地球的osm数据，转换为xml格式，有几百GB大小，如果下载为pbf 的压缩格式，也需要19GB。数据量巨大，无法一次性放入内存，即使是逐段读取，遍历一次，也是很大的工作量。况且，libosmscout不会直接读取pdf 压缩格式的数据。

如果仅仅是读取地图数据效率就很低，这种数据格式就无法直接在应用中使用，必须另想办法快速读取数据。

2. 如何快速读取数据？

libosmscout的处理方法：建立两种数据文件，一种是dat文件，只存放地图元素的位置、属性等信息；另一种是idx文件，存放dat文件中的数据索引。这样就可以先由经纬坐标信息，拿到索引，然后再取数据。

建立libosmscout的数据格式：

首先，保存数据时，采用binary格式，并滤去无用的修饰字符。

其次，将地图数据分类，node，way，relation，area等，数据放入不同的文件。

最后， 每种类型的数据，都可以建立索引，每个数据都包含经纬度信息，在索引文件中，全球被划分为大小相同的cell的单位（类似矩形），每个cell代表各自的经纬度区域，这个区域中就可以存放地图数据，cell中有数据数目的大小，和文件中的起始位置。

不过，cell中直接存放数据仍使文件显得比较大，所以cell中的数据都存放在另外一个dat文件中，而cell中存放每个地图元素的数据在dat文件中的偏移量offset。

这样一个简练的地图数据索引就建立起来了。

libosmscout读取数据：

1. 先由经纬度的区域，转化为cell的格式，在idx文件中，找出其包含的所有的cell。

2. 从每个cell中，拿到每种地图元素的数据的offset。

3. 再由offset，在dat文件读取想要的地图数据。

其中，在读取dat大文件数据时，libosmscout采用一些cache的技术，来加速读取数据。

更细节的东西，可以看libosmscout的源码，写的比较清晰。