案例分析7 共享单车数据定位

1. 共享单车GeoHash定位案例

单词：longitude（经度），latitude（维度）

数据：

  1：单车信息数据，

触发事件         

访问的url                   

时间                         

用户的id                               

经度                  

维度                

省份                  

城市              

区（县）

2：北京市的poi位置信息.

经度

维度

Addr

Province

District

 

单车数据：+位置信息

 

 

需求需求和流程分析

根据单车信息数据（经纬度信息），确定单车位置

 

  使用GeoHash算法将poi中的数据转换成对应的geoHash值对应地理位置，

获取所有的单车数据的经纬度对应的地理位置，先从本地的地理仓库位置中获取数据,找到匹配的数据返回，如果没有数据，去官网地图获取数据，将数据存储在本地的地理位置库中

知识点：

json数据解析，HttpClient基本使用，GeoHash原理和简单使用 字符串切割 子串 数据转换

String url = "http://gc.ditu.aliyun.com/regeocoding?l=" + latitude + "," + longitude + "&type=010";

 

GeoHash算法基本原理

GeoHash算法的步骤

下面以北海公园为例介绍GeoHash算法的计算步骤

 

2.1. 根据经纬度计算GeoHash二进制编码(逼近思想)

地球纬度区间是[-90,90]， 北海公园的纬度是39.928167，可以通过下面算法对纬度39.928167进行逼近编码:

1）区间[-90,90]进行二分为[-90,0),[0,90]，称为左右区间，可以确定39.928167属于右区间[0,90]，给标记为1；

2）接着将区间[0,90]进行二分为 [0,45),[45,90]，可以确定39.928167属于左区间 [0,45)，给标记为0；

3）递归上述过程39.928167总是属于某个区间[a,b]。随着每次迭代区间[a,b]总在缩小，并越来越逼近39.928167；

4）如果给定的纬度x（39.928167）属于左区间，则记录0，如果属于右区间则记录1，这样随着算法的进行会产生一个序列1011100，序列的长度跟给定的区间划分次数有关。

根据纬度算编码

bit	min	mid	max
1	-90.000	0.000	90.000
0	0.000	45.000	90.000
1	0.000	22.500	45.000
1	22.500	33.750	45.000
1	33.7500	39.375	45.000
0	39.375	42.188	45.000
0	39.375	40.7815	42.188
0	39.375	40.07825	40.7815
1	39.375	39.726625	40.07825
1	39.726625	39.9024375	40.07825

同理，地球经度区间是[-180,180]，可以对经度116.389550进行编码。

根据经度算编码

bit	min	mid	max
1	-180	0.000	180
1	0.000	90	180
0	90	135	180
1	90	112.5	135
0	112.5	123.75	135
0	112.5	118.125	123.75
1	112.5	115.3125	118.125
0	115.3125	116.71875	118.125
1	115.3125	116.015625	116.71875
1	116.015625	116.3671875	116.71875

2.2. 组码

通过上述计算，纬度产生的编码为10111 00011，经度产生的编码为11010 01011。偶数位放经度，奇数位放纬度，把2串编码组合生成新串：11100 11101 00100 01111。

最后使用用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码，首先将11100 11101 00100 01111转成十进制，对应着28、29、4、15，十进制对应的编码就是wx4g。同理，将编码转换成经纬度的解码算法与之相反，具体不再赘述。

 

三、GeoHash Base32编码长度与精度 字符串

 xw9843shd   xw984nlj

可以看出，当geohash base32编码长度为8时，精度在19米左右，而当编码长度为9时，精度在2米左右，编码长度需要根据数据情况进行选择。

 

二维转一维

如图所示，我们将二进制编码的结果填写到空间中，当将空间划分为四块时候，编码的顺序分别是左下角00，左上角01，右下脚10，右上角11，也就是类似于Z的曲线，当我们递归的将各个块分解成更小的子块时，编码的顺序是自相似的（分形），每一个子快也形成Z曲线，这种类型的曲线被称为Peano空间填充曲线。

这种类型的空间填充曲线的优点是将二维空间转换成一维曲线（事实上是分形维），对大部分而言，编码相似的距离也相近， 但Peano空间填充曲线最大的缺点就是突变性，有些编码相邻但距离却相差很远，比如0111与1000，编码是相邻的，但距离相差很大。

 

除Peano空间填充曲线外，还有很多空间填充曲线，如图所示，其中效果公认较好是Hilbert空间填充曲线，相较于Peano曲线而言，Hilbert曲线没有较大的突变。为什么GeoHash不选择Hilbert空间填充曲线呢？可能是Peano曲线思路以及计算上比较简单吧，事实上，Peano曲线就是一种四叉树线性编码方式。

 

单车数据+规则

{"event_type":0,"page":"/pages/index/index","time":"2018-03-14 12:35:14","uid":"oDK8U0c_VZqQTMVsab9oM219vZpw","longitude":126.67032,"latitude":45.767525,"province":"黑龙江省","city":"哈尔滨市","district":"南岗区"}
{"event_type":0,"page":"/pages/recharge/recharge","money":"100","channel":"wx","time":"2018-03-14 

 

AddList.java

public class AddrList {
	private String name;
	private String admName;
	@Override
	public String toString() {
		return "AddrList [name=" + name + ", admName=" + admName + "]";
	}
	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public String getAdmName() {
		return admName;
	}
	public void setAdmName(String admName) {
		this.admName = admName;
	}
	

}

BikeBean.java

/**
 * 封装bikes.log数据
 * @author Administrator
 *
 */
public class BikesBean {
	//{"event_type":0,"page":"/pages/index/index","time":"2018-03-14 12:35:14","uid":"oDK8U0c_VZqQTMVsab9oM219vZpw",
	//"longitude":126.67032,"latitude":45.767525,"province":"黑龙江省","city":"哈尔滨市","district":"南岗区"}
	private String event_type;
	private String page;
	private String time;
	private String uid;
	private double longitude;
	private double latitude;
	private String province;
	private String city;
	private String district;
	public String getEvent_type() {
		return event_type;
	}
	public void setEvent_type(String event_type) {
		this.event_type = event_type;
	}
	public String getPage() {
		return page;
	}
	public void setPage(String page) {
		this.page = page;
	}
	public String getTime() {
		return time;
	}
	public void setTime(String time) {
		this.time = time;
	}
	public String getUid() {
		return uid;
	}
	public void setUid(String uid) {
		this.uid = uid;
	}

	public String getProvince() {
		return province;
	}
	public void setProvince(String province) {
		this.province = province;
	}
	public String getCity() {
		return city;
	}
	public void setCity(String city) {
		this.city = city;
	}
	public String getDistrict() {
		return district;
	}
	public void setDistrict(String district) {
		this.district = district;
	}
	public double getLongitude() {
		return longitude;
	}
	public void setLongitude(double longitude) {
		this.longitude = longitude;
	}
	public double getLatitude() {
		return latitude;
	}
	public void setLatitude(double latitude) {
		this.latitude = latitude;
	}
	@Override
	public String toString() {
		return "BikesBean [event_type=" + event_type + ", page=" + page + ", time=" + time + ", uid=" + uid
				+ ", longitude=" + longitude + ", latitude=" + latitude + ", province=" + province + ", city=" + city
				+ ", district=" + district + "]";
	}
	

}

BilesUtil

import java.io.IOException;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;

import ch.hsr.geohash.GeoHash;

public class BikesUtile {
	/**
	 * 通过经纬度信息获取geohash值
	 * @param lng
	 * @param lat
	 * @return
	 */
	public static String getGeoHash(double lng, double lat) {
		String base32 = GeoHash.withCharacterPrecision(lat, lng, 8).toBase32();
		return base32;
	}

	/**
	 * 通过网络请求获取json数据
	 * @param url
	 * @return
	 */
	public static String getJsonByUrl(String url) {
		HttpClient client = new HttpClient();
		GetMethod method = new GetMethod(url);
		try {
			client.executeMethod(method);
			return method.getResponseBodyAsString();
		} catch (IOException e) {
			e.printStackTrace();
		}
		return null;
	}

}

Repotery.java

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.InputStreamReader;

/**
 * 把bj_poi.csv数据转换为所需要的数据
 * csv数据格式：
 * 每一行都是一条数据，数据数据之间使用逗号隔开
 * 
 * @author Administrator
 *
 */
public class Repotery {
	public static void main(String[] args) throws Exception {
		try {
			//new FileReader("E:\\data\\bj-poi-1.csv")
			//乱码的解决
			BufferedWriter bw = new BufferedWriter(new FileWriter("D:\\a.txt"));
			BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("../案例练习4/src/ch07/bikes.log"), "gbk"));
			String line = null;
			//孔化营东区19号楼,地名地址信息;门牌信息;楼栋号,116.154243,40.510423,北京市延庆区孔化营东区3号楼,北京市,10,延庆区,城皇庙胡同,110119,190403,延庆区,116.1479392,40.50896791,116.1606171,40.51675233
			//跳过行
			br.readLine();
			while((line = br.readLine())!=null){
				//错误数据跳过
				try {
					//System.out.println(line);
					String[] split = line.split(",");
					String lngStr = split[2];
					String latStr = split[3];
					String addr = split[4];
					String city = split[5];
					String district = split[7];
					//System.out.println(addr);
					double lng = Double.parseDouble(lngStr);
					double lat = Double.parseDouble(latStr);
					String geoHash = BikesUtile.getGeoHash(lng,lat);
					String key = geoHash+"\t"+"北京市"+"\t"+city+"\t"+district+"\t"+addr;
					bw.write(key);
					bw.newLine();
					bw.flush();
					//System.out.println(key);
				} catch (Exception e) {
					continue;
				}
			}
			System.out.println("写入完毕！！！");
			bw.close();
			br.close();
		} catch (Exception e) {
			// TODO: handle exception
		}
		
	}
}

ResultBean.java

import java.util.Arrays;

public class ResultBean {
	private double[] queryLocation;
	private AddrList[] addrList;
	public double[] getQueryLocation() {
		return queryLocation;
	}
	public void setQueryLocation(double[] queryLocation) {
		this.queryLocation = queryLocation;
	}
	public AddrList[] getAddrList() {
		return addrList;
	}
	public void setAddrList(AddrList[] addrList) {
		this.addrList = addrList;
	}
	@Override
	public String toString() {
		return "ResultBean [queryLocation=" + Arrays.toString(queryLocation) + ", addrList=" + Arrays.toString(addrList)
				+ "]";
	}
	

}

TestGeoHash.java

import ch.hsr.geohash.GeoHash;

public class TestGeoHash {
	public static void main(String[] args) {
		String base32 = GeoHash.withCharacterPrecision(41.083778, 113.983896, 8).toBase32();
		System.out.println(base32);
	}
}

TestHttpClient.java

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.methods.GetMethod;
public class TestHttpClient {
	public static void main(String[] args) throws Exception {
		HttpClient client = new HttpClient();
		String uri = "http://gc.ditu.aliyun.com/regeocoding?l=41.083778,113.983896&type=010";
		HttpMethod method = new GetMethod(uri);
		client.executeMethod(method);
		String bodyAsString = method.getResponseBodyAsString();
		System.out.println(bodyAsString);
	}
}

TestMain.java

				//通过经纬度查找位置信息新
				String addr = findAddr(longitude,latitude);
				System.out.println(sum+addr);
				//缺少数据保存
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	/**
	 * 查找地理位置
	 * 1：先从本地查找
	 * 2：从网络上查找
	 * @param longitude
	 * @param latitude
	 * @return
	 */
	private static String findAddr(double longitude, double latitude) {
		//从本地中查找
		String ret = findAddrByLocal(longitude,latitude);
		if(ret==null){
			//从网络中查找
			
			ret = findAddrByNet(longitude,latitude);
			//System.err.println(ret);
		}
		return ret;
	}
	
	/**
	 * 通过网络获取地址数据
	 * @param longitude
	 * @param latitude
	 * @return
	 */
	private static String findAddrByNet(double longitude, double latitude) {
		String url = "http://gc.ditu.aliyun.com/regeocoding?l=" + latitude + "," + longitude+"&type=010";
		String json = BikesUtile.getJsonByUrl(url);
		ResultBean resultBean = JSON.parseObject(json, ResultBean.class);
		AddrList[] addrList = resultBean.getAddrList();
		AddrList addrList2 = addrList[0];
		//得到的是省市区
		String admName = addrList2.getAdmName();//河北省,张家口市,尚义县
		String address = addrList2.getName();//华艺幼儿园
		String key = null;
		if(admName!=null&&!"".equals(admName)){
			String[] split = admName.split(",");
			if(split.length>2){
				key =  split[0]+"\t"+split[1]+"\t"+split[2]+"\t"+address;				
			}
		}
		String geoHash = BikesUtile.getGeoHash(longitude, latitude);
		//把数据写到文件中，并把添加的数据put到map中
		if(key!=null){
			try {
				BikesBean b = new BikesBean();
				BufferedWriter bw = new BufferedWriter(new FileWriter("D:\\a1.txt",true));
					bw.write(geoHash+"\t"+key);
					bw.newLine();
					bw.flush();
					bw.close();
					map.put(geoHash, geoHash+"\t"+key);
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		return geoHash+"\t"+key;
	}
	/**
	 * 从本地中查找
	 * @param longitude
	 * @param latitude
	 * @return
	 */
	private static String findAddrByLocal(double longitude, double latitude) {
		//Map map = loadData();
		String geoHash = BikesUtile.getGeoHash(longitude, latitude);
		//map是加载的本地数据
		String ret = map.get(geoHash);
		return ret;
	}
	
	/**
	 * 加载数据生成map数据
	 * @return
	 */
	public static Map loadData(){
		//key--->geoHashCode     value--->整条数据
		Map map = new HashMap<>();
		try (BufferedReader br = new BufferedReader(new FileReader("D:\\a1.txt"));){
			String line = null;
			while((line = br.readLine())!=null){
				String[] split = line.split("\t");
				String hashCode = split[0];
				map.put(hashCode, line);
			}
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return map;
	}
}

模拟数据

{"event_type":0,"page":"/pages/index/index","time":"2018-03-14 12:35:14","uid":"oDK8U0c_VZqQTMVsab9oM219vZpw","longitude":126.67032,"latitude":45.767525,"province":"黑龙江省","city":"哈尔滨市","district":"南岗区"}