由SQL数据库转换Redis的实例

由SQL数据库转换Redis的实例

深圳市的士查询软件（gogo查的后台服务器）

　　 1、现有版本总结

　　热点区域信息是根据过去半年的历史数据计算得出，短期内属于固定信息，不用做任何改变。现在所用的gogo查的版本中，查询热点区域所用的API，是先在servlet中计算出用户选择区域周围的区域ID，构造出 SQL查询语句，最后从postgresql中读取所需的热点区域信息。

　　SQL语句如下：

Select regionno from sztable.hotregioninfo where dayofweek=’”+ dayofweek+”’ and hour = ‘”+hour+”’ and regionno in “+sBuilder.toString()+”order by amount desc limit ”+return_region_num+”;

　　具体操作可在XGO API程序中看到。

　　 数据库中所存的热点信息，共有800多W条，在SQL查询中需要耗时至少2~3秒，查询效率低下，导致用户体验下降。故在此采用Redis解决查询较慢的问题。

　　 2、热点区域postgresql转Redis

　　Redis数据库设计：结合原有数据以及查询需求（需要求周边区域中前N大），采用Redis中有序集合的数据结构。用“星期：时间”字符串作为key，共有（7*24=168）个；用相应区域号及在该区域成功打车的次数作为value中的memeber和score。

　　将热点区域信息从postgresql中导入redis:程序代码在PostToRedis中，ToRedis为程序入口。直接运行即可将数据从postgresql中以1中设计格式导入redis。注：由于读取数据量较大，可能会导致计算机为 java分配的内存空间不够用，应在运行前进行相应设置（Xms）。

　 　3、查询过程

　　模拟用户查询操作，采用的模式为：用户提交坐标点及第几天、时间，在serrvlet中计算出坐标点所在区域号，根据半径计算出要查询的范围内所有的区域ID，并写入到Redis有序集合T1（临时，只对本次查询有效，查询结束之后即将该集合销毁）中，然后将T1与之前已经存好的168个key、value中相应时间段的集合求交集。Eg：现在为周三，上午十点钟，就与key为3：10的集合求交集，交集结果按照降序排列，将前N区域号提取出来，并根据将区域号转为坐标的算法得到输出结果。

　　需要注意的是，每次查询在redis中新增加的key，在本次查询结束之后都要进行销毁或者设置存活时间，使系统能够较快的释放掉该key所占用的内存空间，减少累加查询导致过多无效key存在，一定程度上缓解服务器压力。

　　热点区域查询的API，在程序包HotRegionRedis中。

　　 4、存在弊端

　　每次查询都要向redis中写入新的数据集合，虽然redis声称每秒中可支持10W次写入操作，但在既有写又有读、高并发的情况下会导致Redis性能下降。不过在相当一段时间内，这种模式可以满足需求。

　　 5、建议

　　建议之后将热点区域中分区方法改进，结合Geohash算法。（由于要求前N大，暂时无法避免查询操作时向Redis中写入数据）。