订餐系统之按距离[根据经纬度]排序、搜索
原帖地址：http://www.cnblogs.com/jijunjian/archive/2013/05/23/3086520.html
上周六，写了第一篇博客《订餐系统之权限设计》，在此感谢那些鼓励、关注我的园友们，更要感谢那些提出宝贵建议的朋友们。看了你们的评论，才真切的感受到：朋友们的评论往往会让文章更有看点。上篇文章中 郑明、人生就是赌 等几个园友的留言让我对我们系统的权限优化有了方向。当然，这样的优化肯定不是一天两天的事，做技术的朋友应该都知道：一个难题经常啃啃，某天也许就有了好的方案了（近段时间啃掉了几个2、3年前未处理好的的问题，才想起初中数学老师让我们经常啃一些竞赛题的良苦用心），今天的文章说的就是一个从2010年就想优化，但一直未优化好的功能，也从 幸福框架的评论中，看到了他的博客，更是从他博客的留言中，找到了处理：按日期+6位顺序号生成订单编号（主要处理并发的情况）的方案，之前有客户要这样生成订单编号，我只能回复实现不了，因为当时只知道，每次获取最大的订单编号，处理不了并发的情况，惭愧。
关于这个标题，我还是交代下背景吧。这个问题从2010年第一次实现时，就觉得当时那种方案太差了，自己都看不去，只因没有别的办法，从那以后，每每得空，就拿出来琢磨下，现在这个方案也许还有不少问题，也希望各位指点下。我们是做订餐系统的，主要实体就是商家（有坐标）和用户（有坐标）。所以就有这么个需求，返回距离N公里内的商家，按距离从近到远排序。先看下，数据库设计吧，如图（1）：
图（1）
下面我先介绍下这几个表的关系吧：
ETogo ：商家表，dataid表示商家编号，togoname表示商家名称。
ETogoLocalInfo：商家定位表，togoid对应etogo.dataid,lat表示商家纬度，lng表示商家经度（经纬度在地图上标注所得）
EAddress ：用户地址表，保存用户的经纬度，lat表示用户纬度，lng表示用户经度（经纬度在地图上标注所得）
生活的经验告诉我们：一条成功的路，背后总有数不完的错误的路。下面我把那些曾经错误的路也写下来，以作对比。
当时年少，对sql基本只会简单的select，更多的东西依赖于应用程序，于是有了下面的代码，由于对第二页的处理不了，所以用了方法：getDistancetogoid获取前N页的id然后再处理，里面关于距离的语句每次同事用到都抱怨，如果再加的N公里内的，这个语句就麻烦了。
/// <summary>
/// 获取列表，返回距离排序(出现商家重复的现象目前不采用)
/// </summary>
/// <param name="pagesize">每页大小</param>
/// <param name="pageindex">当前页数</param>
/// <param name="strWhere">搜索条件</param>
/// <param name="orderName">排序字段</param>
/// <param name="orderType">排序类型</param>
/// <param name="mylat">用户纬度</param>
/// <param name="mylng">用户经度</param>
/// <returns></returns>
public IList<TogoInfo> GetDistanceList(int pagesize, int pageindex, string strWhere, string orderName, int orderType, string mylat, string mylng)
{
IList<TogoInfo> infos = new List<TogoInfo>();
string ids = "";
if (pageindex > 1)
{
ids = getDistancetogoid(pagesize, pageindex, strWhere, orderName, orderType, mylat, mylng);
if (ids == "")
{
return infos;
}
}
SqlParameter[] parameters =
{
new SqlParameter("@tblName", SqlDbType.VarChar,255),
new SqlParameter("@strGetFields", SqlDbType.VarChar,2000),
new SqlParameter("@primary", SqlDbType.VarChar,255),
new SqlParameter("@orderName", SqlDbType.VarChar,255),
new SqlParameter("@PageSize", SqlDbType.Int),
new SqlParameter("@PageIndex", SqlDbType.Int),
new SqlParameter("@OrderType", SqlDbType.Bit),
new SqlParameter("@strWhere", SqlDbType.VarChar,4500),
new SqlParameter("@ids", SqlDbType.VarChar,2000)
};
string orderstr = orderType > 0 ? "desc" : "asc";
parameters[0].Value = "etogo";
string field = "*, (select Lat from ETogoLocalInfo where togoid = etogo.dataid) as lat ,(select lng from ETogoLocalInfo where togoid = etogo.dataid) as lng, (select lastlogindate from ETogoPrinter where ETogoPrinter.togoid = etogo.dataid ) lastlogindate,(select (Case when DateDiff(mi,LastLoginDate,getdate()) < 5 then 1 else 0 end) from etogoprinter where ETogoPrinter.togoid = etogo.dataid) as online";
field += ",(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) )) * cos( radians( (select lng from ETogoLocalInfo where togoid = etogo.dataid) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) ) ) ) )) as Distance ";
field += " ,CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )";
field += "and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )";
field += ") or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )";
field += "and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )";
field += ") )THEN 1 ELSE 0 END AS havenew ";
parameters[1].Value = field;
parameters[2].Value = "DataID";
parameters[3].Value = orderName;
parameters[4].Value = pagesize;
parameters[5].Value = pageindex;
parameters[6].Value = orderType;
parameters[7].Value = strWhere;
parameters[8].Value = ids;
using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.StoredProcedure, "pageselectpri_togo", parameters))
{
while (dr.Read())
{
TogoInfo info = new TogoInfo();
info.DataID = HJConvert.ToInt32(dr["DataID"]);
info.Picture = HJConvert.ToString(dr["Picture"]);
info.TogoName = HJConvert.ToString(dr["TogoName"]);
int isonline = HJConvert.ToInt32(dr["havenew"]);
if (togostatus == 1 && isonline == 1)
{
info.Status = 1;
}
else
{
info.Status = 0;
}
string _distance = HJConvert.ToString(dr["Distance"]);
if (mylat == "0" || _distance == "")
{
info.mydistance = "0";
}
else
{
info.mydistance = Convert.ToString(Convert.ToInt32(Convert.ToDecimal(_distance) * 1000));
}
info.Lat = HJConvert.ToString(dr["Lat"]);
if (info.Lat == "")
{
info.Lat = "0";
}
info.Lng = HJConvert.ToString(dr["Lng"]);
if (info.Lng == "")
{
info.Lng = "0";
}
infos.Add(info);
}
}
return infos;
}
/// <summary>
/// 获取所有商家的名称和对应的编号
/// </summary>
/// <param name="pagesize">每页大小</param>
/// <param name="pageindex">当前页数</param>
/// <param name="strWhere">搜索条件</param>
/// <param name="orderName">排序字段</param>
/// <param name="orderType">排序类型</param>
/// <param name="mylat">用户纬度</param>
/// <param name="mylng">用户经度</param>
public string getDistancetogoid(int pagesize, int pageindex, string sqlwhere, string sortname, int ordertype, string mylat, string mylng)
{
string ids = "";
string orderstr = ordertype > 0 ? "desc" : "asc";
int top = (pageindex - 1) * pagesize;
string field = "select top " + top + " dataid";
field += ",(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) )) * cos( radians( (select lng from ETogoLocalInfo where togoid = etogo.dataid) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( (select Lat from ETogoLocalInfo where togoid = etogo.dataid) ) ) ) )) as Distance ";
field += " from etogo where " + sqlwhere + " order by " + sortname + " " + orderstr + " , dataid desc";
using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.Text, field, null))
{
while (dr.Read())
{
ids += dr["dataid"] + ",";
}
}
ids = System.Text.RegularExpressions.Regex.Replace(ids, @",$", "");
return ids;
}
以下是代码中用到的分页存储过程：pageselectpri_togo
CREATE PROCEDURE [dbo].[pageselectpri_togo]
@tblName varchar(255), -- 表名
@strGetFields varchar(1000) = '*', -- 需要返回的列
@primary varchar(255)='', -- 主键的字段名
@orderName varchar(255)='', --要排序的字段名
@PageSize int = 10, -- 页尺寸
@PageIndex int = 1, -- 页码
@OrderType bit = 0, -- 设置排序类型, 非 0 值则降序
@strWhere varchar(1500) = '', -- 查询条件 (注意: 不要加 where)
@ids varchar(2000)
AS
declare @strSQL varchar(5000) -- 主语句
declare @strTmp varchar(110) -- 临时变量
declare @strOrder varchar(400) -- 排序类型
if @OrderType != 0
begin
set @strTmp = ' not in (select '
set @strOrder = ' order by ' + @orderName +' desc'
if @orderName <> @primary
begin
set @strOrder = @strOrder + ',[' + @primary +'] desc'
end
--如果@OrderType不是0，就执行降序，这句很重要！
end
else
begin
set @strTmp = ' not in (select '
set @strOrder = ' order by ' + @orderName +' asc'
if @orderName <> @primary
begin
set @strOrder = @strOrder + ',[' + @primary +'] asc'
end
end
if @PageIndex = 1
begin
if @strWhere != ''
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from [' + @tblName + '] where ' + @strWhere + ' ' + @strOrder
else
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['+ @tblName + '] '+ @strOrder
--如果是第一页就执行以上代码，这样会加快执行速度
end
else--后面的页数
begin
--以下代码赋予了@strSQL以真正执行的SQL代码
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['
+ @tblName + '] where [' + @primary + ']' + @strTmp + '['+ @primary + '] from (select top '
+ str((@PageIndex-1)*@PageSize) + ' ['+ @primary + '] from [' + @tblName + ']) as tblTmp)'+ @strOrder
if @strWhere != ''
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['
+ @tblName + '] where [' + @primary + '] not in ( '+@ids+' ) and ' + @strWhere + ' ' + @strOrder
end
exec (@strSQL)
此方案用时基本没有问题，但是就是太麻烦了，一个不留神，sql语句就拼错了。
从那时实现了之前的方案后，后面的项目都沿用，每每用起时，心中总会不痛快，于是开始经常关注这个，一次机会看到了下面的代码（之前一篇博客中看到的，已太久了，记不起出处了，哪位看到别介意），这个方案中也是大量拼接sql，很容易就出错了，另外，对最后一页还要做特别的处理，只因可以用一个方法（2010年方案要用两个方法，查两次数据库）实现，就放到项目中了，后来，经常有重复的商家，或者有些未显示出来，于是部分项目又用了2010年的方案，那个是麻烦，但至少没有错误。
/// <summary>
/// 获取列表，返回距离排序
/// </summary>
/// <param name="pagesize">每页大小</param>
/// <param name="pageindex">当前页数</param>
/// <param name="strWhere">搜索条件</param>
/// <param name="orderName">排序名称</param>
/// <param name="orderType">排序类型</param>
/// <param name="mylat">用户纬度</param>
/// <param name="mylng">用户经度</param>
/// <returns></returns>
public IList<TogoInfo> GetDistanceList(int pagesize, int pageindex, string strWhere, string orderName, int orderType, string mylat, string mylng)
{
IList<TogoInfo> infos = new List<TogoInfo>();
StringBuilder sb = new StringBuilder();
string distancepstr = "(( 6371 * acos( cos( radians(" + mylat + ") ) * cos( radians( (b.lat) )) * cos( radians( (b.lng) ) - radians(" + mylng + ") ) + sin( radians(" + mylat + ") ) * sin( radians( ( b.Lat) ) ) ) )) as Distance ";
int endrow = pagesize * pageindex;
string ordertype = orderType == 1 ? "desc" : "asc";
string _ordertype = orderType == 0 ? "desc" : "asc";
sb.Append("select a.* ,b.* ,");
sb.Append(distancepstr);
string field = " CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )";
field += "and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )";
field += ") or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )";
field += "and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )";
field += ") )THEN 1 ELSE 0 END AS havenew";
sb.Append(" , "+ field);
sb.Append(" from etogo as a left join ETogoLocalInfo as b on a.dataid = b.togoid ");
sb.Append(" where a.dataid in ");
sb.Append(" ( select top " + pagesize + " dataid from ");
sb.Append(" (select top " + endrow + " a.dataid , " + distancepstr + ",sortnum from etogo as a left join ETogoLocalInfo as b on a.dataid = b.togoid where " + strWhere);
sb.Append(" order by " + orderName + " " + ordertype + "" + " ,a.dataid desc ) as mytepm ");
sb.Append(" order by " + orderName + " " + _ordertype + "" + ", dataid asc )");
sb.Append(" order by " + orderName + " " + ordertype + "" + ", a.dataid desc ");
//Hangjing.Common.HJlog.toLog(sb.ToString());
using (SqlDataReader dr = SQLHelper.ExecuteReader(CommandType.Text,sb.ToString(), null))
{
while (dr.Read())
{
TogoInfo info = new TogoInfo();
info.DataID = HJConvert.ToInt32(dr["DataID"]);
info.Picture = HJConvert.ToString(dr["Picture"]);
info.TogoName = HJConvert.ToString(dr["TogoName"]);
int togostatus = HJConvert.ToInt32(dr["Status"]);
int isonline = HJConvert.ToInt32(dr["havenew"]);
if (togostatus == 1 && isonline == 1)
{
info.Status = 1;
}
else
{
info.Status = 0;
}
info.mydistance = HJConvert.ToString(dr["Distance"]);
if (info.mydistance == "")
{
info.mydistance = "-1";
}
info.Lat = HJConvert.ToString(dr["Lat"]);
info.Lng = HJConvert.ToString(dr["Lng"]);
infos.Add(info);
}
}
return infos;
}
终于有一次再也忍受不了了，于是下定决心要优化（当然，就我目前的水平，想到的更多还是方便书写）了，当前就想了一点，不在程序中拼接距离的sql语句。经过多次修改，于是有了下面的代码：
-- =============================================
-- Author: jijunjian
-- Create date: 2013-5-7
-- Description: 获取商家列表（含坐标，按距离排序）
-- 调用 EXEC ETogo_GetShopListWithDistance 10,1,'distance','asc','1=1','30.313035','120.390998','distance<1'
-- =============================================
CREATE PROCEDURE [dbo].[ETogo_GetShopListWithDistance]
@pagesize int, --分页大小
@pageindex int, --页码
@orderfield varchar(20),--排序字段名称
@ordertype varchar(5), --排序类别 desc asc
@where varchar(2000), --查询条件
@lat VARCHAR(50),--用户纬度
@lng VARCHAR(50),--用户经度,
@otherwhere VARCHAR(2000)--这个条件是用来判断距离，及根据营业时间的状态条件
AS
DECLARE @startRow int,
@endRow int,
@sql varchar(4000),
@ordername varchar(200)--排序字段
SET @ordername = '( 6371 * acos( cos( radians(' + @lat + ') ) * cos( radians( Lat )) * cos( radians( lng ) - radians(' + @lng + ') ) + sin( radians(' + @lat + ') ) * sin( radians( Lat ) ) ) )'
IF @otherwhere = ''
SET @otherwhere = '1=1'
SET @startRow = (@pageindex - 1) * @pagesize + 1
SET @endRow = @startRow + @pagesize - 1
SET @sql = '
SELECT * FROM
(
select *,row_number() over(order by '+@orderfield+' '+@ordertype+') as [rowid] from
(
select '+@ordername+' as distance,dbo.ETogo.*,ETogoLocalInfo.Lat,ETogoLocalInfo.Lng,
CASE WHEN( ( CONVERT(varchar(12) , Time1Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )
and CONVERT(varchar(12) , Time1End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )
) or ( CONVERT(varchar(12) , Time2Start, 114 ) < CONVERT(varchar(12) , getdate(), 114 )
and CONVERT(varchar(12) , Time2End, 114 ) > CONVERT(varchar(12) , getdate(), 114 )
) )THEN 1 ELSE 0 END AS havenew
from etogo
LEFT JOIN ETogoLocalInfo ON etogo.dataid=ETogoLocalInfo.togoid WHERE '+ @where +'
) m where '+ @otherwhere +'
)m2
WHERE ROWID BETWEEN '+convert(varchar(5), @startRow) +' AND '+ convert(varchar(5), @endRow)+ '
'
print @sql
EXEC(@sql)
这个方案让我们搜索N公里内的代码变得简单了 ：@otherwhere 参数 设置成 ：distance < n 即可了。按距离排序只用：@orderfield=‘distance’就可以了。程序中再也不用出现距离两点距离的sql语句，另一个意外收获就是让我搜索营业中的商家也变得简单了（我们营业根据商家设置的两个时间段（如：8:00-12:00 16:00-20:00）及一个状态值而定）.
以上便是此问题这几年的优化历程，当然，可能很多人对我们行业不了解，也可能我只是抽出了代码片段，很多人看了可能还是会不知所云，不过我想真正想研究这个问题的人看了，就应该能明白了。2013年的方案，可能还有不少问题，或者可以再进一步优化。希望有部分人能用到的同时 ，也能对此方案提出更多更好的意见或建议。
成为一名优秀的程序员！