MySQL水平分区代理Spock Proxy(一)

MySQL水平分区代理Spock Proxy 水平分区(sharding)将同一数据表中的数据通过特定的算法进行分离，分别保存在不同的数据表中，从而部署到不同的数据库服务器上。 水平分区后，数据拆分到不同的服务器上，面临的最重要的问题是应用程序如何正确的找到它们。可以通过使用Spock Proxy来帮助应用程序实现水平分区的访问调度。意味着不需要在应用程序中维护那些分区对应关系。 Spock Proxy项目：http://spockproxy.sourceforge.net/   一.Spock Proxy介绍 1.Spock Proxy支持基于水平范围分区(range-based horizontal partioning)。将单个数据库分片到多个，以提高性能和可扩展性。 2.从客户端截取SQL语句，将查询发送到正确分区数据库服务器上，然后聚集从每个数据库查询到的结果返回给客户端，作为一个普通的MySQL结果集。 3.对应用程序透明，避免修改应用程序。 4.Spock基于Rails和ActiveRecord。Spock Proxy基于MySQL Proxy开发，是MySQL Proxy的一个分支。对MySQLProxy做的改进有： a.不使用lua脚本。提升性能，多个数据库返回的结果合并需要与lua脚本交互，开销大。 b.客户端登陆验证。MySQL Proxy支持客户端与各个服务器直接进行登录验证。而Spock Proxy统一管理，分离客户端与服务器的连接。自动验证客户端使用的用户名/密码(启动spockproxy指定的). c.动态连接池。Spock Proxy分离客户端与服务器的连接，允许最小和最大连接数的管理。spockproxy启动后建立了一个连接池的最小连接数。 d.多服务器发送/接收。请求发送到多台服务器上。为了确保速度，所有的请求广播一次，异步执行读操作。当从每个服务器获取结果完成后，如果计数器大于1，将执行合并操作。如果只有一个结果集，数据将被自动转发给客户端。如果从任何一个数据库返回任何错误，错误将会被发送到客户端。 5.Spock Proxy架构图 二.Spock Proxy局限性 并非所有支持MySQL的查询完全支持Spock Proxy。当spockproxy解析查询语句失败，调用端将得到一个错误。 已知的限制有： 1.SQL管理语句，如create。 2.支持有限的存储过程和事务。 3.跨数据库的join操作无法执行。 4.不支持嵌套查询。 5.对于SELECT ，支持最多2表联接。但不支持GROUP BY。 6.对于INSERT，列清单总是预期。 7.如果查询涉及多个分区中的数据，对于查询使用mysql函数，只支持MAX, MIN, SUM, AVERAGE 函数。 8.不正确的INSERT_ID和分裂一个自动递增的主键与外键的表，ID冲突是可能的。 9.LOAD DATA INFILE没有测试。