MongoDB 查询超时异常的原因及解决办法

MongoDB 查询超时异常的原因及解决办法

在对超过百万条记录的集合进行聚合操作时，偶尔会发生Read timed out 异常，本文分析了ConnectionTimeOut和SocketTimeOut的区别，并提出该问题的解决办法。

作者：忙碌的键盘来源：oschina博客|2015-03-09 15:41

 移动端

 收藏

  分享

【沙龙】51CTO诚邀您9月23号和多位技术大咖一起聊智能CDN的优化之路，抓紧时间哦！

 

在对超过百万条记录的集合进行聚合操作。

1. DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}"); 
2. DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}"); 
3. AggregationOutput output = logCollection.aggregate(match,group); 

偶尔会发生Read timed out 异常。

1. com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable 
2. at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253) 
3. at com.mongodb.DB.command(DB.java:261) 
4. at com.mongodb.DB.command(DB.java:243) ... 
5. Caused by: java.net.SocketTimeoutException: Read timed out 
6. at java.net.SocketInputStream.socketRead0(Native Method) 
7. at java.net.SocketInputStream.read(SocketInputStream.java:152) 

通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！

然后查看MongoDB的配置信息：

1. socket-timeout="5000" //5s 

socket-timeout的默认配置为0，也就是没有限制。

没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。

通过多次测试发现最长执行时间为6秒，就把超时时间设置成了10000。

1. socket-timeout="10000" //10s 

注意：MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用最后一个配置。

应该把参数配置信息存储在properties文件中。

1. "${mongodb.ip}" id="mongo202" port="${mongodb.port}"> 
2. "200" 
3. threads-allowed-to-block-for-connection-multiplier="100" 
4. connect-timeout="1000" 
5. max-wait-time="1000" 
6. auto-connect-retry="true" 
7. socket-keep-alive="true" 
8. socket-timeout="10000" 
9. slave-ok="true" 
10. write-number="1" 
11. write-timeout="0" 
12. write-fsync="true" /> 
13.  

通过Java API获取配置参数

1. DBCollection logCollection = mongoTemplate.getCollection(collName); 
2. MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions(); 
3. System.out.println(mongoOptions.getSocketTimeout()); 

最后一点： ConnectionTimeOut和SocketTimeOut的区别：

一次完整的请求包括三个阶段：

• 建立连接
• 数据传输
• 断开连接

如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。

如果与服务器连接成功，就开始数据传输了。

如果服务器处理数据用时过长，超过了SocketTimeOut，就会抛出SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。