使用FOR循环查询数据的性能试验

看过好多文章,写过好多代码,好多人都说不要在for循环里去写查询效率很低,后来也查了一些资料,确实,来来回回发起很多次的连接、查询、很浪费时间,但是从来不知道究竟有多大的差距,于是乎突发奇想做了一个小小的实验,看看差距....

不喜勿喷...

实验场景

1、数据库阿里云(单核、1G、1M带宽)自建mysql。

2、请求发起为本地。

3、数据库表trade_record_0中有300W数据,数据ID最小为3,最大为60000000。

4、随机生成0-6000000之间的数据,分别使用for循环单个获取,和使用sql语句中的in方法进行获取

可能出现的消耗

1、网络请求耗时

2、数据库QPS量

3、数据库IO读取速度

实验代码

使用FOR循环查询数据的性能试验_第1张图片

实验结果

随机生成100个ID进行查询

第一次:

program for get  ::: cost time:4808  get :45

sql in get  :::cost time:41  get :45

第二次:

program for get  ::: cost time:4774  get :51

sql in get  :::cost time:38  get :51

第三次:

program for get  ::: cost time:4612  get :53

sql in get  :::cost time:45  get :53

第四次:

program for get  ::: cost time:4964  get :59

sql in get  :::cost time:202  get :59

第五次:

program for get  ::: cost time:3943  get :58

sql in get  :::cost time:77  get :58

随机生成1000个ID进行查询

第一次:

program for get  ::: cost time:47545  get :516

sql in get  :::cost time:209  get :516

第二次:

program for get  ::: cost time:36683  get :473

sql in get  :::cost time:202  get :473

第三次:

program for get  ::: cost time:36034  get :514

sql in get  :::cost time:407  get :514

第四次:

program for get  ::: cost time:34960  get :478

sql in get  :::cost time:298  get :478

第五次:

program for get  ::: cost time:32676  get :509

sql in get  :::cost time:167  get :509

随机生成10000个ID进行查询

第一次,也是唯一一次,一次查询耗时太长,没有耐心了,看看差别就知道了

program for get  ::: cost time:255325  get :4991

sql in get  :::cost time:1537  get :4991

结论

1、从实验的结果上来看,100条以内使用sql in批量和使用for单个查询去查询数据耗时长度相差了大概是100倍左右,1000条以内的耗时相差了100-200倍,而在10000条数据上,相差了多少,我也不知道了。

2、为何会出现这样的情况?举个例子:要你去拿一百个苹果,你是一次拿一个,跑一百次。还是一次拿完一百个再回来?

3、sql中关于in关键字的效率和性能问题,记得之前有人跟我说过,数据量小的情况下,in没什么影响,但是在数据量大的情况下会很很低效,我也不太清楚,但是我觉得这样的问题都是相对的,有的时候in会低效,但是有的时候为了满足某些需求,这种情况也是可取的,或者其实还有很多其他的解决方案(例如:cache),所以还是那句话,问题都是相对的。

4、还有个关键字叫做exist。

你可能感兴趣的:(使用FOR循环查询数据的性能试验)