C#中 使用yield return 优化大数组或集合的访问

概要

我们在开发过程中，经常需要在一个很大的数组或集合中搜索元素，以满足业务需求。

本文主要介绍通过使用yield return的方式，避免将大量数据全部加载进入内存，再进行处理。从而提高程序的性能。

设计和实现

基本业务场景，我们需要在10000台ATM的数据中找前100台品牌是BrandA的ATM机的数据。

我们不再使用传统的方式，将10000台ATM机的数据全部载入内容，再进行过滤查找。

我们通过yield return方式，只返回一个迭代器，代码如下：

本例中，存在BrandA和BrandB两个品牌，在生成ATM的L集合序列时候，每次都是随机生成ATM机的品牌。

public IEnumerable<ATM> getATMListYield(){
    List<ATM> atms = new List<ATM>();
    int count = 0;
    for(var i=0; i< 10000; ++i){
        yield return new ATM (){
            Id = i,
            Name = "Atm" + i,
            Brand =  getBrand()
        } ;
    }
    yield break;
}
private string getBrand(){
    Random rd = new Random();
    int count = rd.Next(100);
    if (count >= 50) return "BrandA";
    return "BrandB";
}

调用getATMListYield，进行过滤，找到前100个BrandA的ATM机。完整代码，请参考附录。

 public void runGetList(){
     DataProvider dp = new DataProvider();
     var lists = dp.getATMList();
     var count = 0;
     foreach(var atm in lists){
         if(atm.Brand == "BrandA") {
             Console.WriteLine(atm.Name );
             ++ count;
         }
         if (count == 100){
             break;
         }
     }
 }

在foreach循环中，每次访问ATM的集合，只将集合中的一个元素载入内存，进行过滤和比较，当找到100个BrandA的元素，程序停止，不再载入ATM数组的其它元素。

载入全部ATM数据，再进行过滤的代码请见附录。

我们使用Benchmark对两种实现的性能进行测试，测试结果如下：

从测试结果中，可以看出，使用yield return方式，运行时间几乎减少了一半。

由于不需要将全部ATM数据载入内容，yield return方式的内存使用量，仅仅相当于传统方法的2%左右。

附录

Programs.cs

using System.Diagnostics.CodeAnalysis;
using System.Reflection;
using System.Runtime.CompilerServices;
using System.Net.Mail;
using System.ComponentModel.Design.Serialization;
using System;
using System.Threading;
using System.Threading.Tasks;
using Microsoft.EntityFrameworkCore;
using System.Linq;
using System.Collections.Generic;
using BenchmarkDotNet.Running;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;
namespace IQueryableIEnumerable
{
    [MemoryDiagnoser]
    public class Programs
    {
        [Benchmark]
        public void runGetList(){
            DataProvider dp =new DataProvider();
            var lists = dp.getATMList();
            var count = 0;
            foreach(var atm in lists){
                if(atm.Brand == "BrandA") {
                    Console.WriteLine(atm.Name );
                    ++ count;
                }
                if (count == 100){
                    break;
                }
            }
        }
        [Benchmark]
        public void runGetListByYield(){
            DataProvider dp =new DataProvider();
            var lists = dp.getATMListYield();
            int count = 0;
            foreach(var atm in lists){
                if(atm.Brand == "BrandA") {
                    Console.WriteLine(atm.Name );
                    ++ count;
                }
                if (count == 100){
                    break;
                }
            }
        }
        public static void Main(string[] args)
        {
             var summary = BenchmarkRunner.Run<Programs>();      
        }

      
    }
}

DataProvider.cs

using System;
using System.Linq;
using System.Collections.Generic;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;

namespace IQueryableIEnumerable
{
    public class DataProvider {
        public IEnumerable<ATM> getATMList(){
            List<ATM> atms = new List<ATM>();
            for(var i=0; i< 10000; ++i){
                atms.Add(new ATM (){
                    Id = i,
                    Name = "Atm" + i,
                    Brand =  getBrand()
                });
            }
            return atms;
        }
        public IEnumerable<ATM> getATMListYield(){
            List<ATM> atms = new List<ATM>();
            int count = 0;
            for(var i=0; i< 10000; ++i){
                yield return new ATM (){
                    Id = i,
                    Name = "Atm" + i,
                    Brand =  getBrand()
                } ;
            }
            yield break;
        }
        private string getBrand(){
            Random rd = new Random();
            int count = rd.Next(100);
            if (count >= 50) return "BrandA";
            return "BrandB";
        }
    }
}

ATM.cs

using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;
namespace IQueryableIEnumerable
{
    public class ATM {
        public int Id { get; set; }
        public string Name { get; set; }
        public string Brand {get;set;}      
    }
}