基于C#实现外排序
一、N 路归并排序
1.1、概序
我们知道算法中有一种叫做分治思想，一个大问题我们可以采取分而治之，各个突破，当子问题解决了，大问题也就 KO 了，还有一点我们知道内排序的归并排序是采用二路归并的，因为分治后有 LogN 层，每层两路归并需要 N 的时候，最后复杂度为 NlogN，那么外排序我们可以将这个“二”扩大到 M，也就是将一个大文件分成 M 个小文件，每个小文件是有序的，然后对应在内存中我们开 M 个优先队列，每个队列从对应编号的文件中读取 TopN 条记录，然后我们从 M 路队列中各取一个数字进入中转站队列，并将该数字打上队列编号标记，当从中转站出来的最小数字就是我们最后要排序的数字之一，因为该数字打上了队列编号，所以方便我们通知对应的编号队列继续出数字进入中转站队列，可以看出中转站一直保存了 M 个记录，当中转站中的所有数字都出队完毕，则外排序结束。如果大家有点蒙的话，我再配合一张图，相信大家就会一目了然，这考验的是我们的架构能力。
图中这里有个 Batch 容器，这个容器我是基于性能考虑的，当 batch=n 时，我们定时刷新到文件中，保证内存有足够的空间。
1.2、构建
<1> 生成数据
这个基本没什么好说的，采用随机数生成 n 条记录。
<2> 切分数据
根据实际情况我们来决定到底要分成多少个小文件，并且小文件的数据必须是有序的，小文件的个数也对应这内存中有多少个优先队列。
<3> 加入队列
我们知道内存队列存放的只是小文件的 topN 条记录，当内存队列为空时，我们需要再次从小文件中读取下一批的 TopN 条数据，然后放入中转站继续进行比较。
<4> 测试
最后我们来测试一下:
数据量：short.MaxValue。
内存存放量：1200。
在这种场景下，我们决定每个文件放 1000 条，也就有 33 个小文件，也就有 33 个内存队列，每个队列取 Top100 条，Batch=500 时刷新
硬盘，中转站存放 332 个数字（因为入中转站时打上了队列标记）,最后内存活动最大总数为：sum=33100+500+66=896<1200。
时间复杂度为 N*logN。
总的代码：
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Diagnostics;
using System.Threading;
using System.IO;
using System.Threading.Tasks;
namespace ConsoleApplication2
{
public class Program
{
public static void Main()
{
//生成2^15数据
CreateData(short.MaxValue);
//每个文件存放1000条
var pageSize = 1000;
//达到batchCount就刷新记录
var batchCount = 0;
//判断需要开启的队列
var pageCount = Split(pageSize);
//内存限制：1500条
List<PriorityQueue<int?>> list = new List<PriorityQueue<int?>>();
//定义一个队列中转器
PriorityQueue<int?> queueControl = new PriorityQueue<int?>();
//定义每个队列完成状态
bool[] complete = new bool[pageCount];
//队列读取文件时应该跳过的记录数
int[] skip = new int[pageCount];
//是否所有都完成了
int allcomplete = 0;
//定义 10 个队列
for (int i = 0; i < pageCount; i++)
{
list.Add(new PriorityQueue<int?>());
//i： 记录当前的队列编码
//list: 队列数据
//skip：跳过的条数
AddQueue(i, list, ref skip);
}
//初始化操作，从每个队列中取出一条记录，并且在入队的过程中
//记录该数据所属的 “队列编号”
for (int i = 0; i < list.Count; i++)
{
var temp = list[i].Dequeue();
//i:队列编码,level:要排序的数据
queueControl.Eequeue(i, temp.level);
}
//默认500条写入一次文件
List<int> batch = new List<int>();
//记录下次应该从哪一个队列中提取数据
int nextIndex = 0;
while (queueControl.Count() > 0)
{
//从中转器中提取数据
var single = queueControl.Dequeue();
//记录下一个队列总应该出队的数据
nextIndex = single.t.Value;
var nextData = list[nextIndex].Dequeue();
//如果改对内弹出为null，则说明该队列已经，需要从nextIndex文件中读取数据
if (nextData == null)
{
//如果该队列没有全部读取完毕
if (!complete[nextIndex])
{
AddQueue(nextIndex, list, ref skip);
//如果从文件中读取还是没有，则说明改文件中已经没有数据了
if (list[nextIndex].Count() == 0)
{
complete[nextIndex] = true;
allcomplete++;
}
else
{
nextData = list[nextIndex].Dequeue();
}
}
}
//如果弹出的数不为空，则将该数入中转站
if (nextData != null)
{
//将要出队的数据 转入 中转站
queueControl.Eequeue(nextIndex, nextData.level);
}
batch.Add(single.level);
//如果batch=500，或者所有的文件都已经读取完毕，此时我们要批量刷入数据
if (batch.Count == batchCount || allcomplete == pageCount)
{
var sw = new StreamWriter(Environment.CurrentDirectory + "//result.txt", true);
foreach (var item in batch)
{
sw.WriteLine(item);
}
sw.Close();
batch.Clear();
}
}
Console.WriteLine("恭喜，外排序完毕！");
Console.Read();
}
#region 将数据加入指定编号队列
/// 优先队列：
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Diagnostics;
using System.Threading;
using System.IO;
namespace ConsoleApplication2
{
public class PriorityQueue<T>
{
///