高吞吐量的一个日志函数类_用于IOCP (Delphi)

 

      在开发服务器端程序的时候，日志是必须的一个功能。由于服务器端的要频繁的把数据写入日志，开始的时候用了一个很简单日志函数

就是直接把日志字符写入文件中。然后关闭连接。一直也应用良好。但做压力测试的时候，因为要每个连接的数据都要写入日志，发现运行的一段时间后，频繁掉线，CPU占用率，居高不下，优化了可以想到的很多地方，有一定的效果，仔细观察发现，硬盘灯狂闪不止，说明硬盘I/0操作过于紧张。但测试的时候，基本是不读写硬盘的，恍然发现，是日志函数影响到整个系统的性能。每一个日志数据的时候，就要打开文件，写入文件，关闭文件。哈，这些都是相对昂贵的I/0操作。优化的方法很简单，缓存数据，定期的批量写入磁盘。基于此设计思路就开发了一个新的日志类。以空间换取时间。 

     内部采用双缓冲算法，写入信息的时候，是直接写入到 内存中，然后线程根据一定的时间间隔，将内存中的数据写到磁盘文件中，里面开辟了两块缓冲内存队列,采用了生产者===》消费者模式，WriteLog 是写入日志数据，算是数据的生产者,TFileStream对象，将内存中的数据写入磁盘是消费者角色，由于采用了双缓冲方式，减少了生产与消费间的干扰. 提高了性能，减少日志的写入时间。也勉强算是个双缓冲队列的实际应用.

   此日志类是基于线程实现的。为了方便使用。内部采用了锁定机制。是线程安全的类。当数据量比较大或者为了便于日志文件的管理

我们会把数据按一定规则生成不同的日志文件名，最常见的就是按日期作日志文件的名称。例如 20110702.log, 20110701.log 等

此日志类中考虑到此情况，可以随时更改日志文件名。

  property FileName:string read getLogFileName write setLogFileName; 要修改日志文件名，直接赋值即可。也是线程安全的。

最后要说明下，此日志类的设计思路也可以用于其它方面。缓冲，空间换时间是软件设计中常用的方法。

在后来的 IOCP 模式下开发的服务器程序(ECHO 测试 12,000连接 OK)，应用了此日志类。效果良好

 

//实现的代码

unit uSfLog;



interface



uses

  Windows, Messages, SysUtils, Variants, Classes;



type

  TsfLog=class(TThread)

  private

     FLF:string;//#13#10;

     FS:TFileStream;

     FCurFileName:string;

     FFileName:string;

     FBegCount:DWord;

     FBuffA,FBuffB:TMemoryStream;

     FCS:TRTLCriticalSection;

     FCS_FileName:TRTLCriticalSection;

     FLogBuff:TMemoryStream;

     procedure WriteToFile();

     function getLogFileName: string;

     procedure setLogFileName(const Value: string);

   protected

      procedure Execute();override;

   public

      constructor Create(LogFileName:string);

      destructor  Destroy();override;

      procedure WriteLog(const InBuff:Pointer;InSize:Integer);overload;

      procedure WriteLog(const Msg:string);overload;

  public

      property FileName:string read getLogFileName write setLogFileName;

  end;





implementation



{ TsfLog }



constructor TsfLog.Create(LogFileName:string);

begin

   if Trim(LogFileName) = '' then

       raise exception.Create('Log FileName not ""');



   inherited Create(TRUE);

   //\\

   InitializeCriticalSection(FCS);  //初始化

   InitializeCriticalSection(FCS_FileName);//日志文件名



  //队列缓冲区A,B运行的时候，交替使用



   Self.FBuffA := TMemoryStream.Create();

   Self.FBuffA.Size := 1024 * 1024; //初始值可以根据需要自行调整

   Self.FBuffB := TMemoryStream.Create();

   Self.FBuffB.Size := 1024 * 1024; //初始值可以根据需要自行调整

   Self.FLogBuff := Self.FBuffA;



  



   if FileExists(LogfileName) then

   begin

      FS := TFileStream.Create(LogFileName,fmOpenWrite or fmShareDenyWrite);

      FS.Position := FS.Size; //如果文件已经存在，数据进行追加

  end

  else

    FS := TFileStream.Create(LogFileName,fmCreate or fmShareDenyWrite);



   FCurFileName := LogFileName;

   FFileName    := LogFileName;



   FLF  := #13#10;



   //启动执行

   Self.Resume();

  //\\

end;



destructor TsfLog.Destroy;

begin

   FBuffA.Free();

   FBuffB.Free();

   FS.Free();

   inherited;

end;



procedure TsfLog.Execute();

begin

   FBegCount := GetTickCount();

   while(not Self.Terminated) do

   begin

       //2000ms 可以根据自己的需要调整，数据写入磁盘的间隔

      if (GetTickCount() - FBegCount) >= 2000 then

     begin

        WriteToFile();

        FBegCount := GetTickCount();

    end

    else

       Sleep(200);

   end;

    WriteToFile();

end;



function TsfLog.getLogFileName: string;

begin

   EnterCriticalSection(FCS_FileName);

   try

      Result := FCurFileName;

    finally

      LeaveCriticalSection(FCS_FileName);

    end;

end;



procedure TsfLog.setLogFileName(const Value: string);

begin

  EnterCriticalSection(FCS_FileName);

  try

    FFileName := Value;

  finally

    LeaveCriticalSection(FCS_FileName);

  end;

end;



procedure TsfLog.WriteLog(const Msg: string);

begin

  WriteLog(Pointer(Msg),Length(Msg));

end;



procedure TsfLog.WriteLog(const InBuff: Pointer; InSize: Integer);

var

    TmpStr:string;

begin

    TmpStr := FormatDateTime('YYYY-MM-DD hh:mm:ss zzz ',Now());

    EnterCriticalSection(FCS);

    try

      FLogBuff.Write(TmpStr[1],Length(TmpStr));

      FLogBuff.Write(InBuff^,InSize);

      FLogBuff.Write(FLF[1],2);

    finally

      LeaveCriticalSection(FCS);

  end;

end;



procedure TsfLog.WriteToFile;

var

    MS:TMemoryStream;

    IsLogFileNameChanged:Boolean;

begin

    EnterCriticalSection(FCS);

    //交换缓冲区

    try

      MS := nil;

      if FLogBuff.Position > 0 then

     begin

         MS := FLogBuff;

          if FLogBuff = FBuffA then FLogBuff := FBuffB

          else

             FLogBuff := FBuffA;

         FLogBuff.Position := 0;

     end;

  finally

     LeaveCriticalSection(FCS);

  end;

  //\\

    if MS = nil then

    Exit;



   //写入文件

   try

      FS.Write(MS.Memory^,MS.Position);

    finally

       MS.Position := 0;

    end;



     //检测文件名称是否变化

    EnterCriticalSection(FCS_FileName);

    try

       IsLogFileNameChanged := (FCurFileName <> FFileName);

    finally

       LeaveCriticalSection(FCS_FileName);

    end;



     //日志文件名称修改了

     if IsLogFileNameChanged then

    begin

        FCurFileName :=  FFileName;

        FS.Free();

       if FileExists(FFileName) then

      begin

         FS := TFileStream.Create(FFileName,fmOpenWrite or fmShareDenyWrite);

         FS.Position := FS.Size;

     end

     else

        FS := TFileStream.Create(FFileName,fmCreate or fmShareDenyWrite);

    end;



end;

end.



 



 



 



 



//日志类函数的测试代码



//主要测试三个功能



1）日志的写入速度是否足够快



2）日志类在多线程情况下，能稳定运行吗？



3）运行中，更换输出日志的文件名称



 



为了产生大量的数据及多线程下的稳定性，测试中产生了 120个线程，同时写日志函数。



同时用一个定时器，定期的修改输出日志的文件名。写入日志的信息是随机产生的GUID字符串。



 



 



unit uMain;



interface



uses

  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,

  Dialogs,uSfLog, StdCtrls, ExtCtrls,ActiveX;



type

  TfrmMain = class(TForm)

    Button1: TButton;

    Edit1: TEdit;

    Timer1: TTimer;

    procedure FormCreate(Sender: TObject);

    procedure Button1Click(Sender: TObject);

    procedure FormClose(Sender: TObject; var Action: TCloseAction);

    procedure Timer1Timer(Sender: TObject);

  private

    { Private declarations }

    FList:TList;

    LogObj:TsfLog;

  public

    { Public declarations }

  end;



  TsfLogTest=class(TThread)

  protected

    procedure Execute();override;

  end;



var

  frmMain: TfrmMain;



implementation



{$R *.dfm}



function GetGUID():string;

var

  ID:TGUID;

begin

  CoCreateGuid(ID);

  Result := GUIDToString(ID);

end;





procedure TfrmMain.FormCreate(Sender: TObject);

begin

  LogObj := TsfLog.Create('C:\temp\0001.TXT');

  FList := TList.Create();

end;



 



//启动测试



procedure TfrmMain.Button1Click(Sender: TObject);

var

  Obj:TsfLogTest;

  Index:Integer;

begin

  for Index := 1 to 120 do

  begin

    Obj := TsfLogTest.Create(FALSE);

    FList.Add(Obj);

  end;

  Self.Timer1.Enabled := TRUE;

end;



{ TsfLogTest }



procedure TsfLogTest.Execute;

var

  Msg:string;

begin

  while(not self.Terminated) do

  begin

    Msg := IntToStr(Self.ThreadID) + #09 + 

             GetGUID() + GetGUID() + GetGUID() + GetGUID() +

             GetGUID() + GetGUID() + GetGUID() + GetGUID();

    frmMain.LogObj.WriteLog(Msg);

    Sleep(10);

  end;

end;



procedure TfrmMain.FormClose(Sender: TObject; var Action: TCloseAction);

var

  Index:Integer;

  Obj:TsfLogTest;

begin

  for Index := 0 to FList.Count - 1 do

  begin

    Obj:= TsfLogTest(FList.Items[Index]);

    Obj.Terminate();

  end;

  Sleep(100);

end;



procedure TfrmMain.Timer1Timer(Sender: TObject);

var

  AFileName:string;

begin

  AFileName :=  'C:\Temp\' +  FormatDateTime('YYYYMMDD_hhmmss_zzz',Now()) + '.TXT';

  LogObj.FileName :=  AFileName;

end;



end.