Delphi Base64编码/解码及ZLib压缩/解压

最近在写的程序与SOAP相关,所以用到了一些Base64编码/解码及数据压缩/解压方面的知识. 在这里来作一些总结:

一.Base64编码/解码

 

　　一般用到的是Delphi自带的单元EncdDecd,当然还有第三方提供的单元或控件,其中我所接触到的认为比较好的有Indy的TIdMimeEncode / TIdMimeDecode组件,以及RjMime单元.

 

　　在这里主要想讲讲如何才能获得最好的编码/解码性能,EncdDecd提供了EncodeStream/DecodeString, EncodeString/DecodeString两对函数,如果你使用EncodeString/DecodeString,这没有什麽可争议,效率是死的,如果你使用了EncodeStream/DecodeStream,这里面可大有文章了. 先来看看两个函数的声明:
procedure EncodeStream(Input, Output: TStream);
procedure DecodeStream(Input, Output: TStream);
　　很明了, 两个参数,都为TStream, TStream是抽象类, 其派生类主要有TMomoryStream,TStringStream,TFileStream等,都可以作为参数传递进去,对於Input参数,无论TMemoryStream, TStringStream, TFileStream都不会影响性能,但是对於Output参数,由於压缩的结果是写住OutputStream,因此压缩过程中不断地执行TStream的Write方法,如果是TMemoryStream,那效率真是太糟糕了,我作过测试,编码一个5M多的文件,要十几秒钟!但如果是TStringStream呢,只要0.2~0.3秒! 这究竟是为什麽呢,因为TMemoryStream里不断调用Write方法的结果是,不断地向Windows要求分配内存!从而导致性能下降!而TStringStream和TFileStream则没有这个问题. 因此,在这里极力向朋友们建议,Output参数最好不用TMemoryStream.
　　不过不要紧,你一定要用的话,也是有方法解决性能下降这个问题的! 因为效率下降的原因是不断的申请内存空间,我们可以从这个方向首手,能不能一次性给它分配好内存空间呢,如果我们事先能确定编码或解码后的数据大小(字节数),那麽这是可行的. 问题的关键就是如何确定这个编码或解码后的字节数了. 对於EncdDecd,我可以给出这个计算方法:
　　(1)假设编码前的字节数为X,那麽编码后的字节数为 (X + 2) div 3 * 4.　不过,要对EncdDecd进行相应的修改,找到这一小段:
　　　if K > 75 then　　　　　
　　　begin
　　　　BufPtr[0] := #$0D;
　　　　BufPtr[1] := #$0A;
　　　　Inc(BufPtr, 2);
　　　　K := 0;
　　　end;
　　将其注释掉, 因为这其实是没什麽用的,只是用来对编码后的字符串分行的~,我们可以注释后将单元另存为EncdDecdEx,以后就使用它了!!!
　　(2)假设解码前的字节数是X,那麽解码后的字节数约为 (X + 3) div 4 * 3
*****注:与编码不同的是,解码的字节数不是确定的,差值在0~2之间.

 

　　这样我们就可以在编码/解码前对Output参数的TMemoryStream事先设置缓冲区大小了....
　
　uses
　　encddecdEx;
　var
　　Input,Output:TMemoryStream;
　begin
　　Input:=TMemoryStream.Create;
　　try
　　　Input.LoadFromFile('c:\aaa.txt');
　　　Output:=TMemoryStream.Create;
　　　try
　　　　Output.Size:=(Input.Size + 2) div 3 * 4;
　　　　EncodeStream(Input,Output);
　　　finally
　　　　Output.Free;
　　　end;
　　finally
　　　Input.Free;
　　end;
　end;

 

　OK! 大功告成!!! 大家有兴趣可以测试一下,加不加Output.Size:=(Input.Size + 2) div 3 * 4这一句的不同效果~

 

二.ZLib压缩/解压

 

　　在一些分布式系统中,特别是Internet分布式系统,由於网络带宽所限,我们需要对传输的大流量数据进行压缩,以减轻网络的负担,加快程序运行速度,一般用到的压缩/解压方法是使用ZLib单元. ZLib单元主要提供了两个类:TCompressionStream和TDeCompressionStream. 这两个类分别处理压缩和解压缩. 使用方法可以查阅相关的资料. 在这里提供两个过程,再对压缩时的参数作些比较:

 

uses
　ZLib;

 

procedure Zip(Input,Output:TStream;Compress:Boolean);
const
　MAXBUFSIZE=1024 * 16;　 //16 KB
var
　CS:TCompressionStream;
　DS:TDecompressionStream;
　Buf:array[0..MAXBUFSIZE-1] of Byte;
　BufSize:Integer;
begin
　 if Assigned(Input) and Assigned(Output) then
　begin
　　if Compress then
　　begin
　　　CS:=TCompressionStream.Create(clDefault,Output);
　　　try
　　　　CS.CopyFrom(Input,0);　//从开始处复制
　　　finally
　　　　CS.Free;
　　　end;
　　end else
　　begin
　　　DS:=TDecompressionStream.Create(Input);
　　　try
　　　　BufSize:=DS.Read(Buf,MAXBUFSIZE);
　　　　while BufSize>0 do
　　　　begin
　　　　　Output.Write(Buf,BufSize);
　　　　　BufSize:=DS.Read(Buf,MAXBUFSIZE);
　　　　end;
　　　finally
　　　　DS.Free;
　　　end;
　　end;
　end;
end;

 

function Zip(Input:string;Compress:Boolean):string;
var
　InputStream,OutputStream:TStringStream;
begin
　if Input='' then Exit;
　InputStream:=TStringStream.Create(Input);
　try
　　OutputStream:=TStringStream.Create('');
　　try
　　　Zip(InputStream,OutputStream,Compress);
　　　Result:=OutputStream.DataString;
　　finally
　　　OutputStream.Free;
　　end;
　finally
　　InputStream.Free;
　end;
end;

 

　　以上两个方法是两个名称一样,参数不同的过程. 第一个是对流进行压缩/解压,Input,Output分别是压缩/解压前的流与压缩/解压后的流. 第二个是对字符串进行压缩/解压. 两个过程都有Compress参数,这个参数用来决定进行压缩操作还是解压操作: True--压缩; false--解压.

 

　　在第一个过程中,有这样一句:
　　CS:=TCompressionStream.Create(clDefault,Output);
　　这是在建立压缩类以对流进行压缩, 这里面有个参数clDefault,当然还有其它的选项:clNone, clFastest, clDefault, clMax;
clNone与clFastest就不讨论了,因为不能获得良好的压缩效果,在这里想讨论clDeafult与clMax哪一个好点,我作了一些测试,测试数据如下:

 

　　　　　　　　源文件大小　 压缩所用时间　　　压缩后文件大小
　clDefault　　　2.71M　　　　　~1.4s　　　　　　~937K
　　　　　　　　 5.10M　　　　　~2.8s　　　　　　~1.77M

 

　clMax　　　　　2.71M　　　　　~2.5s　　　　　　~934K
　　　　　　　　 5.10M　　　　　~4.7s　　　　　　~1.77M

 

　　由这些数据可以看出,clDefault参数与clMax参数,压缩率已经非常接近了,但是所用的时间却相差了近一倍! 也就是说,差不多的压缩效率,clDefault参数比clMax参数节省了一半的时间! 因此,建议大家使用参数clDefault,这是压缩效率比较好的参数.

 

三. 何对MIDAS封包进行压缩.

 

　　我们知道,MIDAS封包外在类型是OleVariant,其内部格式没有对外公开! 经过我的一些测试,该封包是以varByte为基础类型的VarArray数组.
因此,我们可以将其转换成string类型再进行压缩,至於压缩后是以string传输还是转换回VarByte array类型,就由个人决定了. 下面的函数完成将MIDAS数据包转换成string类型.

 

function UnpackMIDAS(vData:OleVariant):string;
var
　P:Pointer;
　Size:Integer;
begin
　if not VarIsArray(vData) then Exit;
　Size:=VarArrayHighBound(vData,1)-VarArrayLowBound(vData,1)+1;
　P:=VarArrayLock(vData);
　try
　　SetLength(Result,Size);
　　Move(P^,Result[1],Size);
　finally
　　VarArrayUnLock(vData);
　end;
end;

 

假设以下为MIDAS服务器或COM+对象一个方法.

 

function TDeptCoor.GetDeptData: OleVariant;
var
　Command:WideString;
　Options:TGetRecordOptions;
　RecsOut:Integer;
　Params,OwnerData:OleVariant;
begin
　try
　　Command:='SELECT DeptID,DeptNo,DeptName,MasterID FROM Department ORDER BY DeptNo';
　　Options:=[grReset,grMetaData];
　　Result:=FCommTDM.AS_GetRecords('CommDsp',-1,RecsOut,Byte(Options),Command,Params,OwnerData);
　　Result:=UnpackMIDAS(Result);　 //将MIDAS封包转换成string类型
　　Result:=Zip(Result,True);　　　　　　//进行压缩,再将压缩后结果转回.
　　SetComplete;
　except
　　SetAbort;
　　raise;
　end;
end;

 

客户端只要压压缩后就可以使用了:

 

procedure TForm1.Button1Click(sender:TObject);
var
　vData:string;
begin
　vData:=DeptCoor.GetDeptData;
　vData:=Zip(vData,False);　　　　　//解压
　ClientDataSet1.XMLData:=vData;　　//注意,这里用的是XMLData,不是Data,否则会报错!!!
end;

 

　　　　　　　　
四. SOAP系统中压缩后编码:

 

　在SOAP系统中,由於二进制数据不能直接传递,需要进行Base64编码, 我们可以在数据传递前先压缩/Base64编码,接收后再Base64解码/解压缩.
同样,也给出两个函数,来分别完成这两个过程

 

function SoapPacket(const Input:string):string;　
var
　InputStream,OutputStream:TStringStream;
begin
　InputStream:=TStringStream.Create(Input);
　try
　　OutputStream:=TStringStream.Create('');
　　try
　　　Zip(InputStream,OutputStream,True);
　　　InputStream.Size:=0;
　　　OutputStream.Position:=0;　 //很重要!!!
　　　EncodeStream(OutputStream,InputStream);
　　　Result:=InputStream.DataString;
　　finally
　　　OutputStream.Free;
　　end;
　finally
　　InputStream.Free;
　end;
end;

 

function SoapUnpack(const Input:string):string;
var
　InputStream,OutputStream:TStringStream;
begin
　InputStream:=TStringStream.Create(Input);
　try
　　OutputStream:=TStringStream.Create('');
　　try
　　　DecodeStream(InputStream,OutputStream);
　　　InputStream.Size:=0;
　　　OutputStream.Position:=0; //很重要!!!
　　　Zip(OutputStream,InputStream,False);
　　　Result:=InputStream.DataString;
　　finally
　　　OutputStream.Free;
　　end;
　finally
　　InputStream.Free;
　end;
end;