EMIPLIB使用入门
EMIPLIB(http://research.edm.uhasselt.be/emiplib)的全称是'EDM Media over IP libray' 。EDM是Hasselt University大学的Expertise Centre for Digital Media ，这个库就是这里开发的。
这个库能做什么呢？官方是这么描述的（版本0.14.0）：
•Soundcard input (using OSS, WinMM and Jack)
•Soundcard output (using OSS, ALSA, ESD, WinMM, Jack and SDL)
•WAV file input (using libsndfile, libaudiofile or a simple internal WAV reader)
•WAV file output (using libsndfile or a simple internal WAV writer (8 bit, mono))
•Webcam input (using Video4Linux and DirectShow)
•Speex compression
•U-law audio encoding
•H.263+ compression (using libavcodec)
•Mixing of incoming audio streams
•Synchronization of RTP streams based on RTCP information
•3D sound effects using HRIR/HRTF data from the LISTEN project
•Easy to use voice over IP (VoIP) and video over IP sessions
基本上这个库的目的就是要完成一个多媒体的网络传输库，方便多种媒体在网络上进行传输。从上面可以看到，它提供了从底层的数据采集、编码解码、传输等功能。当然，它不是独立的，比如，我是在window下做一个开发，对于音频它使用了winmm.lib库，对于视频使用了Dshow以及QT for windows。 另外，它也依赖于下面两个库：jrtplib以及jthread。比较详细的可以到官方网站找到参考。http://research.edm.uhasselt.be/emiplib/documentation/index.html
下面我们就针对windows平台下展开吧，因为我的EMIPLIB经验基本上是在windows平台地...
第一步：编译库(最基本编译)
先说说我的平台及环境：windows xp sp2 , vc8(第一次使用这个新的IDE，因为这个lib只提供了VC8的项目文件，时间原因我没办法尝试mingw及vc6等)。
可以到下面地址下载到源代码：
EMIPLIB http://research.edm.uhasselt.be/emiplib/emiplib-0.14.0.zip
JTHREAD http://research.edm.uhasselt.be/jori/jthread/jthread-1.2.1.zip
JRTPLIB http://research.edm.uhasselt.be/jori/jrtplib/jrtplib-3.7.0.zip
下载完以后，开始编译JTHREAD，用vc8打开源代码中的sln文件，在项目设置中C++项目下代码生成中选择多线程调试（/Mtd）。以同样方法编译JRTPLIB。
这两个库使用vc6和vc8都可以很轻松的编译，需要注意的是生成静态库时候要统一代码生成中的选项，我这里使用了/Mtd。完成后，在你的debug或者release目录线面会有这两个库：JRTPLIB.LIB JTHREAD.lib。如果编译这两个库的时候有问题，可以给我mail，或者直接去mail到作者那里，之前我也问过他一些问题，他是个不错的人。
然后我们需要来编译最大个的EMIPLIB库了，在EMIPLIB的源代码目录有README文件，上面有在windows下编译此库的参考。比较麻烦的问题是对于视频，我们可能需要添加QT支持（这可能需要我们在windows下先安装好QT，并自己手动完成一些文件）。对于最基本的编译我们先不去管它。上面的README文件中也说明了，在源代码目录的src/core/目录下面有一个配置文件mipconfig_win.h，我们可以在编译前进行一些选择，来得到更多功能支持的库。不过现在我们只使用默认的，只有speex支持被添加了。
用vc8打开sln文件吧，要正确的进行编译，我们最好先把上面需要的两个库，以及一些头文件放在一个合适的地方，让IDE可以找到它们。这需要你设置vc的目录（在工具--选项里面）添加include目录及lib目录。然后也在项目设置中设定多线程调试（/Mtd），现在应该可以编译EMIPLIB了。（PS：我们可能需要安装Dshow，新的版本MS 已经把它从DxSDK中踢出来鸟，放到了PlatFormSDK 中）。
最基本的编译应该不会花去我们太多时间。让我们先尝尝鲜，看看怎么用这个库。
第二步：hello world
在EMIPLIB源代码目录里面有一个examples目录，里面给了几个例子。我们找一个功能比较全的叫做feedbackexample.cpp，来看看怎么使用这个库：
我们省略了其中一些代码，只贴出来比较重要的。
/* 这个demo它打开一个叫做soundfile.wav的文件，并对其进行采样、uLaw编码、RTP编码然后设定好RTP的目的地（这里它发送给了自己），再经过RTP解码、uLAW解码、采样编码，发给声卡让它播放出来。 */
MIPTime interval(0.020); //设定间隔为20ms
MIPAverageTimer timer(interval); //设定计时器
MIPWAVInput sndFileInput; //声音文件输入
MIPSamplingRateConverter sampConv, sampConv2; //采样转换
MIPSampleEncoder sampEnc, sampEnc2, sampEnc3; //采样编码
MIPULawEncoder uLawEnc; //uLaw编码
MIPRTPULawEncoder rtpEnc; //rtp编码
MIPRTPComponent rtpComp; //rtp组建
MIPRTPDecoder rtpDec; //rtp解码
MIPRTPULawDecoder rtpULawDec; //rtp ulaw解码
MIPULawDecoder uLawDec; //uLaw解码
MIPAudioMixer mixer; //混音
MIPWinMMOutput sndCardOutput; //声卡输出
MyChain chain("Sound file player"); //链：用来把上面组建串起来的对象。
RTPSession rtpSession; //RTP会话，来自jrtplib
bool returnValue; //返回值
int samplingRate = 8000; //采样率默认为8kHz
int numChannels = 1; //声道设置默认为单声道
//打开一个wav文件。
returnValue = sndFileInput.open("soundfile.wav", interval);
//初始化采样转换，设置了采样率以及声道
returnValue = sampConv.init(samplingRate, numChannels);
//初始化采样编码，参数用于设定音频数据在计算机中的保存形式
returnValue = sampEnc.init(MIPRAWAUDIOMESSAGE_TYPE_S16);
//初始化ulaw编码
returnValue = uLawEnc.init();
//初始化rtp编码，这个组建可以创建发送到RTP组件的RTP消息。
returnValue = rtpEnc.init();
//初始化RTPSession，需要设置包括端口采样率等等与传输有关的参数
RTPUDPv4TransmissionParams transmissionParams;
RTPSessionParams sessionParams;
int portBase = 60000;
int status;
transmissionParams.SetPortbase(portBase);
sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
sessionParams.SetMaximumPacketSize(64000);
sessionParams.SetAcceptOwnPackets(true);
//建立一个RTPSession
status = rtpSession.Create(sessionParams,&transmissionParams);
// 添加一个目的地，RTPSession将往此目的发送RTP数据。这里我们发送给自己。
status = rtpSession.AddDestination(RTPIPv4Address(ntohl(inet_addr("127.0.0.1")),portBase));
//初始化RTP组件，使用我们刚才定义的RTPSession为参数
returnValue = rtpComp.init(&rtpSession);
//初始化RTP解码器
returnValue = rtpDec.init(true, 0, &rtpSession);
//设置RTP解码器使用ulaw规则
returnValue = rtpDec.setPacketDecoder(0,&rtpULawDec);
// 初始化ulaw解码，转换 被U-law 解码的采样数据为线性解码采样
returnValue = uLawDec.init();
// 初始化采样编码，转换接受到的音频数据为浮点数形式存储
returnValue = sampEnc2.init(MIPRAWAUDIOMESSAGE_TYPE_FLOAT);
//初始化采样转换,设置参数采样率及声道
returnValue = sampConv2.init(samplingRate, numChannels);
//初始化混音
returnValue = mixer.init(samplingRate, numChannels, interval);
//初始化声卡输出
returnValue = sndCardOutput.open(samplingRate, numChannels, interval);
//声卡输出使用的数据形式
returnValue = sampEnc3.init(MIPRAWAUDIOMESSAGE_TYPE_S16LE);
// 建立整个链：看看这个顺序，这是整个程序工作的逻辑
returnValue = chain.setChainStart(&timer);
returnValue = chain.addConnection(&timer, &sndFileInput);
returnValue = chain.addConnection(&sndFileInput, &sampConv);
returnValue = chain.addConnection(&sampConv, &sampEnc);
returnValue = chain.addConnection(&sampEnc, &uLawEnc);
returnValue = chain.addConnection(&uLawEnc, &rtpEnc);
returnValue = chain.addConnection(&rtpEnc, &rtpComp);
returnValue = chain.addConnection(&rtpComp, &rtpDec);
returnValue = chain.addConnection(&rtpDec, &uLawDec, true);
returnValue = chain.addConnection(&uLawDec, &sampEnc2, true);
returnValue = chain.addConnection(&sampEnc2, &sampConv2, true);
returnValue = chain.addConnection(&sampConv2, &mixer, true);
returnValue = chain.addConnection(&mixer, &sampEnc3);
returnValue = chain.addConnection(&sampEnc3, &sndCardOutput);
//启动这个链
returnValue = chain.start();
//这里添加等待停止的代码
//停止
returnValue = chain.stop();
rtpSession.Destroy();
要想运行这个程序，需要我们的编译器可以找到jrtplib.lib,jrtplib.lib,emiplib.lib 以及 这些lib导出符号需要的一些.H文件。比较好的方法是，把它们分别放到相应目录中，在vc目录中设置。另外，还需要在lib中添加 ws2_32.lib, winmm.lib 。运行时库选项统一为"/MTd" 。其它的问题，可能还需要你在忽略库列表中把一些冲突的库加上,比如libc.lib、libcmt.lib、msvcrt.lib、libcd.lib、msvcrtd.lib ...
源代码中没有给你提供上面所说的那个wav文件，你需要自己找一个。
能听到那个XXX.wav的声音了，大功告成。
第三步：一些介绍
我们来大体了解一下EMIPLIB，以及怎么使用它。
为了提供一个灵活性比较好的框架，此库德目的是建立一些列相关的小组件，每个组件提供一些特定的工作，如音频取样，写音频到文件或者传输音频包等等。这些组件可以放置到一个chain(链)中，在这个链上，这些组件可以相互通信。这样，（按照需求）通过连接这些组件到一条链上，可以建立复杂的引用程序。
另外，EMIPLIB为了大家使用方便也提供了一些更高级的类，它们包装好了一些常用的功能，给我们更好的interface。比如上面hello world中的那一串的定义，初始化，貌似都差不多的chain，MIPAudioSession类都给我们包装好了。如果这些功能已经提供了足够的功能，使用它们就好了，如果你有特殊的要求，你也可以像上面例子一样，自己写那一堆组件，按照你的思路让他们工作。
大部分可以放到 MIPComponentChain上的组件都派生自MIPComponent类。我们需要作的工作就是从这些派生类里面选择合适的组件，把它们放在一个chain上面，它就可以开始工作了。即使不使用EMIPLIB提供给我们的包装类，这些工作也不会很繁琐。比较详细的描述，大家可以参考EMIPLIB主页上的Library core部分。
第四步：一个语音会议的demo
最后我们来做一个局域网的语音会议的demo，也算做个入门结业。
我们的语音会议的demo设计为这样：没有服务器，会议中每一方都可以listen来自局域网的声音，也可以往自己的列表中添加目标位置，向它(们)发送你的语音。
这样要完成一个三人的对话，我们需要三方都打开listen，并且添加另外两个人的地址，发送自己的声音。
我们开两个独立的线程，一个负责在端口12000接受来自局域网的声音，一个负责往发送列表中的目的地发送本地语音。
之前我们的例子中只是在本地做了一个wav文件的播放，我们需要解决另外几个问题：得到声卡输入、如何向目的地发送RTP、如何接收RTP。
第一个问题比较好解决，我们仿照例子中声卡播放使用的对象，找到了这个类：MIPWAVInput，把它放在某个chain的最开始处，我们就可以得到声音的输入了。
代码类似于下面：
MIPWinMMInput sndCardInput;
bool returnValue;
int samplingRate = 8000;
int numChannels = 1;
returnValue=sndCardInput.open(samplingRate,numChannels,interval,buffertime,false);
在初始化chain时候：
chain.setChainStart(&sndCardInput);
就可以了。
RTP的发送和接收主要是对于RTPsession的参数设置。接收端代码我们设置端口为监听端口，发送端SetPortbase(portBase)为发送端口，而在RTPSession::AddDestination函数中端口使用目的地的监听端口;
我们的发送语音的线程大致是这样的：
DWORD WINAPI WorkerThread(LPVOID lpParameter)
{
IpAddrList *ipl=(IpAddrList*)lpParameter; //把目的列表传过来鸟
WSADATA dat;
WSAStartup(MAKEWORD(2,2),&dat);
MIPTime interval(0.020); // We'll use 20 millisecond intervals.
MIPTime buffertime(10);
MIPAverageTimer timer(interval);
MIPWAVInput sndFileInput;
MIPSamplingRateConverter sampConv;
MIPSampleEncoder sampEnc;
MIPULawEncoder uLawEnc;
MIPRTPULawEncoder rtpEnc;
MIPRTPComponent rtpComp;
MIPWinMMInput sndCardInput;
MIPWinMMOutput sndCardOutput;
MyChain chain("MPVC");
RTPSession rtpSession;
bool returnValue;
int samplingRate = 8000;
int numChannels = 1;
//We'll start microphone
returnValue=sndCardInput.open(samplingRate,numChannels,interval,buffertime,false);
returnValue = sampEnc.init(MIPRAWAUDIOMESSAGE_TYPE_S16);
returnValue = uLawEnc.init();
returnValue = rtpEnc.init();
RTPUDPv4TransmissionParams transmissionParams;
RTPSessionParams sessionParams;
int portBase = BASEPORT_SEND;
int status;
transmissionParams.SetPortbase(portBase);
sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
sessionParams.SetMaximumPacketSize(64000);
status = rtpSession.Create(sessionParams,&transmissionParams);
for(int i=0;i<ipl->count;i++) //这个for是从一个列表中读目的地址，大家可以自己按自己的要求实现，几个目的地就调用几个AddDestination。
{
status = rtpSession.AddDestination(RTPIPv4Address(ntohl(inet_addr(ipl->ipaddr[i])),BASEPORT_LISTEN));
}
returnValue = rtpComp.init(&rtpSession);
returnValue = chain.setChainStart(&sndCardInput);
returnValue = chain.addConnection(&sndCardInput, &sampEnc);
returnValue = chain.addConnection(&sampEnc, &uLawEnc);
returnValue = chain.addConnection(&uLawEnc, &rtpEnc);
returnValue = chain.addConnection(&rtpEnc, &rtpComp);
returnValue = chain.start();
while(stop_f)
{
Sleep(SLEEP_TIME);
}
rtpSession.BYEDestroy(RTPTime(10,0),0,0);
returnValue = chain.stop();
rtpSession.Destroy();
WSACleanup();
return 0;
}
listen端的代码类似下面：
DWORD WINAPI WorkerThread_Listen(LPVOID lpParameter)
{
WSADATA dat;
WSAStartup(MAKEWORD(2,2),&dat);
MIPTime interval(0.020); // We'll use 20 millisecond intervals.
MIPTime buffertime(10);
MIPAverageTimer timer(interval);
MIPWAVInput sndFileInput;
MIPSamplingRateConverter sampConv, sampConv2;
MIPSampleEncoder sampEnc, sampEnc2, sampEnc3;
MIPULawEncoder uLawEnc;
MIPRTPULawEncoder rtpEnc;
MIPRTPComponent rtpComp;
MIPRTPDecoder rtpDec;
MIPRTPULawDecoder rtpULawDec;
MIPULawDecoder uLawDec;
MIPAudioMixer mixer;
MIPWinMMOutput sndCardOutput;
MyChain chain("MPVClisten");
RTPSession rtpSession;
bool returnValue;
int samplingRate = 8000;
int numChannels = 1;
RTPUDPv4TransmissionParams transmissionParams;
RTPSessionParams sessionParams;
int portBase = BASEPORT_LISTEN;
int status;
transmissionParams.SetPortbase(portBase);
sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
sessionParams.SetMaximumPacketSize(64000);
status = rtpSession.Create(sessionParams,&transmissionParams);
returnValue = rtpComp.init(&rtpSession);
returnValue = rtpDec.init(true, 0, &rtpSession);
returnValue = rtpDec.setPacketDecoder(0,&rtpULawDec);
returnValue = uLawDec.init();
returnValue = sampEnc2.init(MIPRAWAUDIOMESSAGE_TYPE_FLOAT);
returnValue = sampConv2.init(samplingRate, numChannels);
returnValue = mixer.init(samplingRate, numChannels, interval);
returnValue = sndCardOutput.open(samplingRate, numChannels, interval);
returnValue = sampEnc3.init(MIPRAWAUDIOMESSAGE_TYPE_S16LE);
returnValue = chain.setChainStart(&timer);
returnValue = chain.addConnection(&timer, &rtpComp);
returnValue = chain.addConnection(&rtpComp, &rtpDec);
returnValue = chain.addConnection(&rtpDec, &uLawDec, true);
returnValue = chain.addConnection(&uLawDec, &sampEnc2, true);
returnValue = chain.addConnection(&sampEnc2, &sampConv2, true);
returnValue = chain.addConnection(&sampConv2, &mixer, true);
returnValue = chain.addConnection(&mixer, &sampEnc3);
returnValue = chain.addConnection(&sampEnc3, &sndCardOutput);
// Start the chain
returnValue = chain.start();
while(lstop_f)
{
Sleep(SLEEP_TIME);
}
rtpSession.BYEDestroy(RTPTime(10,0),0,0);
returnValue = chain.stop();
rtpSession.Destroy();
WSACleanup();
return 0;
}
其他的一些UI方面的事情大家随意吧...
你要是在你的局域网里面已经已经成功实现了一个语音会议demo...呵呵，恭喜你。我的文章就先写到这里。更高级的...等我会了就写。
大家如果在上面这章有什么问题，可以看看 源代码src/sessions目录下的mipaudiosession.cpp，里面有MIPAudioSession类的实现，它对我们理解这个chain很有帮助。
接下来，我要去搞视频了，妈呀~前几天搞了搞QT...现在比较头疼4版本和3版本之间的一些隔阂
本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/arden1019/archive/2007/03/26/1541555.aspx