基于wince的网络音视频通信(简单易明版)

由于这个学期的期末将至，因此期末大作业也要开始做了。这次做的是N个月前就做过的网络音视频通信，不过这次做了不少改进。
   在这里，先要感谢一下 MacintoshM 大侠，他的帖子给我提供了最原始的源代码，我现在的代码也是在他代码的基础上做出修改的。
OK，现在进入主题，先来介绍一下这个东东：

•    下位机为 mini2440 ，其操作系统是WINCE 5.0，需要在下位机上插入USB摄像头（中星微301，驱动为15分钟限制版），以及插入麦克风耳机；
•    上位机为普通的PC，需要插入麦克风耳机；
•    上位机和下位机的开发环境为Visual Studio 2005。

接下来，说说这个东东的功能，和工作原理：

• 网络视频传输，首先把mini2440与USB摄像头连接在一起，通过USB摄像头捕捉图像(320 x 240，15fps)，然后通过UDP协议发送至PC端，在PC屏幕上以15fps的速度显示。
• 网络音频传输，首先在mini2440和PC上都插入麦克风耳机，两者都同时录音，并以G.726编码，然后把压缩包通过UDP协议发送至对方，而在录音的同时，也对来自对方的压缩包用G.726解码，然后再在耳机播放音频。

最后，说说这个版本相对于以前的改进：

• 把以前的RTP改为UDP，实践证明，在这个系统中，用UDP的效率会比RTP好，毕竟不需要用到RTP的流量监测等高级功能，仅仅能通信就行了；
• 以前版本基于100M网卡，现在支持10M网卡了，在100M网卡的机器上，可以直接把JPEG图片发过去，但是，在10M的网卡是，每次数据包最大为1440比特，因此要兼容10M网卡，就需要把图像分割成多个1440大小的数据包，分别发送了。

源代码可以到这里下载（2008.12.01才可以下载）：
http://download.csdn.net/user/hellogv
网络音视频通信

下面说说关键的源代码：
以下是WINCE部分的代码

1. #pragma once
2. #include "winsock2.h"
3. //RTP支持
4. #include "..\UDP\UDP.h"
6. //音频支持
7. #include "WaveIn.h"
8. #include "WaveOut.h"
10. //G726支持
11. #include "g726.h"
13. //摄像头支持
14. #include ".\video\\zc030xlib.h"
16. #define Video_Width 320 //视频宽度
17. #define Video_Height 240 //视频长度
18. #define AudioData_Size 960  //每块音频数据包的大小
19. #define Compr_AudioData_Size 120  //压缩后音频块的大小
22. //音频输入输出变量
23. CWaveIn *g_pIn;
24. CWaveOut *g_pOut;   
25. char pin[AudioData_Size],pout[Compr_AudioData_Size];
26. char waveout[AudioData_Size];
27. //摄像头输入变量
28. DWORD dwSize;
29. DWORD dwJpg;
30. DWORD dwRtnSize[2];/* 0 - for bmp, 1 - for jpeg */
31. LPBYTE lpFrameBuffer;
32. LPBYTE lpJpgBuffer ;
33. //控制变量
34. bool isCameraEnabled;
35. //UDP
36. CUDP_CE m_CEUdp;
38. class AVClass
39. {
40. public:
42.     //=====================================================================
43.     //  语法格式：   void InitAV(CWnd * p)
44.     //  实现功能：   初始化音频和视频，用于录音、播放音频，以及播放视频
45.     //  参数：     p为窗口类指针
46.     //  返回值：    无
47.     //=====================================================================
48.     void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
49.     {
51.        //-----------------------初始化UDP-----------------------//
52.        m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
53.        DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
54.        if (nResult <=0) 
55.        {
56.            AfxMessageBox(_T("打开端口失败"));
57.            return;
58.        }
60.         //------------------------控制变量-----------------------//
61.         isCameraEnabled=false;
62.         //-------------------------视频--------------------------//
63.         int i = capInitCamera();
64.         dwSize = 320 * 240 * 3;
65.         dwJpg = 40960;
66.         lpFrameBuffer = (LPBYTE) malloc (dwSize);   
67.         lpJpgBuffer = (LPBYTE) malloc (dwJpg);
68.         if(i<=0)
69.         {
70.             //::MessageBox(NULL, L"Init camera error ", L"Notice", 0);
71.             goto video_error;//出错，释放空间
72.         }
73.         if (0 != capSetVideoFormat(0, VIDEO_PALETTE_RGB24, VIDEO_SIZE_SIF))
74.         {
75.             //::MessageBox(NULL, L"SetVideoFormat error ", L"Notice", 0);
76.             goto video_error;//出错，释放空间
77.         }
79.         if (capStartCamera(0) != 0) 
80.         {
81.             //::MessageBox(NULL, L"StartCamera error ", L"Notice", 0);
82.             capStopCamera(0);
83.             goto video_error;//出错，释放空间
84.         }
85.         //没出错，进行视频(控制状态)、音频设置
86.         isCameraEnabled=true;
87.         goto audio;
88. video_error:    
89.         free (lpFrameBuffer);
90.         lpFrameBuffer = NULL;
91.         free (lpJpgBuffer);
92.         lpJpgBuffer = NULL;
93.         //-------------------------音频--------------------------//
94. audio:  
95.         g_pOut = new CWaveOut();
96.         g_pIn = new CWaveIn();
97.         g_pOut->StartPlay();
98.         g_pIn->StartRec(OnRecCapAndSend,(DWORD)p);
99.         
101.     }
103.     //=====================================================================
104.     //  语法格式：   void FreeAV()
105.     //  实现功能：   释放音频、视频
106.     //  参数：     无
107.     //  返回值：    无
108.     //=====================================================================
109.     void FreeAV()
110.     {
111.         //-------------------------视频--------------------------//
112.         if(isCameraEnabled)
113.             capStopCamera(0);
114.         //-------------------------音频--------------------------//
115.         g_pOut->StopPlay();
116.         g_pIn->StopRec();
117.         delete g_pOut;
118.         delete g_pIn;
119.         //------------------------UDP------------------------//
120.         m_CEUdp.Close();
121.     }
125.     //=====================================================================
126.     //  语法格式：   void RecAndPlay(WPARAM wParam,LPARAM lParam)
127.     //  实现功能：   接收网络传来的音频，以及播放
128.     //  参数：     wParam,表示数据；lParam，表示数据长度
129.     //  返回值：    无
130.     //=====================================================================
131.     static void CALLBACK OnUdpCERecv(CWnd * pWnd,char* buf,int nLen,sockaddr * addr)
132.     {
133.         g726_Decode(buf,(unsigned char*)waveout);
134.         
135.         g_pOut->Play(waveout,AudioData_Size);
136.     }
139.     //=====================================================================
140.     //  语法格式：   static void OnRecCapAndSend(char *data,int length,DWORD userdata)
141.     //  实现功能：   录音,摄像并且发送
142.     //  参数：     data表示数据,length表示数据长度,userdata暂时没用
143.     //  返回值：    无
144.     //=====================================f================================
145.     static void OnRecCapAndSend(char *data,int length,DWORD userdata)
146.     {
147.         //-------------------------音频--------------------------//
148.         memcpy(pin,g_pIn->buffer,AudioData_Size);   
149.         g726_Encode((unsigned char*)pin,pout);
150.         m_CEUdp.SendData(pout,Compr_AudioData_Size);
152.         //-------------------------视频--------------------------//
153.         if(isCameraEnabled==false)//如果程序不能用摄像头
154.             return;
155.         Sleep(15);
156.         int index=0;
157.         memset(lpFrameBuffer, 0, dwSize);
158.         memset(lpJpgBuffer, 0, dwJpg);
159.         dwRtnSize[0] = dwRtnSize[1] = 0;
160.         if (capGetPicture(index, lpFrameBuffer, dwSize, lpJpgBuffer, dwJpg, dwRtnSize) == 0)
161.         {
162.             /// m_CEUdp.SendData((const char *)lpJpgBuffer,dwRtnSize[1]);
163.             char tmp[1440];
164.             int tmp_i=0;
165.             for(int i=0;i<dwRtnSize[1];i++)
166.             {
167.                 tmp[tmp_i]=lpJpgBuffer[i];
168.                 tmp_i++;
169.                 if(tmp_i==1440)
170.                 {
171.                     m_CEUdp.SendData(tmp,1440);
172.                     tmp_i=0;
173.                     
174.                 }
175.                 else if(i==dwRtnSize[1]-1)
176.                 {
177.     m_CEUdp.SendData(tmp,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);
178.                     tmp_i=0;
179.                 }
180.             }
181.         }
182.     }
183. };

以下是PC部分的关键代码

1. #pragma once
2. #include "winsock2.h"
4. //UDP支持
5. #include "..\UDP\UDP.h"
7. //音频支持
8. #include "WaveIn.h"
9. #include "waveout.h"
11. //G726支持
12. #include "g726.h"
14. //视频支持
15. #include "Gdiplus.h"
16. using namespace Gdiplus; 
19. #define VideoData_Size 1440 //每块视频数据包的大小
20. #define Video_Width 320 //视频宽度
21. #define Video_Height 240 //视频长度
22. #define AudioData_Size 960  //每块音频数据包的大小
23. #define Compr_AudioData_Size 120  //压缩后音频块的大小
26. //音频输入输出变量
27. CWaveIn *g_pIn;
28. CWaveOut *g_pOut;   
29. char pin[AudioData_Size],pout[Compr_AudioData_Size];
30. char wave_data[AudioData_Size];
32. //UDP变量
33. CUDP_CE m_CEUdp;
36. //视频输入变量
37. GdiplusStartupInput m_gdiPlusInPut;
38. ULONG_PTR m_gdiPlusToken;
39. char video_data[Video_Width*Video_Height];
40. int index;//视频数据当前索引
41. class AVClass
42. {
43. private:
44.     
45. public:
46.   //=====================================================================
47.     //  语法格式：   void InitAV(CWnd * p)
48.     //  实现功能：   初始化音频和视频，用于录音、播放音频，以及播放视频
49.     //  参数：     p为窗口类指针
50.     //  返回值：    无
51.     //=====================================================================
52.     void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
53.     {
54.         //-------------------------UDP连接--------------------------//
55.         m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
56.         DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
57.         if (nResult <=0) 
58.         {
59.             AfxMessageBox(_T("打开端口失败"));
60.             return;
61.         }
63.         //-------------------------音频--------------------------//
64.         g_pOut = new CWaveOut();
65.         g_pIn = new CWaveIn();
66.         g_pOut->StartPlay();
67.         g_pIn->StartRec(OnRecording,(DWORD)p);  
68.         //-------------------------视频--------------------------//
69.         GdiplusStartup( &m_gdiPlusToken, &m_gdiPlusInPut, NULL ); //初始化GDI+ 
70.         memset(video_data,0,Video_Width*Video_Height);
71.         index=0;
73.     }
75.     //=====================================================================
76.     //  语法格式：   void FreeAV()
77.     //  实现功能：   释放音频、视频
78.     //  参数：     无
79.     //  返回值：    无
80.     //=====================================================================
81.     void FreeAV()
82.     {
83.         
84.         //-------------------------音频--------------------------//
85.         g_pOut->StopPlay();
86.         g_pIn->StopRec();
87.         delete g_pOut;
88.         delete g_pIn;
89.         //-------------------------视频--------------------------//       
90.         GdiplusShutdown(m_gdiPlusToken); //销毁GDI+
92.         //------------------------UDP--------------------------//
93.         m_CEUdp.Close();
95.     }
96.     //=====================================================================
97.     //  语法格式：   void RecAndPlay(WPARAM wParam,LPARAM lParam,HWND hwnd)
98.     //  实现功能：   接收网络传来的音频，以及播放
99.     //  参数：     wParam,表示数据；lParam，表示数据长度；hwnd，表示显示视频的窗口句柄
100.     //  返回值：    无
101.     //=====================================================================
102.      static void CALLBACK OnUdpCERecv(CWnd *pWnd,char* buf,int nLen,sockaddr * addr)
103.      {
104.         /*测试收到的数据大小
105.         
106.         CString tmp;
107.         tmp.Format(L"%d",nLen);
108.         MessageBox(0,tmp,0,0);
109.         return;*/
111.         //-------------------------如果是音频数据--------------------------//
112.         if(nLen==Compr_AudioData_Size)
113.         {
114.             g726_Decode(buf,(unsigned char*)wave_data);
115.             g_pOut->Play(wave_data,AudioData_Size);
116.             return;
117.         }
118.         //-------------------------如果是视频数据--------------------------//
119.       
120.         if(nLen==VideoData_Size)//完整的视频数据块
121.         {
122.             for(int i=0;i<nLen;i++)
123.             {
124.                 video_data[index]=buf[i];
125.                 index++;
126.             }
127.             return;
128.         }
130.         //视频数据块的最后一块
131.         for(int i=0;i<nLen;i++)
132.         {
133.             video_data[index]=buf[i];
134.             index++;
135.         }
137.         //如果JPEG图像特别大，则肯定是出错，则抛弃
138.         if(index>Video_Width*Video_Height)
139.         {
140.             //MessageBox(0,"缓冲区出错","错误信息",0);
141.             return;
142.         }
143.         
144.     
145.         try{
146.             IPicture *pPic;
147.             IStream *pStm ; 
148.             //分配全局存储空间 
149.             HGLOBAL hGlobal=GlobalAlloc(GMEM_MOVEABLE,index);
150.             LPVOID pvData=NULL ;
151.             //锁定分配内存块 
152.             pvData=GlobalLock(hGlobal);
153.             //复制数据包video_data到pvData
154.             memcpy(pvData,video_data,index);
156.             GlobalUnlock(hGlobal);
157.             CreateStreamOnHGlobal(hGlobal,TRUE,&pStm);
159.             ULARGE_INTEGER        pSeek;       
160.             LARGE_INTEGER    dlibMove  ={  0  }  ;  
161.             pStm->Seek(dlibMove,STREAM_SEEK_SET  ,&pSeek);  
162.         //  Sleep(15);
164.             //装入图形文件
165.             if(FAILED(OleLoadPicture(pStm,index,TRUE,IID_IPicture,(LPVOID*)&pPic)))
166.             {//附:如果video_data这个数组包含的图像有错，则OleLoadPicture 容易产生读写内存错误
167.             //  pPic->Release();
168.             //  pStm->Release();
169.                 return ;
170.             }
172.             Image img(pStm,0);
173.             Graphics mGraphics(GetDC(pWnd->m_hWnd));
174.             mGraphics.DrawImage(&img, 0, 0, Video_Width, Video_Height);
175.             img.~Image();//会出错
176.             mGraphics.~Graphics();
177.             pPic->Release();
178.             pStm->Release();
179.         }
180.         catch(CException * e)
181.         {}
182.         memset(video_data,0,Video_Width*Video_Height);
183.         index=0;
184.      }
186.     //=====================================================================
187.     //  语法格式：   static void OnRecording(char *data,int length,DWORD userdata)
188.     //  实现功能：   释放音频
189.     //  参数：     data表示数据,length表示数据长度,userdata暂时没用
190.     //  返回值：    无
191.     //=====================================================================
192.     static void OnRecording(char *data,int length,DWORD userdata)
193.     {
194.         memcpy(pin,g_pIn->buffer,AudioData_Size);   
195.         g726_Encode((unsigned char*)pin,pout);
196.         m_CEUdp.SendData(pout,Compr_AudioData_Size);
197.     }
198. };