读pcap文件，bcp入库，一个小项目的备忘录

数据量很大，每天几十G的pcap文件。思路是这样的：读出pcap文件中的数据，拼成字符串，写到文件里，用bcp方式入库。库是sql server。

遇到的问题：

1。读pcap文件。Pcap文件中包含客户端用udp方式发送出的数据。用到SharpPcap。代码不贴了，链接的地址上有很详细的例子。读出的每个包中，前42个字节不是数据，应该是地址等乱七八糟的东西，这之后才是用udp发出的数据。读出的字节需要转换成别的数据类型的时候，用BitConverter.ToUInt16之类的方式。如果是包含中文的字符串，可以用Encoding.UTF8.GetString得到字符串。注意算好各种数据类型的长度。

2.  写bcp方式入库的文件。开始的时候用StreamWriter直接写文件，导入到库里中文都是乱码。换成BinaryWriter w=new BinaryWriter(fs,Encoding.Default)，Encoding.Default.GetBytes(decodedStr)，问题解决。

3.  Bcp的设置。数据库配置：

View Code

   
     

    
      EXEC
    
       sp_configure 
    
      '
    
      show advanced options
    
      '
    
      , 
    
      1
    
       

    
      go
    
      

    
      RECONFIGURE
    
       

    
      go
    
      
sp_configure xp_cmdshell,
    
      1
    
      

    
      go
    
      

    
      RECONFIGURE
    
       

    
      Go
   
     

导入的sql

  
    

   
     --
   
     导出格式文件
   
     

   
     EXEC
   
      master..xp_cmdshell 

   
     '
   
     BCP test..t format nul -f G:\t.fmt -c -T
   
     '
   
     

   
     --
   
     导入数据
   
     

   
     EXEC
   
      master..xp_cmdshell 

   
     '
   
     BCP test..tt in G:\test.dat -T -c -f G:\t.fmt -T
   
     '
  
    

-c表示用\t表示数据元素之间的分隔，\r\n表示一行的结束。

在本机（t510i）上测试，40秒可以导入2m条数据。

Bulk insert比bcp慢的多。