用awk下载YouTube视频

    上次用gawk搭配curl实现了下载优酷视频 ，相比较而言，YouTube 虽然影响要大于优酷 ，但从程序的实做而言，YouTube要简单的多。

    程序依然是读取需要下载的列表文件tube，格式应该是这样：



     在Cygwin下运行看起来是这样的：

      下面是代码：

1. #! /usr/local/bin/gawk -f
3. ################################################################################
4. #一个从youtube上下载flash视频的程序
5. #
6. #Author: ChangHailong
7. #E-mail: hailongchang@163.com
8. #
9. #Date: 2008/10/11
10. ################################################################################
11. BEGIN{
12.     BINMODE = 3
13. }
14. {
15.     filename = $2
17.     vid = parse_url($1)
18.     get_vid_info(vid,VID_INFO)
19.     download_video(VID_INFO[ "request" ],filename)
20.     print  "/nthe "  NR  " file has been downloaded/n"
21. }
22. ################################################################################
23. #parse_url(url)用来从输入的网址信息中提取我们关心的信息
24. #url通常具有类似下面这样的形式：http://www.youtube.com/watch?v=vkDAKke56n
25. #这个函数就是能够将视频信息vkDAKke56n网址中提取出来
26. ################################################################################
27. function parse_url(url)
28. {
29.     gsub(/http:/// //,"",url)
30.     gsub(/www/./, "" ,url)
31.     gsub(/youtube/.com//watch/?v=/, "" ,url)
32.     
33.      if ((p = index(url, "&" )) > 0)
34.     url = substr(url, 1, p-1)
35.      return  url
36. }
37. ################################################################################
38. #
39. ################################################################################
40. function get_vid_info(vid, VID_INFO)
41. {
42.     InetFile =  "/inet/tcp/0/www.youtube.com/80"
43.     Request =  "GET /watch?v="  vid  " HTTP/1.1/r/n"
44.     Request = Request  "Host: www.youtube.com/r/n/r/n"
46.     print Request |& InetFile
48.      while ((InetFile |& getline) >0)
49.     {
50.         if  (match($0, / "video_id" :  "([^" ]+) ".+" t ": " ([^ "]+)" /, info_matches)) 
51.        {
52.             VID_INFO[ "request" ] =  "video_id="  info_matches[1]  "&t="  info_matches[2]
53.             close(InetFile)
54.              return
55.        }
56.         else
57.         continue
58.     }
59.    close(InetFile)
60.     return
61. }
62. ################################################################################
63. function get_header_info(Inet,Request,HEADER_INFO)
64. {
65.      delete  HEADER_INFO
66.     OLD_RS=RS
68.     print Request |& InetFile
69.      if  (Inet |& getline > 0) 
70.     {
71.         HEADER_INFO[ "_status" ] = $2
72.     }
73.      else  
74.     {
75.         print  "I can not redirect net address for you. Quitting!"
76.         exit 1
77.     }
79.     RS= "/r/n"
81.      while  ((Inet |& getline) > 0) 
82.     {
83.          if  (match($0, /([^:]+): (.+)/, matches)) 
84.     {
85.             HEADER_INFO[matches[1]] = matches[2]
86.         }
87.          else  
88.     { 
89.          break  
90.     }
91.     }
92.     RS = OLD_RS
93. }
94. ################################################################################
95. function download_video(req,filename)
96. {
97.     InetFile =  "/inet/tcp/0/www.youtube.com/80"
98.     Request =  "GET /get_video?"  req  " HTTP/1.1/r/n"
99.     Request = Request  "Host: www.youtube.com/r/n/r/n"
101. #    RS=OLD_RS
102.     Loop = 0
103.      do
104.     {
105.     get_header_info(InetFile,Request,HEADER_INFO)
106.      if  ( "Location"  in HEADER_INFO) 
107.     { 
108.         #close www.youtube.com
109.             close(InetFile)
111.             parse_location(HEADER_INFO[ "Location" ], GOOGLE_VIDEO)
112.             InetFile = GOOGLE_VIDEO[ "InetFile" ]
113.             Request  =  "GET "  GOOGLE_VIDEO[ "Request" ]  " HTTP/1.1/r/n"
114.             Request  = Request  "Host: "  GOOGLE_VIDEO[ "Host" ]  "/r/n/r/n"
116.              if  (InetFile ==  "" ) 
117.         {
118.                 print  "I can not download flv for you, please check your vid"
119.                  return
120.             }       
121.         }
122.     Loop++
123.     } while  (( "Location"  in HEADER_INFO) && Loop < 5)
125.     filename=filename ".flv"
126.     save_file(InetFile,filename,HEADER_INFO)
128.     close(InetFile)
129.      return
130. }
131. ################################################################################
133. function parse_location(location, GOOGLE_VIDEO) {
134.      if  (match(location, /http:////([^//]+)(//.+)/, mat)) {
135.         GOOGLE_VIDEO[ "InetFile" ] =  "/inet/tcp/0/"  mat[1]  "/80"
136.         GOOGLE_VIDEO[ "Host" ]     = mat[1]
137.     GOOGLE_VIDEO[ "Request" ]  = mat[2]
138.     }
139.      else  {
140.         GOOGLE_VIDEO[ "InetFile" ] =  ""
141.         GOOGLE_VIDEO[ "Host" ]     =  ""
142.         GOOGLE_VIDEO[ "Request" ]  =  ""
143.     }
144. }
145. ################################################################################
146. function save_file(InetFile,filename,HEADER_INFO)
147. {
148.     OLD_RS  = RS
149.     OLD_ORS = ORS
150.     ORS =  ""
152.     print  ""  > filename
153.     RS =  "@"
154.     has_read = 0
155.     printf( "The %d flv file has %10d bytes. I have downloaded:            bytes" ,NR,HEADER_INFO[ "Content-Length" ]);
156.     printf( " /b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b" );
157.      while  ((InetFile |& getline) > 0)
158.     {
159.     has_read += length($0 RT)
160.     printf( "%10d/b/b/b/b/b/b/b/b/b/b" ,has_read)
161.     print $0 RT >> filename
162.     }
163.     printf( "%10d/b/b/b/b/b/b/b/b/b/b" ,has_read)
164.     RS  = OLD_RS
165.     ORS = OLD_ORS
167.      return
168. }
169. ################################################################################