【实习】暑期实习之python笔试题（一）

近期忙于找一个暑期实习的公司，无奈个人水平实在太水，合适的公司也不是很多，笔试题目也积累了一些，整理一下好了。

公司 A

题目一:编写一个脚本main.py，使用方式如下：

main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html

功能要求：打开-u指定的页面，将页面中所有的链接后面增加参数a=1&b=2&c=3(需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。

 

题目二:编写一个 ab(Apache Benchmark)的替代程序,请尽可能的兼容 ab 你所认为重要的功能和参数。

 

题目三:

有配置文件有类似下面的配置:

http://m.sohu.com/c/5/|财经|200

http://m.sohu.com/|体育|200

http://m.sohu.com/n/346620805/|信号|200

 

编写一个脚本，要求如下：

1. 读取配置文件，对每一个url进行检查.

   例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字，并且HTTP状态码是200, 否则报错。

2. 需支持并行的检查多个链接

 

Solutions:

我选做的是第一题和第三题。

第一题不难，主要解决的是打开某个url并遍历其中的所有链接，以前写爬虫的时候搞过这些东西就比较简单了，同时也涉及到了基本的I/O操作，考的还是比较基本的吧。比较生疏的是命令行参数问题，平时用的比较多但是自己貌似没实现过，趁这个机会也看了一下有关的问题，不过鉴于问题比较简单我就用了getopt解决了，其实有可以实现更加复杂的命令行参数的方法的。

有关的连接可以看一下这里： http://blog.csdn.net/jiang1013nan/article/details/5854378

代码如下：

 1 # _*_ coding: utf-8 _*_
 2 '''
 3 题目一:编写一个脚本main.py，使用方式如下：
 4 main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html
 5 功能要求：打开-u指定的页面，将页面中所有的链接后面增加参数a=1&b=2&c=3
 6 (需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。
 7 '''
 8 import urllib2
 9 import re
10 import sys,getopt
11 opts, args = getopt.getopt(sys.argv[1:],'hu:d:o:')
12 
13 def Tryurlopen(url,d,o):
14     d = getd(d)
15     patterns = re.compile('<a\s(?:.*?\s)*?href=[\'"](.*?)[\'"].*?>')
16     f = urllib2.urlopen(url)
17     contents = f.read()
18     m = re.findall(patterns, contents)
19     file = open(o,'w')
20     for ele in m:
21         #print ele
22         if '&' in ele or '?' in ele: #url后面有参数
23             ele += '&' + d
24         elif ele[-1:] == '/':
25             ele += d
26         else:
27             ele += '/' + d
28         file.writelines(ele + '\n')
29     file.close()
30 
31 def getd(d):
32     changeresult = ''
33     dtest = d.split(',')
34     for dele in dtest:
35         changeresult += dele + '&'
36     changeresult = changeresult[:-1]
37     return changeresult
38 
39 def main(argv):#利用getop模块实现基本的命令行参数处理
40     url = ''
41     d = ''
42     orietion = ''
43     for op, value in opts:
44         if op =='-u':
45             url = value
46         elif op == '-d':
47             d = value
48         elif op == '-o':
49             orietion = value
50 
51     Tryurlopen(url,d,orietion)
52 
53 if __name__ == '__main__':
54     main(sys.argv)
55 
56     

第二题时间原因我没有做，只是大体的了解了一下，有兴趣的同学可以参考一下的链接：

http://blog.csdn.net/jhonguy/article/details/7576155

第三题考察的有基本的I\O操作，对获得的URL内容的处理，返回的HTTP状态码可以分析header解决，以及用多线程读取同一文件，涉及到了锁与同步的问题，也没有特别偏的东西吧，看来公司都是比较注重基础知识的，唉自己基础这么不扎实怎么办，还要继续努力呀。

代码如下：

  1 # _*_ coding: utf-8 _*_
  2 '''
  3 题目三:
  4 有配置文件有类似下面的配置:
  5 http://m.sohu.com/c/5/|财经|200
  6 http://m.sohu.com/|体育|200
  7 http://m.sohu.com/n/346620805/|信号|200
  8 
  9 编写一个脚本，要求如下：
 10 1. 读取配置文件，对每一个url进行检查.
 11    例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字，并且HTTP状态码是200, 否则报错。
 12 2. 需支持并行的检查多个链接 
 13 
 14 '''
 15 import re
 16 import urllib2
 17 import threading
 18 from os.path import getsize
 19 import os,time
 20 rlock = threading.RLock() #锁
 21 curPosition = 0 #当前读取到的文件位置
 22 '''设计检查url的函数（完成）'''
 23 def TestUrl(line):
 24 
 25     m = line.split('|')
 26     url = m[0]
 27     tag = m[1]
 28     #print  tag
 29     f = urllib2.urlopen(url)
 30     statuscode = f.getcode()
 31     contents = f.read()
 32     if tag in contents and statuscode == 200:
 33         print 'The url %s is true'   %url
 34     else:
 35         print 'The url %s is wrong.' %url
 36 
 37 
 38 ''' 设计支持并行连接的程序'''
 39 
 40 class Resource(object):
 41     def __init__(self, fileName):
 42         self.fileName = fileName
 43         #分块大小
 44         self.blockSize = 1000
 45         self.getFileSize()
 46     #计算文件大小
 47     def getFileSize(self): #获取文件有多少行，即多少个url
 48         fstream = open(self.fileName,'r')
 49         fstream.seek(0,os.SEEK_END)
 50         self.fileSize = fstream.tell()
 51         fstream.close()
 52 
 53 class Reader(threading.Thread):
 54     def __init__(self, res):
 55         self.res = res
 56         super(Reader,self).__init__()
 57     def run(self):
 58         global curPosition
 59         fstream = open(self.res.fileName, 'r')
 60         while True:
 61             #锁定共享资源
 62             rlock.acquire()
 63             startPosition = curPosition
 64             if (startPosition + self.res.blockSize) < self.res.fileSize:
 65                 curPosition = endPosition = (startPosition + self.res.blockSize) 
 66             else:
 67                 curPosition = endPosition = self.res.fileSize
 68             #释放股共享资源
 69             rlock.release()
 70             if startPosition == self.res.fileSize:
 71                 break
 72             elif startPosition != 0:
 73                 fstream.seek(startPosition)
 74                 fstream.readline()
 75             pos = fstream.tell()
 76 
 77             while pos < endPosition:
 78                 line = fstream.readline()
 79                 #处理line
 80                 TestUrl(line)
 81                 pos = fstream.tell()
 82             fstream.close()
 83 
 84 
 85 
 86 if __name__ == '__main__':
 87     starttime = time.clock()
 88     #线程数
 89     threadNum = 4
 90     #文件
 91     fileName = '/Users/gixiaochen/Documents/config.log'
 92     res = Resource(fileName)
 93     #线程池
 94     threads = []
 95     #初始化线程
 96     for i in range(threadNum):
 97         rdr = Reader(res)
 98         threads.append(rdr)
 99     #开始线程
100     for i in range(threadNum):
101         threads[i].start()
102     #线程结束
103     for i in range(threadNum):
104         threads[i].join()

找实习的一点感受：

1. 扎实的基础知识+某一方面的特长才能有好的offer

2. 不管找不找得到，准备工作的同学都应该尽力去找，感觉找实习的时候自己提高的很多，多投几个公司多笔试面试几次，就会发现很多自己觉得不重要的东西还是很有必要牢牢掌握的，以前偷懒丢下的东西，以后都要一个个的捡起来。

3. 找实习的渠道很重要，我在微博上找了几个公司发了邮件去问基本上都收到回复了，时效性比较强。大街网上一堆HR很感兴趣的投递都没什么反馈，还是要转变思路吧。