爬虫小测验

梁斌组织的爬虫大会的小测验：

1）下面哪种方式可以让爬虫合理、合法地抓取当日尽可能多的数据？

A. 通过漏洞进入他人计算机系统，把数据库dump出来。

B. 用大量低频关键词在目标站点上搜索，获得当日更全数据。

C. 找到热门的hub页，热门的话题，热门的账号，获取当日更全数据。

D. 用热门关键词在百度等搜索引擎上，用site:www.website.com

+ 关键词 查询，从而发现新数据

2）以下所列出的方法中，浏览器web数据抓取效率最高的方法是？

A. selenium + phantomjs

B. 使用chrome或者chrome内核抓取

C. 模拟web协议直接用wget或curl抓取

3）下面哪项是手机端抓取app数据相比web端的优势（多选）：

A. 手机端协议简单容易分析

B. 手机端可以使用模拟点击

C. 手机端就算出新版了旧版还是可以继续使用，不会立即停掉

D. 通常来说，手机端抓取同样信息量的数据，下载量更低

4）下面哪些代理支持rawsocket连接（多选）？

A. HTTP代理

B. HTTPS代理

C. SOCKS4代理

D. SOCKS5代理

5）下面代码请求实际访问地址url是什么？

url = "https://test.cn/test"

params = {

   "xxxx":"1234"

}

headers = {

   "Host": "www.test.cn",

   "Accept-Encoding": "gzip,deflate",

   "Connection": "Keep-Alive"

}

requests.get(url, params, headers =headers, allow_redirects = False,

verify = False)

假设http://test.cn/test?xxxx=1234返回的状态码302且response header里有Location:http://www.test.cn/dpool/ttt/domain.php?d=test&xxxx=1234

A. https://test.cn/test

B. https://test.cn/test?xxxx=1234

C. https://www.test.cn/test?xxxx=1234

D.http://www.test.cn/dpool/ttt/domain.php?d=test&xxxx=1234

6）假如你要爬大量youtube视频的二进制内容，存储在本地，最佳的办法是？

A. Mysql数据库存储

B. Redis存储

C. Mongodb存储

D. 文件系统

7）如果想爬自己手机应用上的HTTPS的数据，获得明文，下面哪个说法是正确的？

A. 自己搭建一个HTTPS代理，让手机设置为这个代理，即可获得明文

B. 任何HTTPS明文都是可以获取的

C. 在PC上建立一个无线热点，让手机连这个热点，并使用Wireshare软件分析出HTTPS的明文数据

D. 通过让手机系统信任根证书，使用Man-in-the-middle中间人攻击技术，就可以获取任何HTTPS明文

8）以下哪个功能chromedriver协议不支持？

A. 注入js文件

B. 模拟鼠标滑动

C. 网络请求的响应式处理

D. 同个实例可以同时操作多个页面

9）爬取数据过程中，哪个情况是最不可容忍的？

A. 爬取的数据不完整，有部分数据遗失

B. 爬取程序非法关闭，内存泄露

C. 爬取的数据部分出错，手动修改

D. 不同版本的数据合并在一起

10）爬虫开发不会涉及到的技术或者知识有？

A. tcp，udp传输协议

B. 反汇编技术

C. 数据库存储

D. 音视频流解析

E. 网络路由协议

F. 以上都会涉及