网络爬虫课程介绍及网络爬虫是什么

1.1.1知识概述

介绍网络爬虫的课时安排，以及简单介绍当前课程在大数据课程中的重要性。

1.1.2视频详情

1.1.3总结与补充

        无

1.1.4课堂提问与练习

        无

1.1.5习题答案

        无

1.1 网络爬虫是什么1.2.1知识概述

以上数据来源于 百度百科

爬虫又叫网络爬虫，网络蜘蛛，一种运行在互联网上用来获取数据的的自动程序。

l 互联网的数据，有很多，一般都是根据业务需求来的。

n 网页（文字、图片、视频）

n 商品数据

l 怎么获取数据？        

n HTTP协议

n 人的操是通过浏览器的，程序是利用网络请求的相关协议获取数据。

l 自动化，尽可能减少人工的干预。

n 爬虫开发的技术，没有限制的。

python做网络爬虫是非常流行的。

Java 编写爬虫框架。

思考题：某公司要获取京东的数据，也要获取淘宝的数据，又要获取豆瓣上的数据，请问开发一个爬虫程序好？还是多个程序好？

1.2.2视频详情

1.2.3总结与补充

        无

1.2.4课堂提问与练习

        网络爬虫的概念？

1.2.5习题答案

        网络爬虫：又称网络蜘蛛，就是按照一定的规则，运行在计算机上的一段自动化的脚本程序