一语道破爬虫,来揭开爬虫面纱

目录

一、爬虫(网络蜘蛛(Spider))

1.1、是什么:

1.2、学习的原因

1.3、用在地方:

1.4、是否合法:

1.5、后果

案例:

二、应用领域

三、Robots协议

四、抓包

4.1、浏览器抓包

4.2、抓包工具

常见的抓包工具:

五、思维导图总结


一、爬虫(网络蜘蛛(Spider))

1.1、是什么:

网络蜘蛛:互联网是张网,可以在网上走来走去

网络爬虫就是自动的从网络上获取数据的程序【模拟客户端浏览器】

1.2、学习的原因

好吃:有数据才能进行数据分析【大数据分析】

能从网络上爬取什么:浏览网站时所能看见的数据都可以通过爬虫程序保存下来、文字、图片、视频/音频

1.3、用在地方:

数据展示----------将爬取的数据展示到网页或者APP上,比如:百度新闻、今日头条,

数据分析-----------从数据中寻找一些规律,比如:慢慢买(价格对比)、TIOBE排行等

1.4、是否合法:

网络爬虫的约束---------Robots协议、约束网络爬虫程序的速度(一秒发出一千个请求)

1.5、后果

要么封账号要么封ip(换ip----换电脑,网上有ip池,花钱买),严重的坐牢

案例:

爬虫禁区1:

为违法违规组织提供爬虫相关服务 (验证码识别服务贩卖SEO......)

  • 知乎某极验破解者自述被抓 
  • “快啊答题”AI破解验证码服务开发者被判刑
  • 永嘉警方揪出“黑”百度黑客团伙 千扰搜索引擎牟利超七千万元


爬虫禁区2: 个人隐私数据抓取与贩卖

  • 简历大数据公司“5达科技”被一锅端
  • 社保掌上通被下架 用户的信息很容易泄露太不安全了
  • 爬虫为何受关注? 业内: 大数据服务商或因合作方涉套路贷犯罪而被牵连

爬虫禁区3:利用无版权的商业数据获利

  • “车来了”涉嫌偷数据被警方立案
  • 裁判文书网数据竟被售卖: 爬虫程序抓取 或成侵权

二、应用领域

2.1、区分Python与爬虫

Python 不是爬虫,而是一种编程语言。然而,Python 在爬虫领域中有着广泛的应用。许多人选择使用 Python 来编写网络爬虫,因为它有许多强大的库和工具,如 Requests、Beautiful Soup、Scrapy 等,可以帮助开发者轻松地编写和管理爬虫程序。

因此,虽然 Python 本身不是爬虫,但它是一种非常适合用于编写爬虫的编程语言,可以帮助开发者快速、高效地创建各种类型的网络爬虫。

Python

是一种功能强大且灵活的编程语言,因此在各种领域都有广泛的应用。以下是 Python 的一些主要应用领域:

1. Web 开发:Python 可以用于开发 Web 应用程序和网站,常用的 Web 框架包括 Django 和 Flask。

2. 数据科学和机器学习:Python 在数据科学和机器学习领域非常流行,因为有许多强大的库和工具,如 NumPy、Pandas、SciPy、scikit-learn 和 TensorFlow。

3. 自动化和脚本编写:Python 可以用于编写自动化脚本,包括系统管理、文件操作、数据处理等。

4. 科学计算和工程:Python 在科学计算和工程领域有广泛的应用,因为它可以处理复杂的数学计算和科学建模。

5. 游戏开发:Python 可以用于开发游戏,有一些流行的游戏引擎如 Pygame 和 Panda3D。

6. 网络编程:Python 在网络编程方面有着良好的支持,可以用于开发网络应用和服务器端程序。

7. 数据库:Python 有许多库可以用于与各种数据库进行交互,如 MySQL、PostgreSQL 和 MongoDB。

8. GUI 应用程序:Python 可以用于开发图形用户界面(GUI)应用程序,如使用 Tkinter、PyQt 和 wxPython 等库。

总的来说,Python 在各种领域都有广泛的应用,因此是一种非常流行的编程语言。

爬虫:
1. 搜索引擎:爬虫被用于搜索引擎的抓取和索引网页内容,以便用户可以通过搜索引擎找到相关的信息。
2. 数据挖掘:爬虫可以用于从网页上抓取大量的数据,然后进行分析和挖掘,以发现有用的信息和趋势。
3. 价格比较和商品信息收集:爬虫可以用于抓取不同网站上的商品信息和价格,以便用户可以比较不同产品的价格和特性。
4. 网络安全:爬虫可以用于发现和分析网站上的安全漏洞和恶意软件,以帮助提升网络安全。
5. 社交媒体分析:爬虫可以用于抓取社交媒体上的信息和数据,以进行用户行为分析和趋势预测。
6. 舆情监控:爬虫可以用于监控新闻网站、论坛和社交媒体上的舆情信息,以帮助政府和企业了解公众舆论。
7. 金融市场分析:爬虫可以用于抓取金融市场上的数据和信息,以进行趋势分析和预测。
8. 学术研究:爬虫可以用于抓取学术文献和研究成果,以帮助研究人员进行文献综述和数据分析。

三、Robots协议

是网站管理和网络爬虫开发者之间的一种合作方式/君子协议(说白了就是给你看的,网站自己会做反爬手段),有效地管理网络爬虫对网站的访问,保护网站内容的安全性和合法性。

在网站后面加/robots.txt就可以看见那些可以爬那些不可以爬

Disallow:禁止爬

Allow:允许爬

一语道破爬虫,来揭开爬虫面纱_第1张图片

四、抓包

抓包(Packet Capture)是指通过软件工具捕获和分析计算机网络中传输的数据包。抓包通常用于网络分析、安全审计、故障排除和网络性能优化等目的。

简单说明:电脑当前连了网,我们要和另外一台电脑通讯,通讯过程中发送的数据,是以包来发送的

4.1、浏览器抓包

右键---->检查(快捷键:F12)

一语道破爬虫,来揭开爬虫面纱_第2张图片

一语道破爬虫,来揭开爬虫面纱_第3张图片

4.2、抓包工具

可以截取经过计算机网络接口的数据包,并将其保存到文件中供后续分析。这些数据包可以包含从源到目的地的所有通信内容,包括通信双方的IP地址、端口号、协议类型、数据内容等信息。通过分析这些数据包,可以深入了解网络通信的细节,发现潜在的安全问题、网络瓶颈或者通信异常。

抓包工具通常可以在本地计算机上运行,也可以在网络设备上运行。

常见的抓包工具:

Wireshark、tcpdump、Fiddler、Charles等。这些工具提供了丰富的功能,可以对抓取到的数据包进行过滤、分析和可视化展示,帮助网络管理员和安全专家进行网络监控和问题排查。

伪基站就假的网络

五、思维导图总结

一语道破爬虫,来揭开爬虫面纱_第4张图片

你可能感兴趣的:(爬虫技术,爬虫,python)