大数据：hadoop spark，spark特点，功能，架构，模块，角色

大数据：hadoop spark

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

---

大数据：hadoop spark：全球最知名的分布式计算框架

跟MapReduce类似，是一个计算框架

分析计算，是内存迭代？
内存计算
很骚啊
什么是内存计算？

统一：就是适用面极其广泛了

spark的pyspark是python接口
牛逼

RDD提供了相当多的算子
比map和reduce爽多了
美滋滋

spark尽量避免网络传输，在内存内计算

spark是计算框架【替代hadoop中的MapReduce】
hadoop是计算，存储和调度，三者集中的


内存，空间换时间

它的编程尤其是在python中，看起来很简单，易于使用

各种骚啊
机器学习也能玩

数据来源读取方便
好牛逼哦

local：适用于开发和测试
standalone：运行在Linux内
hadoop yarn：在yarn容器的内部
kubernetes：kubernetes容器内部
云服务器：阿里云，亚马逊啥的

好说

整体董事长
部门主管
组长
干事

spark的四个角色名字不同，干的活跟yarn一样

董事长：master
部门主管：worker，单机资源管理
组长：driver
干事：executor

spark跟yarn角色一样
叫法不同而已


这四个角色，贯穿整个spark的学习过程哦
他们就是体系

---

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。