大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据,什么行测和面试都是小问题,最难最最重要的就是大数据技术相关的知识笔试


文章目录

  • 大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI
    • @[TOC](文章目录)
  • 大数据:分布式资源调度框架YARN
  • yarn的架构,核心架构和辅助架构
  • yarn的辅助架构
  • MapReduce和yarn部署
  • MapReduce和yarn初体验
  • 提交MapReduce任务去yarn执行
  • 蒙特卡洛算法求pi
  • 总结

大数据:分布式资源调度框架YARN

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第1张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第2张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第3张图片
yarn管理资源和调度
在调度过程中可以实现MapReduce

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第4张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第5张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第6张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第7张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第8张图片
学校几万人,有教室就可以管了
调度就好办了
有效运行
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第9张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第10张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第11张图片

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第12张图片
集群中最好
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第13张图片
集群大管家

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第14张图片
分配资源,分散计算,汇总都靠yarn监管,分配

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第15张图片
申请
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第16张图片
yarn可以调度资源
剩下的别人用
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第17张图片
三大组件,基本就OK了

存储,计算,资源调度。

yarn的架构,核心架构和辅助架构

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第18张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第19张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第20张图片
一个存储,一个资源调度
各是各的
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第21张图片
跟工厂一样
总的董事长resourcemanager

各个厂长nodemanager

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第22张图片
懂事长总体安排
剩下的厂长各自安排即可

客户只需要问resourcemanager要资源即可
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第23张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第24张图片
container容器
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第25张图片
集装箱,一个个箱子
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第26张图片去找集装箱就行
你不能多装
只能装这么多
RM关了一堆NM
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第27张图片
还是主从管理结构
老大管整体
老二管单机

yarn的辅助架构

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第28张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第29张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第30张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第31张图片
辅助提高安全性
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第32张图片
给yarn提供安全保障就行

历史,记录
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第33张图片
感觉就是辅助干活
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第34张图片

隔离资源
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第35张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第36张图片
干脆整一个统一记录日志的服务器
美滋滋
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第37张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第38张图片
统一收集日志
美滋滋
舒服

这就是辅助架构
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第39张图片
主从角色
辅助角色
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第40张图片

MapReduce和yarn部署

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第41张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第42张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第43张图片
部署,就是要启动主从辅助节点

MapReduce运行在yarn上的
不需要启动进程,只需要修改配置哦

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第44张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第45张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第46张图片
为啥给node1上配置那么多内存
它承担的东西很多

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第47张图片
各种配置MapReduce即可
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第48张图片
yarn也要配置各种环境
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第49张图片
配置resourcemanager和nodemanager
本地日志
历史服务器端口日志
代理服务器,安全
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第50张图片
三台服务器都这样玩
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第51张图片
hdfs那边也是这么玩的
yarn也是这么玩
–daemon

mapred是历史服务器的启动

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第52张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第53张图片

hdfs是9870端口
8088是yarn集群的监控界面
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第54张图片
init 0关机
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第55张图片
MapReduce不需要单独启动进程哦

MapReduce和yarn初体验

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第56张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第57张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第58张图片
主从,辅助中的代理服务器
历史服务器需要单独启动
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第59张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第60张图片

提交MapReduce任务去yarn执行

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第61张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第62张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第63张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第64张图片
hive用的就是MapReduce

不需要写代码
spark和flink需要写代码
性能快
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第65张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第66张图片
jar代表运行程序
程序代码在jar中
java类是我们要用程序中的wordcount类
输入文件
输出结果要不存在wc文件夹

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第67张图片
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第68张图片
结果
美滋滋

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第69张图片
工作历史服务器
记录历史

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第70张图片
map个数
样本数量
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第71张图片
求pi
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第72张图片

蒙特卡洛算法求pi

大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第73张图片
圆周率是一个比例,算的就是整个正方形的面积,乘比例
牛逼 了
大数据:分布式资源调度框架YARN,核心架构,主从结构,辅助结构,yarn和MapReduce部署与配置,蒙特卡罗法求圆周率PI_第74张图片
在半圆内就是距离小于1就是内部
落到半圆内的点个数统计一波
就是圆周率/4

最后easy求出来了pi


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。

你可能感兴趣的:(数据挖掘,大数据,hadoop,yarn,蒙特卡罗法求pi,mapreduce)