yarn 分配运行资源 mapReduce的运行平台
1.先进先出 先到先服务
资源排队,
单队列变为了多队列
这里,不同队列的资源是可以相互借调的,但是如果银行需要用钱的时候,需要将债直接收回来,而债主的任务直接失败,进行重试.
多租户策略,就是,一个队列起码2个job在占用资源.
虚拟核数就是我们自己设定的CPU核数大小,但是当物理核数时,会按照机器的实际核数进行运载,甚至
超载
如何在YARN创建队列
capacity-scheduler
当前调度器能支持的最大应用数(job)
架构模型
调度策略
生产环境通过修改参数调控资源
为什么半数以上存活?
如果一半都不存活了,就显得Zookeeper不正常
为什么奇数台服务器好?
6台错3台 无法运行 5台错3台无法运行,奇数台可以多一个机器。
实时性
因为Zookeeper不存大量业务数据,所以数据量显得比较少,这样数据更新就很快,保证了实时性。
zkServer.sh 开启关闭ZK
zkCli 开启客户端
参数1 : tickTime 默认2000ms 通信心跳时间,Zookeeper服务器与客户端心跳时间
参数2 : initLimit 默认10 LF初始通信时限
参数3 : syncLimit 默认5 LF同步通信时限
这三个参数,就表示,默认2秒,Zookeeper客户端和服务器交互一次,
而Zookeeper中,Leader和Follower初始连接时允许的最多心跳数为initLimit,也就是说,Leader和Follower如果在tickTime * initLimit不能完成初次交互,则Follower直接失败.
同步通信时限: 同步,就是日常交互时的通信时限,最多syncLimit次不进行回应,就结束
dataDir: 存储Zookeeper的数据的地址 注意tmp是存储临时文件的,会被Linux定期删除
server.1=hadoop201:2888:3888
server.2=hadoop202:2888:3888
server.3=hadoop203:2888:3888
server.服务器序号 = 服务器地址: Follower与Leader交换信息的端口:选举时互相通信的端口
3.创建数据存储文件夹 创建id文件 ,输入自身服务器序号
1.第一次启动
我的理解,先投自己,如果没Leader,交换信息后,投大的。如果已经有Leader就无法改变。
2.再次选举