迁移iceberg:一.查看所需要的资源。

一:内存,CPU,核数,线程,硬盘。

1. cpu,核素,线程。

  • cpu

cpu就相当于人类的大脑,是处理数据的地方。
cpu由以下三个组成。

  1. 控制器。由控制单元、指令译码器、指令寄存器组成。
  2. 运算器。运算器的核心是算术逻辑运算单元。
  3. 寄存器。高速缓存。

一般来讲,我们普通电脑只能有一个cpu卡槽,所以只能有一个cpu。但是在服务器上可以有多个cpu卡槽,来增加处理速度。

  • 核数,线程

从一开始,一个cpu只有一个核数。一个核数只能处理一个线程。
后来为了增加处理速度,所以在cpu中,增加了核数。有些一个cpu俩核,四核。同样为了增加每个核数的处理效率,一个核数从一开始能处理1个线程,增加到,可以处理俩个,四个。

在实际的工作中,我们可以通过调整服务器的参数,来扩张核数。默认为3.

cpu 包含 核数,核数包含线程。

2.内存,硬盘。

内存和硬盘是对于数据存储的地方。
对比

  1. 内存对于数据的读取速率要远大于硬盘。
  2. 内存费用也会大于硬盘。
  3. 硬盘对于数据的安全性会大于内存。如果内存崩掉,或者服务器宕机,那么内存中的数据就会丢失。所以常常有些组件,会定期的将内存中的数据读写到硬盘中,来保证数据的准确性。

3. 大数据中使用yarn跑任务,怎么查看每个任务使用的资源。

进入yarn上,找到对应的任务,查看cpu和内存。
迁移iceberg:一.查看所需要的资源。_第1张图片
在服务器中,输入命令,查看使用资源的大小。

hdfs dfs -du -h /flink/xxxx

在这里插入图片描述

你可能感兴趣的:(迁移iceberg,大数据)