hadoop必记知识点（2）

6. hadoop集群计算的时候，什么是集群的主要瓶颈？展开说一下，生产遇到了什么问题？

在 Hadoop 集群进行计算时，可能会遇到多个瓶颈，但最主要的通常包括网络带宽、存储以及 CPU 处理能力。

网络带宽：Hadoop 集群中的各个节点需要频繁地进行数据传输和通信，这就需要网络带宽足够大。如果网络带宽不足，节点之间的数据交换将会变得缓慢，从而影响整个集群的计算性能。

存储：Hadoop 集群在进行计算时，需要大量的数据存储空间。如果存储资源不足，可能会导致数据丢失或者无法存储新的数据，进而影响到集群的计算能力。

CPU 处理能力：虽然 Hadoop 集群通常会在高性能服务器上运行，这些服务器通常有足够的 CPU 处理能力，但如果集群中的任务过多，超出了服务器的处理能力，就可能会导致计算性能下降。

在生产环境中，可能会遇到以下问题：

计算效率低：如果 Hadoop 集群遇到了存储或网络瓶颈，数据的读写速度会变慢，进而导致计算效率低下。

数据丢失：如果 Hadoop 集群的存储资源不足，可能会导致数据丢失。

集群扩展性差：如果 Hadoop 集群的 CPU 处理能力不足，可能无法支持新的任务或数据量的增长，这就限制了集群的扩展性。

为了解决这些问题，需要对 Hadoop 集群进行优化和扩展，例如增加存储资源、提高网络带宽或者升级服务器等。

7. Hadoop集群在工作时启动的组件

运行的组件共同保证了Hadoop集群的高效、稳定和可用。它们各自承担着不同的职责，通过协同工作实现了大规模数据存储和处理的功能。

Namenode：在HDFS中，Namenode是主要的节点，负责管理文件系统的元数据，如文件和目录的创建、删除、复制等操作。它还负责确定文件数据在磁盘上的存储位置，以及管理DataNode之间的数据复制。

ZooKeeper：ZooKeeper是一个开源的分布式协调服务，它提供了一个用于构建分布式应用的模式，包括配置维护、域名服务、分布式同步、分组服务等。在Hadoop集群中，ZooKeeper主要用于实现集群配置信息的管理、命名服务、分布式同步等功能。

ZKFC：ZKFC是NameNode的高可用组件，用于监控NameNode的状态并提供故障转移功能。当NameNode出现故障时，ZKFC可以自动将命名空间切换到另一个NameNode上，以保证HDFS的可用性。

JobHistory：JobHistory用于保存MapReduce作业的历史信息，包括作业的运行状态、任务信息等。它可以帮助用户查看作业的运行情况、分析作业的性能瓶颈等。

Datanode：在HDFS中，Datanode负责存储实际的数据，接收NameNode的指令进行数据的读写操作。它还负责数据的复制和恢复，以及与NameNode进行通信以保证数据的可用性和一致性。

ResourceManager：在YARN中，ResourceManager负责整个集群的资源管理和调度。它管理着集群中的所有节点和资源（CPU、内存等），并根据用户的需求进行资源的分配和调度。

NodeManager：在YARN中，NodeManager负责单个节点的资源管理和任务运行。它与ResourceManager进行通信以获取资源，并将资源分配给运行在节点上的应用程序。

Proxy：Proxy用于提供对Hadoop集群的访问代理，可以用于屏蔽集群内部节点的地址变化，提供稳定的访问接口。它可以将外部请求转发到内部的Hadoop服务，并处理服务之间的通信和认证。

JournalNode：JournalNode用于保存HDFS命名空间的修改日志，用于NameNode的高可用。它协助NameNode存储文件系统的元数据变更历史，以便在NameNode故障时恢复数据。

8.Hadoop使用块划分的优缺点

优点：

提高数据可靠性：Hadoop默认的块大小为128MB，每个块会存储三个副本，这样可以保证数据的可靠性，即使部分节点失效也不会影响数据的读取。
提高数据处理效率：Hadoop的MapReduce框架会尽可能的将计算任务分配到存储数据的节点上，这样可以减少数据在网络中的传输，提高数据处理效率。
简化数据管理：Hadoop的块划分方式可以简化数据的管理，Hadoop系统会自动负责数据的复制和存储。

缺点：

存储开销大：由于每个块都会存储三个副本，所以存储开销会比较大。
数据一致性问题：由于副本的存在，数据的一致性问题可能会出现，需要通过Hadoop的机制来解决。
对于小文件而言，由于其本身数据量不大，但也会被划分成多个块，因此会产生一些额外的开销。

9.从磁盘、网络、内存角度详细说明Hadoop块划分的原因

Hadoop块划分的主要原因是为了优化系统性能和资源利用率。

磁盘角度：Hadoop块划分可以最大程度地减少磁盘I/O操作，因为Hadoop默认的块大小为128MB，这样可以减少磁盘I/O操作，提高数据读取速度。而块划分可以将大文件划分为多个块，在磁盘上以块的方式进行存储，可以提高磁盘存储空间的利用率，同时也可以降低磁盘的读写压力。

网络角度：Hadoop块划分可以优化网络传输，减少网络带宽的占用，提高数据传输效率。当数据块足够大时，可以减少网络传输的数据量，降低网络延迟，提高数据传输速度。此外，Hadoop的数据块默认存储三个副本，这样可以将数据块的存储位置分布在不同的节点上，提高数据的可靠性和可用性。

内存角度：Hadoop块划分可以减轻内存压力，提高内存利用效率。当数据块足够大时，可以减少内存中的数据缓存的数量，降低内存压力。同时，块划分可以帮助减少内存中的中间结果的存储，降低内存压力。此外，Hadoop块划分还可以提高数据处理并行度，将大规模数据集分成多个块进行并行处理，提高数据处理效率。

CPU角度：Hadoop块划分可以优化CPU利用效率。当数据块足够大时，可以减少CPU处理数据的次数，降低CPU处理压力。同时，块划分可以将大规模数据集分成多个块进行并行处理，提高数据处理效率，从而降低CPU的处理压力。此外，Hadoop的MapReduce框架可以将数据块的存储位置和计算任务分配到同一台机器上，减少数据传输和计算开销，提高CPU利用效率。

10. Hadoop配置最短路径读的优缺点

优点：

提高数据读取速度：最短路径读可以减少数据在网络中的传输开销，提高数据读取速度。

减少网络带宽占用：最短路径读可以减少数据在网络中的传输，降低网络带宽的占用。

优化系统性能：最短路径读可以优化系统性能，提高系统的吞吐量和响应速度。

提高存储空间利用率：最短路径读可以帮助减少数据的冗余，提高存储空间的利用率。

缺点：

增加系统复杂度：最短路径读需要对系统进行额外的配置和管理，增加了系统的复杂度。

增加数据处理开销：最短路径读需要对数据进行额外的处理，增加了数据处理的成本。

不适合小规模数据：最短路径读适合大规模数据的处理，对于小规模数据可能不是最好的选择。

需要合理的块大小设置：最短路径读需要合理的块大小设置，如果块大小设置不合理，可能会影响系统的性能和数据处理效率。

综上所述，Hadoop配置最短路径读的优缺点需要根据具体的场景来权衡和选择。