数仓面试题（3）

1.内部表和外部表的区别：

内部表是存储在关系型数据库中的表，而外部表是存储在文件系统或其他数据源中的表。内部表的数据由数据库管理系统进行管理和访问，而外部表则需要使用特定的连接器或接口进行访问和操作。此外，内部表的存储空间是有限的，而外部表则可以存储非常大的数据集。

2.MapReduce的工作流程：

MapReduce是一种编程模型，用于处理大规模数据集。它分为两个阶段：Map阶段和Reduce阶段。在Map阶段，输入数据被分割成小块，并由Map函数处理。Map函数将输入数据转换成键值对的形式，然后这些键值对会被排序和分组。在Reduce阶段，键值对被聚合和处理，以生成最终的输出结果。

3.Hive的数据倾斜怎么解决：

Hive中的数据倾斜通常是由于某个或某些列的值分布不均造成的。为了解决这个问题，可以采取以下措施：

• 增加数据分桶的数量，以减少倾斜程度。
• 对倾斜的列进行拆分，将其分成多个列，以便在查询时能够更好地平衡负载。
• 使用动态分区，根据数据的分布情况自动创建分区，以避免数据倾斜。
• 使用多线程或多进程来处理倾斜的数据。
• 对于一些特定的倾斜情况，可以尝试使用Hive的自定义函数来解决。

4.分区表和分桶表的区别：

分区表和分桶表都是为了提高数据查询性能和减少数据倾斜的方法。分区表是根据指定的列或表达式将数据划分成不同的区域，每个区域可以单独存储和查询。分桶表则是将数据按照指定的列或表达式进行分组，然后将每个分组的数据存储在不同的桶中。

5.数仓是怎么建模的：

数仓建模是指通过设计和管理数据仓库的结构和流程，以满足企业的数据分析和决策支持需求的过程。数仓建模通常包括以下步骤：

• 确定业务需求和目标：了解企业的业务需求和目标，确定数仓建模的目的和范围。
• 设计数据模型：根据业务需求和目标，设计合适的数据模型，包括概念模型、逻辑模型和物理模型等。
• 选择合适的工具和技术：选择适合企业的工具和技术，包括数据仓库平台、ETL工具、OLAP技术等。
• 实施数据仓库建设：根据设计的数据模型和选定的工具和技术，实施数据仓库的建设过程。
• 管理和维护数据仓库：对数据仓库进行管理和维护，包括数据质量监控、性能优化、安全控制等。

6.order by和sort by的区别：

ORDER BY和SORT BY都是用于排序数据的SQL关键字，但它们的使用场景和排序方式略有不同。ORDER BY通常用于对整个结果集进行排序，而SORT BY则用于对查询结果中的某一列进行排序。此外，ORDER BY可以指定排序列的顺序（升序或降序），而SORT BY则只能指定排序列的顺序为升序。

7. Hive的动态分区怎么实现：

Hive的动态分区是根据数据的分布情况自动创建分区的一种技术。它可以通过设置分区参数来实现。在创建表时，可以指定需要分区的列以及分区的数目。当插入数据时，Hive会根据数据的分布情况自动创建相应的分区。动态分区可以有效地减少手动创建分区的麻烦，并提高数据查询的性能。

8. 有没有实现过UDF函数,在什么场景用到的：

UDF（User-Defined Function）是一种用户自定义函数，用于扩展Hive的功能。通过编写UDF，可以在Hive中实现自定义的逻辑和处理流程。UDF可以在以下场景中使用：

• 转换数据格式：例如，将字符串转换为日期或时间格式，或将数字转换为货币格式等。
• 计算自定义指标：例如，计算销售额、平均值、总和等指标，或对数据进行聚合和汇总等操作。
• 数据筛选和过滤：例如，根据特定条件筛选数据行或过滤掉无效数据等。
• 数据加密或解密：例如，对敏感数据进行加密或解密操作等。

9.MapReduce过程中map大小是多少：

MapReduce过程中的Map大小通常是由集群的配置和作业的具体情况决定的。在默认情况下，MapReduce会将作业分解成多个任务（Task），每个任务对应一个Map或Reduce操作。Map任务的默认大小通常取决于集群的配置和作业的具体情况，但可以通过调整集群的配置参数来进行调整。

10.Hive的优化参数有很多，以下是一些常见的优化参数及其用途：

• hive.execution.engine: 指定执行引擎，可以选择tez或mr。tez引擎可以提高执行速度和性能，而mr引擎则更加稳定可靠。
• hive.map.aggr.hash.percentmemory: 设置Map聚合使用内存的比例，可以调整聚合操作的内存使用情况。
• hive.optimize.sort.dynamic.partition: 开启动态分区优化，可以减少不必要的分区创建。
• hive.optimize.sort.dynamic.bucket: 开启动态桶优化，可以减少不必要的桶创建。
• hive.optimize.sampling.split: 开启抽样分割优化，可以减少不必要的分割操作。
• hive.optimize.join.bucketmapjoin: 开启小表预聚合优化，可以减少不必要的聚合操作。
• hive.optimize.union: 开启Union优化，可以提高Union操作的效率。
• hive.optimize.group.columns: 指定分组列，可以减少不必要的分组操作。

11.SQL题：连续3天登录的用户？(经典SQL题)

要查询连续3天登录的用户，可以使用窗口函数来解决这个问题。假设有一个名为"login"的表，包含用户登录的信息，其中"user_id"是用户的唯一标识，"login_date"是登录日期。可以使用如下SQL查询：

SELECT user_id  
FROM (  
  SELECT user_id, DATE_ADD(login_date, INTERVAL -2 DAY) AS start_date, login_date AS end_date  
  FROM login  
) AS t  
WHERE start_date <= login_date AND end_date >= login_date;

这个查询使用了窗口函数DATE_ADD来计算每个登录记录的前两天作为开始日期，然后根据开始日期和结束日期判断是否满足连续3天登录的条件。

12.Left Join时大表应该放在左边还是右边？

在Left Join时，应该将大表放在左边，小表放在右边。这是因为左连接会返回左边表的所有行，即使右边的表中没有匹配的行。如果将大表放在右边，会导致不必要的扫描和性能问题。因此，通常将大表放在左边。

13.Union和Union All的区别？

Union和Union All都是SQL中的集合操作符，用于合并两个或多个SELECT语句的结果集。但是它们之间有一些区别：

• Union会返回结果集中的唯一行，而Union All会返回所有行，包括重复行。
• Union需要对结果集进行排序和去重操作，因此可能会影响性能。而Union All不需要进行这些操作，因此通常更快。
• Union需要在SELECT语句中显式地指定相同的列名和数据类型，而Union All会自动推断出列名和数据类型。

14.rm -r file* 报文件太多,怎么解决？

在Linux系统中，rm -r file* 命令会递归删除所有以file开头的文件和目录。但是，如果文件数量过多，系统可能会因为参数超限而报错。这种情况下，你可以使用循环来分批删除文件。例如，可以编写一个脚本来逐个删除文件：

#!/bin/bash  
for file in file*; do  
  rm $file  
done

然后运行这个脚本即可。

另外，如果你只是想删除某个目录下的所有文件，可以使用 rm -rf directory/* 命令，其中 directory 是要删除文件的目录名称。

15.crontab 5个* 分别代表什么？

在Crontab中，有5个位置可以放置特定的时间表达式，分别是：

1. 分钟（0-59）
2. 小时（0-23）
3. 日期（1-31）
4. 月份（1-12）
5. 星期几（0-7，其中0和7都表示星期日）

星号 (*) 在Crontab中表示匹配所有可能的值。例如，* * * * * 表示在每个分钟都执行一次任务。

16.HDFS的读写流程？

HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统，它允许数据以文件的形式存储在集群中。HDFS的读写流程如下：

读文件流程：

1. 客户端向NameNode请求读取文件。
2. NameNode告诉客户端文件所在的数据块（块是HDFS文件的最小分发单位，默认大小为64MB）。
3. 客户端向DataNode请求读取数据块。
4. DataNode读取数据块并返回给客户端。

写文件流程：

1. 客户端向NameNode请求写文件。
2. NameNode告诉客户端将文件存储到哪些DataNode上。
3. 客户端向这些DataNode发送写请求。
4. DataNode接收数据并存储到本地磁盘上。
5. DataNode向NameNode报告写操作完成。
6. NameNode记录文件块的存储位置信息。

需要注意的是，HDFS的文件数据是存储在多个DataNode上的，因此具有很高的容错性和可扩展性。

17.linux查询进程的命令

在Linux中，你可以使用 ps 命令来查询进程信息。具体使用方法如下：

• 查看当前所有进程：ps -ef 或 ps -ef | less （使用管道可以按页查看）
• 根据进程ID查询进程：ps -ef | grep [进程ID] （这个命令将列出包含指定进程ID的所有进程）
• 查看CPU和内存使用情况：top 或 htop （htop是一个更强大的top命令，可以显示更多的信息）
• 查看正在运行的Java进程：ps -ef | grep java （这个命令将列出所有正在运行的Java进程）

18.在Linux中，你可以使用find命令来查找根目录下名称以"a"开头的文件。命令如下：

find / -name a*

这将在整个文件系统中查找所有以"a"开头的文件，并返回它们的完整路径。

19.在Hive中，优化大表和小表关联的方法主要有以下几种：

1. 使用Hive的动态分区功能。动态分区可以根据查询条件将数据分区，从而减少分区数量，提高查询效率。

2. 使用Hive的桶表功能。桶表可以将数据按照某个字段进行分组，并且每个组的数据量相对均衡。这有助于提高查询效率，特别是在使用GROUP BY等聚合操作时。

3. 对大表和小表进行预聚合。在关联操作之前，可以对大表和小表进行预聚合操作，从而减少关联的数据量，提高查询效率。

4. 使用正确的连接方式。在关联操作中，使用正确的连接方式（如INNER JOIN、LEFT OUTER JOIN等）可以避免不必要的计算和数据转换。

5. 对数据进行分区和排序。对大表和小表进行分区和排序可以提高查询效率，特别是在使用ORDER BY等排序操作时。

20.雪花模型、星型模型和星座模型是数据模型的不同类型，它们的主要区别在于数据组织方式和应用场景。

1. 雪花模型（Snowflake Schema）：

   • 数据组织：雪花模型以星型模型为基础，通过进一步规范化维度表，将维度表分解成更多的子维度表。这样可以减少数据冗余，提高存储效率。
   • 结构特点：在雪花模型中，维度表之间形成多层级的关系，类似于雪花形状，从中心扩展出更多的分支。事实表与这些维度表之间的关联保持不变。
   • 应用场景：雪花模型适用于需要处理复杂的维度层次结构和大量维度属性的情况。它在节省存储空间方面具有优势，但在查询性能上可能略有影响。

2. 星型模型（Star Schema）：

   • 数据组织：星型模型由一个中心的事实表与多个维度表相连。事实表包含与业务过程相关的度量数据，而维度表包含描述业务细节的属性。维度表与事实表之间通过外键关联。
   • 结构特点：星型模型的结构类似于一个中心的星形，事实表位于中心，而维度表则连接到事实表的外部。
   • 应用场景：星型模型适用于简单的数据分析和报表需求，具有简单、易于理解和查询性能较好的特点。它适用于较小规模的数据集和相对简单的查询分析需求。

3. 星座模型（Constellation Schema）：

   • 数据组织：星座模型是一种灵活的数据模型，它结合了多个星型模型和事实表之间的关联。这种模型可以将多个星型模型组合在一起，形成一个更大的数据结构，以满足复杂的分析需求。
   • 结构特点：星座模型由多个星型模型组成，其中每个星型模型都有各自的事实表和维度表。这些星型模型之间可以通过共享维度表或事实表来建立关联。
   • 应用场景：星座模型适用于处理复杂的、多维度的分析需求，可以满足较大规模数据集和复杂的查询分析需求。

21.在SQL中，行转列（行数据转换为列数据）和列转行（列数据转换为行数据）是常见的操作，它们的关键字如下：

• 行转列：使用PIVOT操作符或CASE语句实现行转列。PIVOT操作符可以在SELECT语句中根据一列的值将多行数据转换为多列数据。CASE语句可以根据条件将行数据转换为列数据。
• 列转行：使用UNPIVOT操作符实现列转行。UNPIVOT操作符可以在SELECT语句中将多列数据转换为多行数据。

22.一条HQL怎么转化为mapreduce程序

将一条HQL（Hive查询语言）转化为MapReduce程序需要进行以下步骤：

1. 解析HQL：首先，需要解析HQL语句以获取查询的逻辑和语义。Hive提供了HQL解析器来解析和分析HQL语句，将其转换为查询计划。

2. 生成查询计划：根据解析的HQL语句，Hive会生成查询计划，该计划描述了查询的逻辑和执行步骤。查询计划通常是一个有向无环图（DAG），其中包含多个操作（如选择、投影、连接等）和数据流。

3. 生成MapReduce作业：根据查询计划，Hive将生成相应的MapReduce作业。这涉及将查询计划转化为一系列的Map和Reduce任务，以实现查询的执行。

4. Map阶段：对于查询中的每个Map任务，需要定义Map函数来处理输入数据。Map函数通常负责读取数据、解析数据和执行查询的映射操作。

5. Reduce阶段：如果查询中包含Reduce操作，需要定义Reduce函数来处理Map任务的输出结果。Reduce函数通常负责对Map任务的输出进行聚合、排序和合并。

6. 输入输出格式：根据查询计划中涉及的数据源和格式，需要指定输入和输出的数据格式，以便MapReduce作业能够正确读取和写入数据。

7. 配置和调优：根据查询的特性和性能需求，可以配置相关的MapReduce参数和调优选项，以优化作业的执行性能和资源利用。

8. 执行MapReduce作业：当MapReduce作业配置完成后，可以将其提交到Hadoop集群上执行。作业管理器会负责作业的调度、任务的分配和监控，直到作业完成。

23.hive表使用什么文件格式存储

Hive表可以使用多种文件格式存储，其中一些常见的格式包括：

1. 文本文件（Text File）：文本文件是最基本的文件格式，以文本形式存储数据，每行表示一个记录，字段之间使用分隔符（如逗号或制表符）进行分隔。文本文件在存储简单数据时比较常见，但不适合大规模数据处理。

2. 序列文件（SequenceFile）：序列文件是Hadoop提供的二进制文件格式，它将数据按键值对方式存储，并提供高效的读写能力。序列文件适用于大规模数据的存储和处理，可以提供更好的性能和压缩比。

3. 列式存储文件（Columnar Storage File）：列式存储文件将数据按列而不是按行存储，每个列单独存储，并使用压缩算法来提高存储效率。常见的列式存储格式包括Parquet和ORC（Optimized Row Columnar）格式。这些格式适用于分析型查询，提供高性能的数据扫描和过滤能力。

4. Avro文件（Avro File）：Avro是一种数据序列化系统，它定义了一种二进制数据格式和对应的数据模式。Avro文件以二进制形式存储数据，并包含数据模式信息，支持动态模式演化和数据压缩。Avro格式适用于复杂数据结构和动态模式的存储和处理。

5. ORC文件（Optimized Row Columnar File）：ORC是一种优化的行列混合文件格式，旨在提供高性能的数据压缩和查询。ORC文件以列式存储方式组织数据，并使用多级索引和压缩算法来提高查询性能和存储效率。

24.小文件的情况如何处理？

处理小文件是在大数据处理中常遇到的挑战之一。小文件指的是文件大小相对较小，通常比分布式文件系统的块大小要小得多（如HDFS的默认块大小为128MB）。由于小文件数量庞大，会导致以下问题：

1. 元数据开销：每个文件都需要分配一定的元数据空间，包括文件名、权限、修改时间等。大量小文件会占用大量的存储空间和元数据开销。

2. 存储和IO开销：小文件的存储和IO操作会导致额外的开销，如寻址时间、网络传输时间和磁盘IO时间。这可能降低整体性能并增加处理时间。

3. 资源利用率低：每个小文件都需要一个Map任务来处理，这导致了任务的启动和管理开销，同时也降低了资源的利用率。

为了处理小文件问题，可以采取以下策略：

1. 合并小文件：将小文件合并成较大的文件。可以使用文件合并工具或编写脚本来合并小文件。合并后的文件大小应适中，以充分利用分布式文件系统的块大小。

2. 文件打包：将多个小文件打包成一个大文件，例如使用压缩格式（如Gzip或Snappy）将多个小文件打包成一个压缩文件。这样可以减少存储空间和IO操作。

3. 应用序列文件格式：使用序列文件格式（如SequenceFile或Avro）来存储和组织小文件。序列文件将多个小文件合并到一个文件中，并提供了高效的读写能力。

4. 利用MapReduce合并：在处理小文件之前，可以使用MapReduce作业来合并小文件。通过将多个小文件作为输入，将它们合并为一个或多个较大的文件。

5. 数据归档：对于不经常访问的小文件，可以将其归档到归档存储系统（如Hadoop Archive）中，以减少对存储和处理资源的占用。

6. 数据分区：如果小文件具有某种自然的分区属性，可以根据这些属性将小文件分组到不同的目录或分区中。这样可以提高查询效率，并减少对整个数据集的扫描。